Güldenpfennig indledte sin karriere i dobbeltsculler, men skiftede snart til singlesculler.[2] Det var i denne disciplin, han stillede op for DDR ved OL 1972 i München. Her blev han nummer to efter Jurij Malysjev fra Sovjetunionen og måtte derpå i opsamlingsheat. Dette vandt han sikkert, hvorpå han i semifinalen blev nummer to efter favoritten, argentineren Alberto Demiddi. I finalen lagde Demiddi og Malysjev sig hurtigt i spidsen og fordelte de to fineste medaljer mellem sig, idet Malysjev vandt guldet. Noget efter de to kom Güldenpfennig og sikrede sig en klar tredjeplads.[3]
Året efter vandt han EM-bronze i samme disciplin.[4] Senere skiftede han til dobbeltfirer og var i 1975 med til at blive verdensmester i denne disciplin.[5]
I 1976 var han en del af den østtyske dobbeltfirer, der var med på OL-programmet for første gang ved OL i Montreal. Bådens øvrige besætning var Michael Wolfgramm, Rüdiger Reiche og Karl-Heinz Bußert. Østtyskerne blev nummer to i indledende heat og måtte derpå gennem opsamlingsheatet. Her vandt de og kom derfor i finalen, hvor de fik revanche for nederlaget i indledende heat til Sovjetunionen, da de sikrede sig guldmedaljen med over et sekunds forspring til netop Sovjetunionen, mens Tjekkoslovakiet blev nummer tre.[6]
Güldenpfennig var igen med til at vinde VM-guld i 1977, men bortset fra ham var besætningen en anden end ved VM 1975, og kun han og Bußert gik igen fra OL 1976.[5] Han blev senere gymnasielærer i idræt samt rotræner.[2]
