Schwarzmann won tijdens de Olympische Zomerspelen 1936 in Berlijn drie gouden en twee bronzen medailles. Schwarzmann won daar de meerkamp, landenwedstrijd en sprong en de bronzen medaille aan de brug en de rekstok.
Schwarzmann was betrokken bij de invasie van Polen in 1939. Schwarzmann vocht tijdens de Inval in Nederland mee en raakte bij Moerdijk gewond. Schwarzmann kreeg voor zijn verdiensten tijdens deze slag het IJzeren Kruis.
Doordat Duitsland was uitgesloten van deelname aan de Olympische Zomerspelen 1948 kon Schwarzmann niet deelnemen. Vier jaar later in Helsinki nam Schwarzmann als veertigjarige voor een tweede maal deel aan de Olympische Zomerspelen 1952 hierbij verbeterde hij zijn prestatie van zestien jaar eerder door zilver te winnen aan de rekstok, in de landenwedstrijd eindigde Schwarzmann als vierde. Schwarzmann bleef betrokken bij het turnen als jurylid.