Foi bem-sucedido também em corridas de protótipos, em especial as 24 Horas de Le Mans, ao serviço da Porsche, com vitórias na classe: 1958, 1962, 1966, 1969 e 1970 e a única vitória na classificação geral em 1970.
Em 1959, no único GP da Alemanha realizado no estreito circuito de AVUS, Herrmann ficou marcado por um espetacular acidente na Nordschleife, o "paredão" situado na parte superior da pista: sua BRM perdeu o controle na entrada da curva e bateu com violência, capotando em seguida. Incrivelmente, o alemão sai ileso.
Herrmann se aposentou das pistas em 1970, aos 42 anos.
