Ellefsæter var kjent for sine prestasjoner i langrennsløypa med to gull under OL 1968 i Grenoble (50 km og 4 x 10 km stafett) som høydepunkt. Under VM på ski i Oslo i 1966 vant han gullmedalje på 4x10 km stafett og sølvmedalje på 15 km.
I 1971 ble Ellefsæter første nordmann som vant Vasaloppet. Han var også den eneste nordmannen som hadde vunnet Vasaloppet fram til 2004 da Anders Aukland vant.[trenger referanse] Ellefsæter vant Birkebeinerrennet i 1961.
På friidrettsbanen tok han seks påfølgende NM-gull på 3 000 meter hinder fra 1960 til 1965. Den 27. juni 1962 løp han distansen på 8.43,8. Han er med det, nummer 26 gjennom alle tider i Norge per januar 2009.[4] Han var med det rett bak Ernst Larsens norske rekord på 8.42,4.[5]
Ellefsæter hadde en musikkarriere på 1960-tallet. Den første innspillingen var en singel med låten «Huldreslåtten», som nådde 5.-plass på VG-lista og lå inne i 19 uker. Den solgte ca. 25 000 eksemplarer.[trenger referanse] Singelen «Alle kluter til» («I Grenoble ska ve slå dekk...»), nådde en 4.-plass og lå ni uker på lista.
Ellefsæters innspillinger finnes på albumene «Viser og gamle takter» (Odeon/EMI, 1967, SMOCN 1004) og «I godt lag» (Odeon/EMI, 1969, E 062-38029).[6]