I 1954 deltok Johnson i sin første tikampkonkurranse, i det første studieåret ved UCLA. Allerede i sin fjerde tikampkonkurranse satte han ny verdensrekord, og i 1954 tok han gull i de panamerikanske lekene. I OL 1956 i Melbourne ble han nummer to i tikamp. Han var også kvalifisert til å delta i lengdehopp, men måtte trekke seg på grunn av en liten skade.
På grunn av diverse skader (blant annet etter en bilulykke) måtte Johnson stå over sesongene 1957 og 1959. I 1958 og 1960 forbedret han imidlertid verdensrekorden en gang. Karrierens høydepunkt kom i OL 1960 i Roma, der han gikk til topps. Sølvmedaljen gikk til Johnsons venn, trenings- og studiekollega, taiwaneren Yang Chuan-Kwang.
