Ivan Klímas tidiga barndom i Prag var lugn och trygg, men detta förändrades i och med den tyska ockupationen av Tjeckoslovakien 1938 efter Münchenavtalet. I november 1941 fördes först hans far och senare i december han hans mor och bröder till koncentrationslägret Theresienstadt, där han befann sig till Röda arméns befrielse i maj 1945. Både han och hans föräldrar överlevde.
Efter befrielsen studerade han politik och ekonomi men övergick snart till att i stället studera tjeckiska språket och litteraturen vid Karlsuniversitetet i Prag. 1956–1959 var han redaktör på veckotidningen Kvety. Från 1964 skrev han för flera tidningar tills han 1967 uteslöts ur Tjeckoslovakiens kommunistiska parti och fick publiceringsförbud vid Warszawapaktländernas invasion 1968. 1969–1970 var han docent vid University of Michigan.
