Kao dete je u rodnom Zrenjaninu, u jevrejskoj lekarskoj porodici, naučio mađarski i nemački, da bi razumeo multinacionalnu sredinu u kojoj je rastao. Iako Jevrejin, govorio je: „Koliko sam agnostik, toliko sam i anacionalan, osim ako biti Banaćanin nije nacionalnost.“ Na pitanje šta mu je maternji jezik, u TV feljtonu RTS Čovek od reči odgovorio je: „Od kad znam za sebe, kod kuće smo govorili sva tri jezika. Roditelji su među sobom govorili mađarski, sa nama decom nemački, sa okolinom srpski i ja nikog nisam poznavao ko nije govorio sva tri jezika. A još sam imao profesora francuskog jezika jer je moj otac tako hteo.“
Njegova majka je 1941. godine odvedena u logor na Sajmištu u Beogradu i odatle u smrt. Otac je, pretpostavljao je Ivanji, bio u Topovskim šupama, kako se zvao prvi koncentracioni logor u Beogradu za Jevreje i Rome. I on je ubrzo ubijen, a Ivan je marta 1944. uhapšen u Novom Sadu i transportovan najpre u Aušvic, a potom u Buhenvald. Imao je 15 godina.
Kao dobar đak završio je srednju tehničku školu, bio je i dobar skojevac i novinar omladinskog lista Mladost. A sve je radio da bi zaradio za život i mogao da piše. Jer, pisanje je bilo njegova prva ljubav, a njegov jedini poriv je bio da zabavi čitaoce, ali i sebe. Bio je i umetnički direktor Savremenog pozorišta u Beogradu, zamenik upravnika Narodnog pozorišta. Od 1974. do 1978. bio je ataše za kulturu i štampu u jugoslovenskoj ambasadi u Bonu, a do raspada zemlje bio je generalni sekretar Saveza književnika Jugoslavije.
U svetu literature pojavio se 1950. godine sa zbirkom pesama i tokom narednih decenija napisao je 26 romana, tri zbirke pripovedaka, još dve knjige poezije, pisao je i drame, knjige za decu, memoare, eseje. Pisao je na srpskom i nemačkom jeziku. Prevodio je sa nemačkog Karla Jaspersa, Bertolda Brehta, Gintera Grasa, Hajnriha Bela… Njegova dela prevođena su na nemački, italijanski, engleski, mađarski, slovački i slovenački jezik.
Od 1965. godine bio je Titov prevodilac, kako se zove i jedna od njegovih knjiga. Prevodio je prilikom Brozovih razgovora sa Vilijem Brantom, Helmutom Šmitom, Valterom Ulbrihtom… Poštovao je i voleo predsednika Jugoslavije, i često je citirao Radeta Šerbedžiju: „Onaj ko ne zna kako je bilo živeti u vreme Tita, tome ja pomoći ne mogu!“ Kada je 1987. godine posle Osme sednice Saveza komunista Srbije Slobodan Milošević preuzeo vlast u Srbiji, Ivan Ivanji je izašao iz Saveza komunista.
Sin Ivana Ivanjija, novinar Andrej Ivanji je povodom smrti svog oca na svom Fejsbuku ispisao antologijski oproštaj:
„Ivan Ivanji je otišao pod svojim uslovima. Blagoslovio je naslovnu stranu za svoju novu knjigu koju objavljuje Laguna pod naslovom Bilo jednom u Jugoslaviji, imao književno veče u vajmarskom pozorištu, otvorio Muzej prinudnog rada u Vajmaru, dao sijaset intervjua za nemačke medije, večerao špargle i popio belo vino u Geteovoj omiljenoj kafani Beli labud, pričao o svom belom labudu Dragani, otišao u Hitlerov omiljeni hotel Elephant gde je fireru u inat voleo da odseda, legao u krevet i zaspao, ovog puta zauvek, i to na Dan pobede nad fašizmom 9. maja 2024. u 96. godini, u gradu u koji su ga nacisti bili deportovali pre tačno 80 godina sa namerom da ga ubiju. Bio je obavio posao. Njegovo dvoje dece, četvoro unuka i troje praunuka malo mu zameraju što nije doživeo stotu. Ali, šta da se radi, uvek je bio svojeglav.“
Ivan Ivanji bi još jednom bio ponosan na svog sina.
