Născuți la Minsk de părinți de origine evreiască , după 4 luni de naștere, familia s-a mutat la Sankt Petersburg, unde au rămas până în 1941 , când, după invazia Puterilor Axei , au fost forțați să se refugieze la Kazan până în 1943 .
În anii 60 și-a început studiile în domeniul astrofizicii . În 1964 Zel'dovič și, de asemenea, Edwin Ernest Salpeter în mod independent, au fost printre primii care au emis ipoteza existenței unui disc de acumulare în jurul unei găuri negre mari responsabile pentru cantitatea masivă de energie eliberată de quasari .