Abraham Lippman zdał polską i niemiecką maturę. Studiował w Wiedniu inżynierię budownictwa i prowadził potem z sukcesem własny tartak i firmę budowlaną. Był liberalnym Żydem o poglądach socjaldemokratycznych. Ożenił się z Etką Gottlieb, która pochodziła ze Starzawy, z konserwatywnej i głęboko religijnej rodziny. Jej ojciec Elias Gottlieb był właścicielem kamieniołomów w tej miejscowości.. Etka miała również niemiecką maturę.
Abraham miał pięcioro rodzeństwa ( Ronję, Israela, Reginę, Zofię, i Fankę), Etka miała sześcioro braci i sióstr (Mojżesza, Jakuba, Leona, Lajzera,Franciszkę i Esterę). Rodzice Józefa posiadali największy dom z całej rodziny (przy ul. Cerkiewnej 51). Ich dumą była duża biblioteka z dziełami Goethego, Schillera i Heinego. U nich też organizowane były uroczystości rodzinne, np. ślub brata Abrahama Israela z Lusią Fishman. Rodzina utrzymywała liczne kontakty z żydowskimi, polskimi i ukraińskimi sąsiadami oraz przyjaciółmi.
17.07.1931r. urodziło się ich jedyne dziecko.Dzieciństwo Józefa upływało beztrosko. Z żądzą wiedzy i fantazją wymyślał wciąż nowe eksperymenty ku zmartwieniu swojej matki. Gdy rodzice chcieli, by Józef ich nie rozumiał, rozmawiali po niemiecku, ponieważ Józef wzrastał w kręgu języka polskiego i chodził do polskiej szkoły.
Wakacje spędzał często u swoich dziadków w Starzawie. Starsze dziewczyny z sąsiedztwa chętnie pilnowały tego ruchliwego, małego chłopca za niewielką opłatą.