Endel oli orb. Ema Juuli suri, kui poiss oli 9-aastane ning isa, raudteelane ja ametiühingutegelane Priidik Ilves lahkus kolm aastat  hiljem. Endli kodused olud olid kehvapoolsed. Teda kasvatasid vanem vend ja õde. Ehk mõtles Endel, et tal polegi eriti palju kaotada ja oli tuleviku suhtes pigem lootusrikas.