Władysław Komar se narodil 11. dubna 1940 v litovském Kaunasu jako syn Władysława Komara-Zabożyńskiego a Wandy Jasińskiej. Jako polská šlechtická rodina vlastnila sídlo v Rogówku (lituánsky Raguvėlė). Oba jeho rodiče byli sportovci. Otec soutěžil za Litvu jako Vladas Komaras na mistrovství Evropy v atletice v roce 1934.
v skoku do výšky a 110 metrů s překážkami, matka byla střelec, který stanovil národní rekord na začátku 30. let. Během druhé světové války se rodina přestěhovala do Gulbiny (litovsky Didieji Gulbinai). Jeho otec, který během války pomáhal polskému protiněmeckému hnutí odporu, domácí armádě, byl zavražděn v roce 1944 v Glitiškės skupinou milícií Ypatingasis būrys.