Władysław Komar urodził się w Kaunasie, na Litwie 11 kwietnia 1940 roku, w rodzinie Władysława Komara-Zabożyńskiego i Wandy Jasińskiej. Jako polska rodzina szlachecką posiadali posiadłość w Rogówku (Litwa: Raguvėlė). Obaj jego rodzice byli sportowcami. Ojciec rywalizował dla Litwy jako Vladas Komaras na Mistrzostwach Europy w Lekkoatletyce w 1934 roku.
w skoku w wysokość i 110 metrów z przeszkodami, matka była strzelcem, który ustanowił rekord krajowy na początku lat trzydziestych. Podczas II wojny światowej rodzina przeniosła się do Gulbiny. Jego ojciec, który podczas wojny pomagał polskiemu ruchowi oporu antyniemieckiemu, Armii Krajowej, został zamordowany w 1944 roku w Glitiškės przez grupę milicji Ypatingasis būrys.