Když byl Andrewsovi šest měsíců, jeho rodina se přestěhovala do Auburn, ME, a tam zůstal až do smrti jeho matky. V roce 1946 se přestěhoval zpět do Dorchesteru, MA. Po absolvování střední školy v roce 1948 vstoupil Andrews do americké armády a strávil tři roky a tři měsíce v Německu, kde kromě své vojenské služby, která zahrnovala účast na berlínském vzdušném mostu během blokády
, pravidelně bavil vojáky při zvláštních úkolech. Po čestném propuštění z armády se Andrews oženil se svou střední školní láskou, měl pět synů a jednu dceru a pokračoval v kariéře country hudebníka s několika skupinami v jihovýchodní oblasti Massachusetts. Jeden z jeho prvních koncertů byl v roce 1954 v "Nick's Place" na pláži Nantasket v Hull, MA. Od roku 1952 do roku 1954 hrál Andrews v několika kostelech se svým přítelem a harmonikářem Victorem Jenkinsem.