El seu pare, Anthony Castelluccio, era barbier i dissenyador de mòdels de tren de Lionel; la seva mare, Mary Rinaldi, era dona de casa i empleada d'una companyia de cervesa. Va inspirar-se a emprendre una carrera de cant a l'edat de set anys després que la seva mare el portés a veure el jove Frank Sinatra al Paramount Theater de Manhattan, Nova York. Un dels seus primers cantants favorits va ser "Texas" Jean Valli, del qual va adoptar el seu nom artístic. Fins que va poder sostreure's amb la música, va treballar com a barber. L'any de naixement de Valli ha estat qüestionat.
Registres universals