Budaj var valinn af Colorado Avalanche í
Hann var fyrsti valinn hjá Avalanche og 63. í draftiđ 2001. Hann var með númer 31 fyrir Avalanche eftir að hafa spilað fyrir Hershey Bears í American Hockey League (AHL) og Toronto St. Michael's Majors í Ontario Hockey League (OHL).