Budaj valittiin Colorado Avalanchiin vuoden 2001 draftissa.
Avalancen ykkösvarauksena ja 63. kokonaisvalinnalla. Hän käytti numeroa 31 Avalanchessa pelattuaan American Hockey League (AHL) -liigan Hershey Bearsissa ja Ontario Hockey League (OHL) -liigan Toronto St. Michael's Majorsissa.