Nos 49ers, Smith foi, desde sua primeira temporada, criticado pelo desempenho abaixo das expectativas para uma primeira escolha no draft, especialmente após boas temporadas de Aaron Rodgers, segundo quarterback escolhido em 2005.