A finais de 1905, Harry deixou o trío despois dunha discusión con Jolson. Harry rexeitara a súa petición de coidar de Joe Palmer, que estaba nunha cadeira de rodas. Despois da saída de Harry, Jolson e Palmer traballaron como dúo, pero non tiveron moito éxito. En 1906 acordaron separarse, e Jolson estaba por conta propia. Converteuse nun habitual do Globe and Wigwam Theater de San Francisco e tivo éxito a nivel nacional como cantante de vodevil. Residiu en San Francisco, dicindo que o terremoto
A xente devastada necesitaba alguén que a animase. En 1908, Jolson, necesitando diñeiro para el e a súa nova esposa, Henrietta, volveu a Nova York. En 1909, o seu canto chamou a atención de Lew Dockstader, o produtor e protagonista de Dockstader's Minstrels. Jolson aceptou a oferta de Dockstader e converteuse nun intérprete de cara negra.