La sfârşitul anului 1905, Harry a părăsit trioul după o ceartă cu Jolson. Harry refuzase să aibă grijă de Joe Palmer, care era într-un scaun cu rotile. După plecarea lui Harry, Jolson și Palmer au lucrat ca duo, dar nu au avut un succes deosebit. Până în 1906 au fost de acord să se despartă, iar Jolson a fost pe cont propriu. El a devenit o persoană obișnuită la Teatrul Globe și Wigwam din San Francisco și a avut succes la nivel național ca cântăreț de vodevil. El a luat reședința în San Francisco, spunând că cutremurul
- Oamenii devastati au nevoie de cineva care sa-i înveseleasca. În 1908, Jolson, având nevoie de bani pentru el și noua sa soție, Henrietta, s-a întors la New York. În 1909, cântecul său a atras atenția lui Lew Dockstader, producătorul și starul Dockstader's Minstrels. Jolson a acceptat oferta lui Dockstader și a devenit un artist cu față neagră.