În octombrie 1853, batalionul lui Buller a primit din nou ordin să se întoarcă acasă și, în ciuda implorărilor lui Sir George Cathcart că va rămâne ca brigadier la Cap, a insistat să-l însoțească. Când s-a decis trimiterea unei armate expediționare în Est în 1854, Buller a fost numit general de brigadă și a preluat comanda Brigăzii a 2-a a Diviziei Ușoare, formată din Regimentele 19, 88 și 77. Comportamentul său în bătălia de la Alma
a fost sever criticat la momentul respectiv, dar a fost aprobat de scriitori militari uitându-se înapoi la război.