En outubro de 1853, o batallón de Buller foi novamente ordenado a casa, e a pesar das súplicas de Sir George Cathcart de que permanecería como brigadier no Cabo, insistiu en acompañalo. Cando se decidiu enviar un exército expedicionario ao leste en 1854, Buller foi nomeado xeneral de brigada e tomou o mando da 2a Brigada da División Ligera, composta polos 19o, 88o e 77o Regimentos. A súa conduta na batalla do Alma
foi severamente criticado na época, pero foi aprobado por escritores militares mirando para atrás na guerra.