Lokakuussa 1853 Bullerin pataljoona sai jälleen käskyn palata kotiin, ja sir George Cathcartin pyynnöistä huolimatta, että hän pysyisi prikaatiksi Cape'ssa, hän vaati sitä. Kun vuonna 1854 päätettiin lähettää retkijoukko itään, Buller nimitettiin prikaattikomentajaksi ja otti valtaansa kevyiden divisioiden 2. prikaatin, joka koostui 19., 88. ja 77. rykmentistä. Hänen käytöksensä Alman taistelussa
Se oli tuolloin ankarasti kritisoitu, mutta sotakirjailijat hyväksyivät sen.