Potts zastąpił Dougherty'ego na stanowisku dowódcy 23. brygady w Darwin. Pierwotnie była to brygada AIF, składająca się z ochotników, którzy mogli służyć za granicą. Wraz z postępem Japończyków w latach 1941 i 1942, jego pierwotne bataliony zostały wysłane do Ambon, Rabaul i Timoru.
- Co? Zostali zastąpieni batalionami z milicji, mężczyznami, którzy zostali pobrani do wojska i mogli służyć tylko na australijskiej ziemi, chyba że zgłosili się na ochotnika do AIF. Nieuniknione były tarcia, a nowi oficerowie nie byli utalentowanymi menedżerami.