Em 18 de junho de 2021, Brown foi negociado, junto com Al Horford e uma escolha de segunda rodada de 2025, com o Boston Celtics em troca de Kemba Walker, a 16ª escolha de 2021 e uma segunda rodada de 2025.