Brown a fost delegat la convenţiile naţionale şi de stat ale Partidului Democrat în 1956.
1960 şi 1964. El a fost ales ca democrat la al 85-lea și al 86-lea Congres (3 ianuarie 1957 <unk> 3 ianuarie 1961), dar a fost un candidat nereușit pentru realegere în 1960. Brown a votat în favoarea Legii Drepturilor Civile din 1957 și 1960.