Brown starfađi sem fulltrúi í Demókrata-
landsmótum árin 1956, 1960 og 1964. Hann var kjörinn sem lýðræðismaður á 85. og 86. þingi (3. janúar 1957 - 3. janúar 1961), en var ósigraður frambjóðandi til endurkjörs árið 1960. Brown greiddi atkvæði fyrir borgaraleg réttindalögin frá 1957 og 1960.