Apesar de pagar seus trabalhadores negros e brancos de forma semelhante, Byrd se opôs veementemente à desagregação racial mesmo no início do New Deal, e mais tarde se opôs aos presidentes Harry S. Truman e John F. Kennedy, apesar de também serem democratas (além de candidato presidencial Adlai Stevenson) porque se opunham à discriminação racial na força de trabalho federal.