A Brown család a Szent János Baptista templomban jár. Míg polgármester, Brown legalább egy esküvői szertartást végzett a templomban. Byron Brown az Alpha Phi Alpha Testvériség fejezetének elnöke, a Buffalo State College Alumni Szövetségének korábbi elnöke, és polgármesterként való beiktatása idején a Nyugat-New York Boy Scout Tanácsának és az Erie megye Közösségi Akció Szervezetének igazgatótanácsában ült. Brown trópusi halakat gyűjt és egy akváriumot tart fenn a buffalo-i polgármester irodájában. A szülei elváltak, és az ő polgármester-tartalmának kezdetén az anyja Buffalóban élt. Emellett az Erie megyei Demokrata Bizottság tagja. Az 1992, 2000 és 2004-es
Demokrata Nemzeti Konvent.