Ta võeti vastu Edinburghi Ülikooli õppima ajalugu, kui ta oli ainult 16aastane. Ta kannatas võrkkesta eraldatuse all, pärast seda, kui teda löödi pähe rugby mängu ajal, ühel aastalõpu mängu ajal tema vanas koolis. Ta jäi pimedaks oma vasakust silmast.  Hoolimata asjaolust, et ravi sisaldas endas mitmeid operatsioone ja lebamist pimedas ruumis nädalate kaupa, ei paistnud asi paranema. Hiljem, Edinburghi Ülikoolis tundis ta sarnaseid tundemärke ka oma paremas silmas. Brown läbis eksperimentaal-kirurgia Edinburghi Kuninglikus haiglas ning ta parem silm päästeti. 1972. aastal, olles alles üliõpilane, valiti ta Edinburghi Ülikooli rektoriks, kes oli samal ajal ka Ülikooli Kohtu kokkukutsuja. Brown töötas rektorina kuni 1975. aastani, lisaks sellele toimetas ta ka ajalehte Šotimaa punane leht. Aastatel 1976-1980 töötas ta poliitika lektorina Glasgow Tehnoloogia Kolledžis. 1979. aasta üldvalimiste ajal, esindas Brown Edinburghi lõunapiirkonda, kuid kaotas konservatiivist kandidaadile, Michael Ancramile. Aastast 1980 töötas ta Šoti televisioonis ajakirjanikuna, hiljem töötas ta hetkeuudiste toimetajana, kuni tema valimiseni parlamenti 1983. aastal.