Gregorius sai 572. aasta paiku keiser Justinus II soovitusel Rooma linna prefektiks, mis oli nii noores eas mehe jaoks kõrge ametikoht. See tähendas, et Rooma kõrgeima kohtuniku ning Rooma senati eesistujana allus ta vahetult keisrile. Pärast isa surmale järgnenud pikaajalist palvetamist otsustas Gregorius 574. aasta paiku prefekti ameti koos muu maise eluoluga hüljata ning hakata mungaks. See oli pikaajalise sisemise puhtuseotsingu ja töötegemise jätk, millele vastandus Gregoriuse tugev tahe teenida avalikkust.