Después de su carrera sin distinción en Roma como jurista y orador, entró en el ejército. Su primera campaña registrada fue bajo Quinto Servilius Caepio y terminó en la Batalla de Arausio en 105 aC, donde mostró un coraje inusual. Sirviendo bajo Gaius Marius, Sertorius tuvo éxito en espiar a las tribus germánicas errantes que habían derrotado a Caepio. Después de este éxito, es casi seguro que luchó en la gran batalla de Aquae Sextiae
(ahora Aix-en-Provence, Francia) en 102 aC en el que los teutones y los ambrones fueron derrotados decisivamente. Probablemente también luchó en la Batalla de Vercellae en el año 101 a. C., donde los cimbros fueron derrotados decisivamente, poniendo fin a la invasión alemana. Unos años después de las guerras címbricas, el patrón de Sertorio, Gaius Marius, cayó en desgracia por su apoyo al demagogo Lucius Appuleius Saturninus y él y Sertorius tuvieron que salir de Roma por un tiempo. Sertorio viajó a Hispania Ulterior y sirvió a su gobernador, Tito Didio, como tribuno militar. Se distinguió por sofocar una insurrección en y alrededor de Castulo y fue galardonado con la Corona de Hierba.