Á páskum árið 1080 voru faðir og sonur sameinaðir með tilraunum Matildu drottningar og friðarsáttmálinn varði þar til hún lést árið 1083. Róbert virðist hafa yfirgefið höllina fljótlega eftir andlát móður sinnar og eyddi nokkrum árum í ferðalögum um Frakkland, Þýskaland og Flander. Hann heimsótti Ítalíu til að leita handa Matildu af Toskana (f. 1046) en náði ekki árangri. Á þessum tíma sem farandshöfðingja sótti Róbert nokkur ólögleg börn. Bastardsonur hans Ríkard virðist hafa eytt miklum hluta lífs síns við konunglega höll frænda síns Vilhjálms Rúfusar. Þessi Ríkard var drepinn í veiðileysi í Nýja skóginum árið 1099 og frænda hans Vilhjálms konungs Rúfusar árið eftir.
Helias frá Saint-Saens