În 1096, Robert a format o armată și a plecat în Țara Sfântă în Prima Cruciadă. La momentul plecării sale a fost atât de sărac încât a trebuit adesea să stea în pat din lipsă de haine.
Şi-a ipotecat ducatul fratelui său, William.