A gyermekkoráról és korai ifjúságáról semmit sem tudunk, és az első említés 1372 februárjáig nyúlik vissza, az avignoni pápaságban szolgáló hercegként írja le. Sveva Del Balzo 1375-ben halt meg, és Soletót Nicola-nak hagyta, azzal a feltétellel, hogy Raimondónak adja, aki akkor a Del Balzo nevet veszi fel. Nicolának azonban a legidősebb fia, Roberto kapta. Ez arra kényszerítette Raimondót, hogy máshol keresse a szerencséjét. A legenda szerint zarándokba indult a Közel-Keletre, bár erre nincs dokumentált bizonyíték. Ismeretes, hogy 1378 februárjában megérkezett Poroszországba, és részt vett a galícia-volhynia háborúban.
, ekkor lett a német Ország lovagja.