Rami miwiti karir bal-balané kanthi main ing klub amatir Étoile Fréjus Saint-Raphaël, salanjuté dikenal minangka Fréjus ES. Amarga ulah raga minangka hobi, panjenengané ngentèkaké telung mangsa ing klub Championnat de France, divisi papat bal-balan Prancis. Ing taun 2006, Rami munggah telung divisi sawisé nandatangani kontrak karon klub Ligue 1, Lille OSC. Ing Lille, Rami nyetak debut profésional ing wulan Mèi 2007. Panjenengané dijeluk "Shrek" déning kanca tim lan pendukung Lille. Ing wulan Januari 2011, Rami gabung karo klub Spanyol, Valencia, kanthi kontrak petang taun.