இனி அகிம்சை வழி பலன் தராது என்று நம்பிய மண்டேலாவும், அவரது நண்பர்களும் ஆயுதம் ஏந்த முடிவெடுத்து ரகசியமாக நாட்டை விட்டு வெளியேறினர். 1962-ஆம் ஆண்டு நாடு திரும்பிய அவரை கைது செய்தது தென்னாப்பிரிக்க அரசு. ஆவணங்கள் இன்றி நாட்டை விட்டு வெளியேறினார் என்றும், அரசுக்கு எதிராக கலகம் செய்தார் என்றும் கூறி அவருக்கு ஆயுள் தண்டனை விதித்து ஒரு தீவுச்சிறையில் அடைத்தது தென்னாப்பிரிக்க அரசு அந்த ஆண்டு 1964. அடுத்த 27-ஆண்டுகள் சிறை வாசம் அனுபவித்தார் மண்டேலா. இனி போராட்டத்தில் ஈடுபடக்கூடாது என்ற நிபந்தனைக்குக் கட்டுப்பட்டால் விடுதலை செய்வதாக 1973-ஆம் ஆண்டு மற்றும் 1983-ஆம் ஆண்டிலும் தென்னாப்பிரிக்க அதிபர் கேட்டுக்கொண்டும் அதனை ஏற்க மறுத்து விட்டார் மண்டேலா. அவரது மன உறுதி கருப்பினத்தவர்களை ஒன்றுபட ஊக்கமூட்டியது. நாடெங்கும் போராட்டங்கள் வெடித்தன.