১৯৬১ খ্রিষ্টাব্দে ম্যান্ডেলা এএনসি-র সশস্ত্র অঙ্গসংগঠন উমখোন্তো উই সিযওয়ে (অর্থাৎ "দেশের বল্লম", সংক্ষিপ্ত নাম MK)-এর নেতৃত্ব গ্রহণ করেন। তিনি ছিলেন এই সংগঠনের সহ-প্রতিষ্ঠাতা। তিনি বর্ণবাদী সরকার ও তার সেনাবাহিনীর বিরুদ্ধে অন্তর্ঘাতী ও চোরাগোপ্তা হামলা পরিকল্পনা ও সমন্বয় করেন। এতে বর্ণবাদী সরকার পিছু না-হটলে প্রয়োজনবোধে গেরিলা যুদ্ধে যাওয়ার জন্যও ম্যান্ডেলা পরিকল্পনা করেন। এছাড়া ম্যান্ডেলা বিদেশে এমকে-র জন্য অর্থ জোগাড় ও সামরিক প্রশিক্ষণের ব্যবস্থা করার জন্য কাজ শুরু করেন।

ম্যান্ডেলার সহকর্মী উলফি কাদেশ ম্যান্ডেলার নেতৃত্বে শুরু হওয়া এই সশস্ত্র আন্দোলনের ব্যাপারে বলেন, "When we knew that we [sic] going to start on 16 December 1961, to blast the symbolic places of apartheid, like pass offices, native magistrates courts, and things like that ... post offices and ... the government offices. But we were to do it in such a way that nobody would be hurt, nobody would get killed." উলফির ব্যাপারে ম্যান্ডেলা বলেন, "His knowledge of warfare and his first hand battle experience were extremely helpful to me."

ম্যান্ডেলা নিজে তার এই সশস্ত্র আন্দোলনকে বর্ণবাদের বিরুদ্ধে নিতান্তই শেষ চেষ্টা বলে অভিহিত করেন। দক্ষিণ আফ্রিকা সরকারের দীর্ঘদিন ধরে চলতে থাকা নিপীড়ন ও অত্যাচারের বিরুদ্ধে অহিংস আন্দোলন সফল হবেনা বলে তিনি উপলব্ধি করেন এবং এ জন্যই সশস্ত্র আন্দোলনের পথ বেছে নেন।

পরবর্তীকালে বিশ শতকের আটের দশকে এমকে বর্ণবাদী সরকারের বিরুদ্ধে গেরিলা যুদ্ধ শুরু করে। এতে অনেক বেসামরিক লোক হতাহত হন। ম্যান্ডেলা পরে স্বীকার করেন, বর্ণবাদের বিরুদ্ধে সংগ্রাম চালাতে গিয়ে এএনসি অনেক সময় মানবাধিকার লঙ্ঘন করেছে। বর্ণবাদের অবসানের পরে দক্ষিণ আফ্রিকার ট্রুথ অ্যান্ড রিকনসিলিয়েশন কমিশন (সত্য ও আপোস কমিশন)-এর রিপোর্ট থেকে এএনসি-র অনেক নেতা এই বিষয়ের তথ্য অপসারণ করতে চেয়েছিল--ম্যান্ডেলা এর তীব্র সমালোচনা করেন।

২০০৮ খ্রিষ্টাব্দের জুলাই পর্যন্ত ম্যান্ডেলা ও এএনসি কর্মীরা মার্কিন যুক্তরাষ্ট্রে প্রবেশ করা থেকে নিষিদ্ধ ছিল। কেবলমাত্র নিউ ইয়র্কে জাতিসংঘের সদর দপ্তরে তাদের আসার অনুমতি ছিল। এর কারণ ছিল ম্যান্ডেলার ষাটের দশকের সশস্ত্র আন্দোলনের কারণে দক্ষিণ আফ্রিকার তদানীন্তন সরকার ম্যান্ডেলা ও এএনসিকে সন্ত্রাসবাদী হিসাবে ঘোষণা করেছিল। ২০০৮ খ্রস্টাব্দের জুলাইতে এসেই কেবল ম্যান্ডেলাকে মার্কিন যুক্তরাষ্ট্র সরকারের প্রণীত সন্ত্রাসবাদীদের তালিকা থেকে সরিয়ে নেওয়া হয়।

ব্যক্তিগত জীবন
বর্ণবাদবিরোধী সংগ্রাম
জীবনের প্রাথমিককাল
মুক্তি