જ્યારે બીજું વિશ્વ યુદ્ધ ફાટી નીકળ્યું ત્યારે ગાંધીજીના મતની વિરુદ્ધ જઈ સરદારે કેન્દ્રીય તથા પ્રાંતિય ધારાસભામાંથી કોંગ્રેસના નીકળી જવાના નેહરુના નિર્ણયનું સમર્થન કર્યું હતું તથા ચક્રવર્તી રાજગોપાલાચારીની એ પહેલ કે જેના પ્રમાણે જો અંગ્રેજ સરકાર યુદ્ધ પછી જો તરતજ લોકશાહીની સરકાર સ્થાપવા તૈયાર હોય તો કોંગ્રેસ તેનુ પુર્ણ સમર્થન યુદ્ધ દરમ્યાન આપે, તે પહેલને પણ ટેકો આપ્યો હતો.

ગાંધીજીનો યુદ્ધ સામે નૈતિક વિરોધ હવાથી તેમણે અંગ્રેજ સરકારને કોઈપણ જાતનો ટેકો આપવાની તરફેણમાં ન હતા, જ્યારે સુભાષચંદ્ર બોઝે અંગ્રેજોની સામે લશ્કરી મોર્ચો બાંધ્યો હતો. અંગ્રેજોએ રાજગોપાલાચારીની પહેલ ઠુકરાવી દીધી ને સરદારે પાછી ગાંધીજીની આગેવાની સ્વીકારી. તેઓ ગાંધીજીએ આપેલા વ્યક્તિગત અસહકારની હાકમાં સહભાગી થયા અને ૧૯૪૦માં તેમની ૯ મહીના માટે ધરપકડ કરવામાં આવી. તેમણે ૧૯૪૨માં ક્રિપ્સ મિશનને આપેલી સુચનાઓનો પણ વિરોધ કર્યો હતો. આ દરમ્યાન જેલમાં તેમનું ૯ કિલો જેવું વજન ઘટ્યું હતું
શરુઆતમાં જ્યારે નેહરુ, રાજગોપાલાચારી તેમજ મૌલાના આઝાદએ અંગ્રેજોને ભારત છોડાવવા માટે ગાંધીજીની ભારત છોડોની હાકાલની ટીકા કરી હતી ત્યારે સરદાર તેના ઉત્સાહી સમર્થક હતા. તેમની દલીલ હતી કે જેમ અંગ્રેજોએ સિંગાપુર તથા બર્મામાંથી પિછેહઠ કરી હતી તેમજ તેઓ ભારતમાંથી પણ કરશે અને ભારત છોડોની શરુઆત તુરંત થવી જોઈએ. અંગ્રેજો તુરંત ભારત છોડીને નહી જાય તે વાતથી વાકેફ હોવા છતાં સરદાર ખુલ્લા બળવાની તરફેણમાં હતા કારણકે તેમને એમ હતું કે વિશ્વયુદ્ધ પ્રત્યેના અલગ અલગ અભિગમોમાં વહેચાએલાં લોકોને આવો બળવો ઉત્તેજીત કરી એકજુટ કરશે. તેમના મતે ખુલ્લા બળવાનો એક ફાયદો એ પણ હતો કે તેનાથી અંગ્રેજ સરકારે માનવું પડત કે તેમના રાજનું ભારતમાં કોઈ સમર્થન ન હતું તથા તેમણે ભારતીયોને સત્તા સોંપવાનું કામ ઝડપથી ચાલુ કરી દેવું જોઈએ. બળવામાં પોતાનો પુર્ણ વિશ્વાસ હોવાથી જો તેને કોંગ્રેસ તરફથી સમર્થન ન મળે તો સરદારે કોંગ્રેસમાંથી રાજીનામું આપવાની ઈચ્છા પણ દર્શાવી હતી. ગાંધીજીએ અખિલ ભારતીય કોંગ્રેસ સમિતી ઉપર બળવાને સ્વીકૃતી આપવા દબાણ કર્યુ કે જેના પરીણામે સમિતીએ 7 ઓગસ્ટ 1942માં અસહકાર ચળવળને મંજુરી આપી હતી. જેલવાસ દરમ્યાન તેમની તબીયત કથળી હોવા છતાં સરદારે ભારતભરમાં મોટા જન સમુદાયોને લાગણીશીલ ભાષણો આપ્યા હતા કે જેમાં તેમણે લોકોને કર નહી ભરીને અસહકાર ચળવળમાં સામેલ થવા તથા મોટાપાયે ધરણા આયોજી સનદી સેવાઓને ઠપ કરવા કહ્યું હતું. તેમણે નાણાં એકઠા કર્યા તથા રાષ્ટ્રીય નેતાઓની ધરપકડનાં ભય સામે બીજી હરોળના સંચાલકો ઉભા કર્યા. ૭મી ઓગસ્ટે સરદારે મુંબઈની ગોવાળીયા ટેંક મેદાનમાં ૧૦૦૦૦૦ લોકોની સામે ભાષણ કરતા કહ્યુ હતું:
“બર્માના ગવર્નર લંડનમાં શેખી હાંકે છે કે તેઓ બર્મામાં બધુ ધુળમાં મળી ગયા બાદજ ત્યાંથી નિકળ્યા હતા, તો શું તમે અમને પણ એજ વચન આપો છો?... તમે તમારા રેડીયો પ્રસારણ તથા છાપાઓમાં બર્મામાં સ્થપાયેલી સરકારને જાપાનીઓની કઠપુતળી તરીકે ઓળખાવો છો? તો તમારી દિલ્હીની સરકાર કેવી છે? જ્યારે યુદ્ધની મધ્યમાં ફ્રાંસ નાઝીઓની સામે હારી રહ્યું હતું ત્યારે શ્રી ચર્ચીલે ઈંગલેન્ડ સાથે તેના સમન્વયની દરખાસ્ત મુકી. અને તે દરખાસ્ત તો અલબત પ્રેરિત રાજનિતીજ્ઞતાનો દાખલો હતો. પણ જ્યારે ભારતની વાત આવે છે ત્યારે? નહીં નહીં! યુદ્ધ ગાળા દરમ્યાન બંધારણીય ફેરફારો? તે બાબતમાં વિચારી પણ ન શકાય... આ વખતનું ધ્યેય જાપાનીઓના આવ્યા પહેલા ભારતને આઞાદ કરાવવાનો તથા જો તેઓ આવે તો તેમને લડત આપવા તૈયાર રહેવાનો છે. તેઓ (અંગ્રેજો) નેતાઓને પકડી લેશે, બધા નેતાઓને પકડી લેશે. અને ત્યાર બાદ અહિંસાની હદમાં રહીને સૌથી વધુ પ્રયત્ન કરવાનું કર્તવ્ય પ્રત્યેક ભારતીયનું રહેશે.. બદા સ્ત્રોત્ર વપરાવા જોઈએ, કોઈ પણ હથિયાર બાકી ન રહેવું જોઈએ. આ તક જીવનભરમાં એકજવાર આવે તેવી બની રહેશે.”
ઇતિહાસકારોનુ માનવું છે કે પ્રસ્તાવિત બળવાને શંકાની નજરે જોનારા રાષ્ટ્રવાદીઓને ઉત્તેજીત કરવામા સરદારનું આ ભાષણ જ કારણભુત થઈ રહ્યું હતું. તેમજ આ ગાળા દરમ્યાન સરદારના સંઘટન કાર્યને ઇતિહાસકારોએ ભારતભરમાં બળવાને સફળ બનાવવા પછાળનું મુખ્ય કારણ માન્યું. 9મી ઓગસ્ટે સરદારની ધરપકડ કરવામાં આવી અને તેમને સંપુર્ણ કોંગ્રસ કાર્યકરી સમિતીની સાથે ૧૯૪૨થી ૧૯૪૫ સુધી અહમદનગર કિલ્લાના કારવાસમાં બંદી તરીકે રાખવામાં આવ્યા હતા. ત્યાં તેઓ કપડાં કાંતતા, બ્રિજની રમત રમતા, મોટી સંખ્યામા પુસ્તકો વાંચતા, લાંબા ગાળા સુધી ચાલવા જતા તથા બગીચામાં કામ કરતા. બહારના સમાચારો તથા ગતીવિધીઓમાં થતા વિકાસની રાહ જોતા જોતા તેઓએ તેમના સહકાર્યકરોને ભાવનાત્મક ટેકો પુરો પાડ્યો. મહાદેવ દેસાઈ તથા કસ્તુરબાના દેહાંતના સમાચાર સાંભળી તેઓ ખુબ દુભાયા હતા. સરદારે તેમના પુત્રીને એક કાગળમાં લખ્યું હતું કે તેઓ તેમજ તેમના સહકાર્યકરો “પુર્ણ શાંતિનો” અનુભવ કરી રહ્યા હતા કારણકે તેમણે ”પોતાની ફરજ” પુર્ણ કરી હતી. આંદોલનને અન્ય રાજકીય પક્ષોનો વિરોધ તેમજ અંગ્રોજ સરકારે આંદોલનને દાબવા માટે અપનાવેલા કઠોર વલણ છતા, વાઇસરોયે વિંસ્ટન ચર્ચીલને મોકલાવેલા એક તાર પ્રમાણે ભારત છોડો આંદોલન “૧૮૫૭ના બળવા બાદ સૌથી ગંભીર બળવો હતો”. એક લાખથી વધુ લોકોની ધરપકડ કરવામાં આવી હતી તથા હજારો લોકો પોલીસ દ્વારા કરવામા આવેલા ગોળીબારીમાં મૃત્યુ પામ્યા હતા. હડતાળો, ધરણા તથા અન્ય ક્રાંતીકારી ગતીવિધીઓ ભારતભરમાં ઉગી આવી હતી. ૧૫ જુન ૧૯૪૫માં જ્ચારે સરદારને મુક્ત કરવામા આવ્યા ત્યારે તેમણે જાણ્યું કે અંગ્રેજો ભારતીયોને સત્તા સોંપવાના પ્રસ્તાવ ઉપર કામ કરી રહ્યા હતા.

ભારતનું રાજકીય એકીકરણ
કોંગ્રેસનું નેતૃત્ત્વ
ભારત છોડો આંદોલન
જન્મ અને કૌટુંબિક જીવન