સરદાર ગાંધીજી પ્રત્યે ખુબજ વફાદાર હતા તેમજ તેઓ અને નેહરુ બન્ને પોતાની વચ્ચેના મતભેદોના ઉકેલ માટે ગાંધીજી પાસે જતા. સરદાર અને નેહરુ વચ્ચે ધણીવાર રાષ્ટ્રીય મુદ્દાઓ ઉપર તરકાર ઉભી થઈ હતી. જ્યારે નેહરુએ કાશ્મિરની નીતી ઉપર પોતાના નિયંત્રણનો દાવો કર્યો હતો ત્યારે સરદારએ તેમના ગૃહ ખાતાના અધિકારીઓની અવગણના સામે વિરોધ નોંધાવ્યો હતો. નેહરુને સરદારે કરેલા રાજ્યોના સંમેલીકરણને લગતા નિર્ણયો, કે જે લેતી વખતે તેમણે નેહરુ કે મંત્રીમંડળને સામેલ ન કર્યા, તેનું નેહરુને માઠું લાગ્યું હતું. સરદારને ખબર હતી કે તેઓ નેહરુ જેટલા જુવાન ન હતા તેમજ તેમના જેટલા લોકપ્રિય પણ ન હતા અને તેથી તેઓએ પોતાની જાતને કાર્યકારી જવાબદારીમાંથી મુક્ત કરવા ગાંધીજીને વિનંતી કરી હતી. તેમનુ માનવુ હતું કે ખુલ્લી રાજનૈતિક લડાઈથી ભારતને નુકશાન થશે. પુર્ણ વિચાર અને મસલત કર્યા બાદ, સરદારની અપેક્ષાથી અલગ, ગાંધીજીએ ૩૦ જાન્યુઆરી ૧૯૪૮ના દિવસે તેમને સરકારમાંથી બહાર જવાની મનાઈ કરી હતી. ગાંધીજીના મત પ્રમાણે સ્વતંત્ર ભારતને સરદાર અને નેહરુ બન્નેની જરૂર હતી. ગાંધીજીના મૃત્યુના દિવસે સરદાર તેમની સાથે ખાનગીમાં વાત કરવા વાળા છેલ્લા વ્યક્તિ હતા અને તેમના ગયા બાદ થોડીજ મિનિટોમાં ગાંધીજી ઉપર જાનલેવા હુમલો થયો હતો. ગાંધીજીના મરણ બાદ તેમને શ્રદ્ધાંજલી આપતા તેમના પાર્થિવ દેહની બાજુમાં પટેલ અને નેહરુ એક બીજાને ભેટ્યા હતા અને સાથે મળીને રાષ્ટ્રને સંબોધન કર્યું હતુ. સરદારે તેમના ઘણા સાથીઓ તેમજ મિત્રોને સાંત્વના આપી હતી જે કર્યા બાદ તેઓએ તરતજ સંભવિત હિંસાને ખાળવાના પગલા લીધા હતા. ગાંધીજીના મૃત્યુના બેજ મહીનામાં સરદારને હ્રદય હુમલો થયો હતો પણ તેમના પુત્રી તેમજ તેમના મુખ્ય સચિવ અને પરિયારીકાની સમયસુચકતાને લીધે સરદારનો જીવ બચી ગયો હતો. પાછળથી સરદારે કહ્યું હતુ કે ગાંધીજીના દેહાંતને લીધે તેમના મનમાં દુ:ખનો ડુમો ભરાવાથી તેમને હ્રદય હુમલો થયો હતો.

મિડીયા તેમજ બીજા રાજનીતિજ્ઞો તરફથી ગાંધીજીની રક્ષા કરવામાં નિષ્ફળ નિવડ્યાની ટીકા સરદારના ગૃહખાતા માટે ઉદ્ભવી હતી. ભાવાત્મક રીતે થાકી ગયા હોવાથી સરદારે રાજીનામું આપતા સરકાર છોડવાની પહેલ દાખવી હતી. સરદારના સચિવને તેમના રાજીનામાથી રાજનૈતિક દુશ્મનો માટે સાનુકુળ પરીસ્થિતી તેમજ ભારતમાં રાજકીય સંધર્ષ ઉભો થશે તની ખાતરી હતી અને તેથી તેમણે સરદારને રાજીનામાનો પત્ર પાઠવવા વિરુદ્ધ સમજાવ્યા હતા. છતાં નેહરુએ સરદારને પત્ર પાઠવ્યો હતો કે જેમા તેમણે આપસી મતભેદ તેમજ તેમની સરદારને સરકારમાંથી કાઢવાની કોઈ ઈચ્છા છે તે બાબતને નકારી હતી. તેમણે સરદારને સ્વતંત્રતા સંગ્રામ દરમ્યાનની તેમની ૩૦ વરસની ભાગીદારી યાદ અપાવતા જણાવ્યું હતુ કે ગાંધીજીના મૃત્યુ બાદ તે બન્ને વચ્ચેનો અણબનાવ અપનિહિત હતો. નહેરુ, રાજગોપાલાચારી તથા બીજા કોંગ્રેસીઓએ સરદારનો જાહેરમાં બચાવ કર્યો હતો અને આ બધાની અસરને લીધે સરદારે નેહરુની નેતાગીરીમાં વિશ્વાસ દાખવ્યો હતો અને તે બન્ને વચ્ચે કોઈ મતભેદ છે તે વાતને નકારી હતી. સરદારે એમ પણ જાહેર કર્યું હતુ કે તેમને પ્રધાનમંત્રી બનવાની કોઈ ઈચ્છા નથી. બન્ને જણાએ કોંગ્રેસ પક્ષની કામગીરીમાં સહિયારી નેતાગીરી તેમજ એક બીજાના કામમાં દખલ ન આપવાની નિતી અપનાવી હતી પણ તેમ છતાં તેઓએ બીજી બાબતોમાં એકબીજાની નિતિઓની ટીકા કરી હતી કે જેમા હૈદ્રાબાદનુ વિલિણીકરણ તથા કાશ્મીરમાં સંયક્ત રાષ્ટ્ર સંધની મધ્યસ્થતાનો સમાવેશ હતો. ૧૯૫૦માં જ્યારે ચીને તિબેટ ઉપર આક્રમણ કર્યુ હતુ ત્યારે ત્યાં સહાયતા મોકલવાની તેમજ ગોવામાંથી પોર્ટુગીઝને સૈન્ય બળ વાપરીને કાઢવાની સરદારની ભલામણને નહેરુએ માન્ય નહોતી રાખી.

જ્યારે નેહરુએ ૧૯૫૦માં રાજગોપાલાચારીની તરફેણમાં ડો. રાજેન્દ્ર પ્રસાદને ભારતના પહેલા રાષ્ટ્રપતિ બનવા માટેની નિમણુક અરજીને નકારવા માટે દબાણ કર્યું ત્યારે તેમણે પક્ષના વિરોધનો સામનો કરવો પડ્યો હતો કારણકે પક્ષને એમ લાગ્યુ હતું કે નેહરુ તેમની ઈચ્છા ઠોકી બેસાડી રહ્યા હતા. ત્યારે નહેરુએ કૉંગ્રેસી કાર્યકરોનો વિશ્વાસ જીતવા સરદારની મદદ માંગી હતી પણ સરદારે તેમને કોઈ મદદ કરવાની ના પાડી અને ડૉ. પ્રસાદ ચુંટાઈ આવ્યા હતા. ૧૯૫૦માં કૉંગ્રેસના પ્રમુખપદના દાવેદાર તરીકે નહેરુએ પુરશોત્તમદાસ ટંડન, કે જેઓ રૂઢિચુસ્ત હિંદુ નેતા હતા, એમની બદલે જીવતરામ ક્રિપલાનીની તરફેણ કરી હતી અને જો ક્રિપલાની ચુંટાઈને ન આવે તો રાજીનામું આપવાની ધમકી આપી હતી. સરદારે નહેરુના મતનો અસ્વિકાર કરતા ટંડનને ગુજરાતમાં ટેકો આપ્યો હતો કે જેના લીધે ક્રિપલાની કે જેઓ પોતે ગુજરાત રાજ્યના હોવા છતા તેમને ત્યાંથી એક પણ મત નહોતો મળ્યો. સરદારનું માનવુ હતું કે નહેરુએ એ વાત સમજવાની બાકી હતી કે તેમનો મત તે કંઈ કોંગ્રસ માટેનો કાયદો ન હતો, પણ તે છતાં જ્યારે નહેરુને એમ લાગ્યુ કે તેઓ પક્ષનો વિશ્વાસ ગુમાવી ચુક્યા છે ત્યારે સરદારે પોતે નહેરુને રાજીનામું આપવા વિરુદ્ધ સમજાવ્યા હતા.

ભારત છોડો આંદોલન
આઝાદીની લડત
ગાંધીજીનું દેહાંત અને નેહરુ સાથેના સંબંધો
સ્વતંત્રતા, એકીકરણ તથા ગાંધીજીની ભૂમિકા