मात्र राघोबादादाची पाठ फिरताच दिल्लीतील शहा, अहमदशहा अब्दालीशी चुंबाचुंबी करू लागला. त्याचा बंदोबस्त करण्यासाठी सदाशिवरावभाऊ(चिमाजी अप्पाचा पुत्र) शिंदे, होळकर, गायकवाड, मेहेंदळे असे तोलामोलाचे सरदार घेउन जाट व रजपुतांच्या मदतीने दिल्लीवर चालुन गेला. दिल्ली ताब्यात येताच त्याने विश्वासरावाला आपल्या पुतण्याला सिंहासनावर बसवण्याचे ठरवले. मात्र उद्या हिंदु राजा बसवुन भाऊ निघुन जाईल, पण अफगाणांनी चिडुन आक्रमण केले तर उत्तरेतिल सगळी राज्ये त्या खाली भरडली जातिल ही भीती जाट-शिख-रजपुतांना वाटली, त्यांनी या गोष्टीला नकार दिला. मात्र मराठ्यांची दहशत रहावी म्हणून सदशिवरावभाऊने घणाचे घाव घालुन दिल्लीचे तख्त फोडले.
पण जाट-रजपुतांची भीती खरी ठरली. राघोबाने डिवचलेला अब्दाली संधीची वाटच बघत होता. मराठ्यांनी दिल्लीवर आक्रमण करताच दिल्ली आपल्या ताब्यात रहावी म्हणून त्याने मोर्चा बांधणी चालु केली. १७ ऑक्टोबर १७६० रोजी त्याने दिल्लीच्या दिशेने कुच केले. अगदि २४-२५ तारखेपर्यंत तो भागपतपर्यंत आला. मराठी सैन्य या वेळी धान्याच्या चणचणी मुळे कुंजपुराकडे वळली होती. मराठी सैन्याने अब्दालीने यमुना ओलांडु नये म्हणून फारसे काही प्रयत्न केले नाहीत. आधीच आपली शक्ती वाया घालवण्यापेक्षा आपल्याच प्रभावाखाली असलेल्या भूमीवर अब्दालीला अंगावर घेऊ असा विचार भाऊने केला. हे अब्दालीच्या पथ्यावरच पडले, त्याचे सैन्य अगदी सोनपत आणि पानिपत नजीक येउन ठेपले. भाऊला त्या भागाची फारशी माहिती नव्हती, उत्तरेतिल त्याची पहीलीच मोहीम होती. सुरुवातिला छोट्या-छोट्या चकमकीत मराठी सैन्याने हिसका दाखवला असला तरी अनुभवी अब्दालीच्या सैन्याने १४ जानेवारी १७६१ रोजी मुख्य लढाईला तोंड फ़ोडले. या पानिपतच्या तिसऱ्या लढाईत दोहो बाजुचे मोठे नुकसान झाले.

यात मराठ्यांचा मोठा पराभव झाला. लाखापेक्षा पेक्षा जास्त मराठी सैन्य कापले गेले. १८ वर्षांचा कोवळा विश्वासराव लढाईत मारला गेला. सदशिवरावभाऊ देखिल कामी आला. दोघांची प्रेते अफगाणी सैनिकांच्या हाती लागली. कोवळ्या विश्वासरावाचे प्रेत बघून तर अब्दाली चाटच पडला "सुभान अल्लाह, क्या नुर है? मरनेके बाद इतना हसीन है तो जिंदा कैसा होगा?" अश्या आशयाचे उद्गार त्याच्या तोंडुन निघाले. म्हणूनच अब्दाली विश्वासरावाच्या प्रेताला आपल्या बरोबर घेऊन जाणार होता असे म्हणतात. ब्रिटिश पत्रे देखिल विश्वासरावाला "Most handsom among marathas" असे म्हणतात. असे समजतात की पानिपतच्या लढाई नंतर पुणे भागातील एकही घर असे नव्हते की ज्या घरातला पुरुष कामी आला नव्हता पेशवाईची पत्रे याचा उल्लेख घरोघरी बांगड्या फुटल्या असे करतात. नानासाहेबाला जे पत्र आले त्यात लिहीले होते "दोन ही्रे हरवले, काही मोती हरवले आणि मोहोरा किती हरवल्या याला गणानाच नाही". पानिपतावर मराठ्यांचा पराभव झाला खरा पण मराठ्यांनी अब्दालीला देखिल असा फटकावला की त्या नंतर दिल्लीकडे परत तो कधीच फिरकला नाही. आजही तेथील माणसे जिंकलेल्या अब्दालीपेक्षा हरलेल्या मराठ्यांना मान देतात, भाऊने जेथुन लढाईची सुरुवात बघितली होती तिथे हरीयाणा सरकारने एक स्मृतीस्तंभ उभा केलाय. मात्र पानिपतचा पराभव मराठ्यांच्या सत्तेवरचा मर्मप्रहार ठरला. त्यानंतर मराठी सत्ता परत पुर्वीच्या तडफेने कधीच उठली नाही. मराठ्यांचा प्रभाव हळुहळु कमी होत गेला. 

पानिपत
थोरले माधवराव प्रशासनपर्व
बाळाजी विश्वनाथ पेशव्यासंबंधी थोडक्यात सर्वकाही
पेशवाईचा अस्त