हे गादीवर आल्यावर थोड्याच दिवसांत त्यांचें व त्यांची सापत्न मातोश्री राधाबाई हिचें वैमनस्य आलें. बाईनें आप्पा निंबाळकराची मदत घेऊन त्याच्या अरबांकडून चिमणाजीस कैदेंत ठेवविलें. चिमणाजी ८।९ महिने कैदेंत होता. बाई बरीच कारस्थानी होती. तिनें पंतावर अनेक संकटें आणलीं. शेवटीं तिनें चालविलेली बंडाळी मोडून पेशव्यांनीं पंतांस कैदेंतून सोडवून बाईला (१८१५ सालीं) रोहिड किल्ल्यावर ठेविलें. तेव्हांपासून पंताचा कारभार सुरळीत चालू झाला. या वेळेपासून पेशवाईअखेर पंत पुण्यासच रहात असे. पेशवाईच्या शेवटीं प्रथम पंत हा पुण्यासच रहात असे. पेशवाईच्या शेवटीं प्रथम पंत हा रावबाजीबरोबर टेंभुर्णींपर्यंत गेला होता. परंतु पुढें एल्फिन्स्टनचा म्हणण्यावरून आपलें संस्थान कायम ठेवण्यासाठीं पंतानें रावबाजीस सोडून इंग्रजांशीं तह केला. त्यांत पंताची मोंगलाईंतील ५०।६० हजारांची साहोत्राबाब मात्र गमावली गेली. पुढें राधाबाईला दरमहा थोडीशी नेमणूक करून देण्यांत आली. ती माहुलीस जाऊन राहिली. नंतर तिनें तीर्थयात्रा केल्या. तिच्याच पैशांतून भोराजवळील विश्रामघाट (अंबाड खिंड) बांधण्यांत येऊन अन्नसत्र चालू आहे. चिमणाजीपंतास पुत्र नसल्यामुळें त्यानें दत्तक घेऊन त्याचें नांव रघुनाथ ठेविलें. चिमणाजीपंत १८२७ सालीं वारला.

इतिहास
पंतसचिव
शंकरराव रघुनाथ (१७९१-१७९८)
चिमणाजी शंकर (१७९८-१८२७)