Dipanagara luwih kepéncut marang babagan agama lan cedhak kalawan kawula saéngga luwih remen lenggah ing Tegalreja, dalemé éyang buyut putri, garwa pramèswari saka Sultan HB I asma Kangjeng Ratu Ageng Tegalreja, tinimbang urip ana ing kraton. Pangramané marang kraton diwiwiti nalika jumenengé Sultan Hamengkubuwana V (1822) yaiku nalika Dipanagara kalebu salah sijining anggota para wali Dalem kang ngamping-ampingi Ngarsa Dalem, nalika semono isih yuswa 3 taun, déné papréntahané sadina-dina diasta déning Patih Danureja IV bareng karo Résidhèn Walanda. Cara dadi wali kang kaya mangkono iku ora disarujuki déning Dipanagara.