Po smrti Hemchandra Chowdhuryho, jeho nástupci překročili zemi ze strachu z komunálních nepokojů během rozdělení Indie a Pákistánu v roce 1946. Shyamkanta Ganguly a jeho syn Kamal Ganguly odešli do Hemnagar, ale během války v roce 1965 také emigrovali. Během války za osvobození Bangladéše
, Rajbari z Hemanagar byl používán jako útočiště pro bojovníky za svobodu.