Después de la muerte de Hemchandra Chowdhury, sus sucesores cruzaron el país por temor a los disturbios comunales durante la partición de la India y Pakistán en 1946. Shyamkanta Ganguly y su hijo Kamal Ganguly fueron a Hemnagar, pero durante la guerra de 1965, también emigraron. Durante la guerra de liberación de Bangladesh
, el Rajbari de Hemanagar fue utilizado como refugio para los luchadores por la libertad.