O 24 de xullo de 1967, foi designado como residencia do gobernador por Abdul Monem Khan, o gobernador de Paquistán Oriental. O palacio foi usado polo presidente Ayub Khan como un retiro cando Bangladesh era parte de Paquistán como a súa ala oriental. Despois da independencia de Bangladesh
O primeiro ministro Sheikh Mujibur Rahman, o pai fundador da república de Bangladesh, declarou o palacio como a súa residencia oficial no norte de Bangladesh o 9 de febreiro de 1972. Desde entón, foi usado por sucesivos xefes de goberno de Bangladesh para celebrar reunións de gabinete, políticas e diplomáticas fóra da capital.