Дворецът, който сега служи предимно като музей, носи името си от фигурата с червено наметало на бога на маймуната Хануман, която стои вляво от главния вход на двореца.
Дворецът е кръстен на нисък търговец, издигнал се до крал на града.