આ કિલ્લોના નિર્માણનો સમયકાળ સ્પષ્ટ નથી. ફણનીસી દફતરના દસ્તાવેજો અનુસાર તેને ઔરંગઝેબ દ્વારા કરાવવામાં આવ્યું હતું, પરંતુ ઘણા વિદ્વાનો એમ માને છે કે આ કિલ્લો ખૂબ જ પ્રાચીન છે. એક શક્યતા મુજબ, તે ઈસ્વીસન પૂર્વેની સદીના એક શ્રીમંત પશુઓના વેપારી ભૈંસા શાહ દ્વારા બંધાવવામાં આવ્યો હતો. આ વંશના આ શાહની પુત્રી સાથે અશોકનું લગ્ન થયું હતું. વારંવાર હુમલાને કારણે આ કિલ્લાને નુકશાન થતું રહ્યું હશે. સમયાંતરે તેની દિવાલો પર મંદિરોમાં વાપરવામાં આવતા કેટલાક પથ્થરો લગાવવામાં આવ્યા હશે.

વૈસ દ્વાર
રાયસેન દરવાજા
નિર્માણ
ગાંધી દ્વાર