એવું માનવામાં આવે છે કે કિલ્લાનું નામ મરાઠા કાળમાં સ્થાપાયેલા "ભદ્ર કાળી"ના મંદિર પરથી પડ્યું છે જે લક્ષ્મીનું સ્વરૂપ છે પણ કિલ્લાની નજીકમાં રહેલી તકતી જુદી કથા કહે છે: "ભદ્રનો દરવાજો - બાંધકામ ૧૪૧૧ - વિશાળ કિલ્લેબંધ દરવાજો ૧૪૧૧ની આસપાસ અમદાવાદના સ્થાપક, સુલતાન અહમદશાહ (૧૪૧૧-૧૪૨૨) દ્વારા બંધાયેલ મહેલના પૂર્વ દિશાના મુખ્ય પ્રવેશદ્વાર તરીકે કાર્ય કરતો હતો. મહેલને ભદ્ર નામ અણહિલવાડ-પાટણ જે અમદાવાદ પહેલાં સુલતાનની પ્રથમ ત્રણ પેઢીઓ સુધી પાટનગર હતું તેના રાજપૂત વંશના પુરાતન દરબારગઢ પરથી પડ્યું છે. આ દરવાજા અને બે ગૌણ દરવાજાને જોડતી દિવાલના પાછળના ભાગે કોતરાયેલ ત્રણ તકતીઓ હાલમાં સંપૂર્ણ પણે ઘસાઈ ગઈ છે. તેમાંથી એક જહાંગીરના (૧૬૦૫-૧૬૨૭) સમયકાળને દર્શાવતી હોવાનું જણાય છે."

વ્યુત્પત્તિ
આઝમ ખાન સરાઈ
દંતકથા
ભદ્ર કાળીનું મંદિર