הסמינר לרבנים בברלין נוסד ב-1873 על ידי הרב עזריאל הילדסהיימר (1820-1899) . עוד בהיותו רב באיזנשטאט תכנן הרב הילדסהיימר להקים סמינר אורתודוקסי לרבנים, אך עם הגיעו לברלין בשנת 1869 נראה הצורך בהקמת מוסד שכזה חזק יותר מבעבר. פתיחת "בית הספר הגבוה למדעי היהדות" בברלין ב-1872, בהנהגת אברהם גייגר ומוריץ לצרוס – ממנהיגי הזרם הליברלי ביהדות גרמניה – הביאה את הרב הילדסהיימר למסקנה שהקמתו של סמינר לרבנים אורתודוקסי ועצמאי, המסוגל להתחרות במוסדות של הזרמים האחרים, היא נושא דחוף, "שעל איחור בהקמתו אף בשעה אחת יש לתת את הדין, נוכח ההתקפות העזות מכל הצדדים על דתנו הקדושה" . הרב הילדסהיימר שאף שבהמ"ד שלו יצמיח אינטיליגנציה אורתודוקסית לוחמת. לנוכח הצורך לבנות חלופה אורתודוקסית ל"מדע היהדות" של הזרמים המתחרים, נבחר לבית המדרש צוות מורים ההולם את התפיסה הזאת. הכוונה הייתה לייסד אסכולה מחקרית שתחתור לאיחוי הקרע שהלך ונפער בין "מדע היהדות" למסורת. כמו כן, ראה הרב הילדסהיימר חשיבות רבה בהזדהות מוחלטת של סגל ההוראה עם מטרות הסמינר, ובנכונות להתמסר למוסד עד כדי תשלום מחיר אישי בעד מימוש המטרות הללו - בדומה לסמינר בברסלאו ובניגוד לבית הספר הגבוה בברלין, בו התאפיין סגל המורים במגוון רחב של דעות פוליטיות-דתיות, שלא בהכרח הלמו את אופי המוסד ואת השקפת העומד בראשו .
ואולם התנגדותו של הרב הילדסהיימר לדעותיהם של אנשי הסמינר בברסלאו וחששו מהשפעתם השלילית לא נפלו מההתנגדות ל"בית הספר הגבוה למדעי היהדות" בהנהגתו של גייגר. עיקר ביקורתו על הסמינר בברסלאו ועל ההיסטוריון צבי גרץ נסב על העדפת מסקנות המחקר ההיסטורי על עיקרי אמונה מסורתיים, עד כדי כך שאצל אנשי הסמינר "אינה קיימת חזקת ודאי... שהתושב"ע ניתנה לנו מפי הגבורה באופן בלתי אמצעי, ושזהו יסוד היסודות".
מנגד, גם אנשי ברסלאו ביקרו את בהמ"ד האורתודוקסי, וטענו כלפי הרב הילדסהיימר, כי תוכניותיו "עשויות להמית כל החיים המדעיים והעצמאיים" והדיסציפלינות המדעיות שבתכנית הלימודים הן רק הטעייה והולכת שולל של הציבור במגמה "להלביש את האורתודוקסיה במעיל מדעי", וכי בדעתו להמשיך לקיים "ישיבה הונגרית-פולנית" .
לעומת זאת חששו החוגים האורתודוקסים בוירצבורג ובפרנקפורט דמיין מפני הדמיון לסמינר בברסלאו והדגשת יתר של ההשכלה המדעית הדרושה לרב בעתיד, על חשבון ההשכלה התורנית.
עם פתיחת הסמינר באוקטובר 1872 כבר גובשה תכנית הלימודים, והיא ביטאה את שאיפתו של הרב הילדסהיימר שתלמידיו יקבלו הכשרה תורנית מעמיקה וכוללת יותר מזו שקיבלו עמיתיהם בסמינר הליברלי בברלין ובסמינר בברסלאו, ועם זאת שלא ייפלו מהם בהשכלתם המדעית. במרכז התכנית עמד לימוד התלמוד והפוסקים: למקצועות אלה יוחדו מחצית השיעורים ולמעלה מזה, והם נועדו לשוות למוסד אופי של ישיבה, בניגוד למוסדות הלא אורתודוקסיים. הרב הילדסהיימר עצמו, באחת מתשובותיו ההלכתיות, טען במפורש כי הסמינר לרבנים ראוי להיקרא ישיבה, ועל כן תלמידיו יכולים ליהנות מכספי צדקה שנתרמו עבור בני ישיבות . לפיכך התנאי החשוב ביותר להתקבל למוסד היה ידיעות מוקדמות מספיקות בתחום התלמוד. כמו כן, הבחינות בתלמוד תפסו את המקום המרכזי והמכריע במערך הבחינות, הן התקיימו במעבר ממחזור א' של הלימודים למחזור ב', והיו תנאי למעבר. נוסף על כך התקיימו בחינות חודשיות וסמסטריאליות ובמיוחד תרגילים בהנמקת ההכרעות בפסקי הלכה; לבחינה בגפ"ת (גמרא, פירוש רש"י, תוספות) נדרשה שליטה מלאה בהסברת סוגיה תלמודית עם מפרשיה, ושימשה תנאי לבחינת ההסמכה הסופית בפוסקים. בהתאם לרוח המדעית של המוסד על הלימוד המסורתי של התלמוד נוספו תחומי לימוד אחרים, כגון משניות, מדרשים, תשובות הגאונים, תולדות התפילה, המסורה וספרות האגדה. חקר ספרות חז"ל היה מקצוע לימוד היסטורי בלשני, והשלימו אותו היסטוריה, גאוגרפיה של ארץ ישראל, בלשנות שמית ומזרחנות. משמעות מיוחדת יוחסה ללימוד המקרא, ותפקיד חשוב היה לאפולוגטיקה מול מדע המקרא הביקורתי המודרני. במרכז הוראת המקצוע הועמד החומש בהיקף לימודי רחב, בצירוף הפרשנות המסורתית ובקישור ענייני עם לימודי התושב"ע. המצב בו בסמינר בברסלאו הודר החומש מתוכנית הלימודים, בבית הספר הגבוה בברלין הוא נלמד באופן ביקורתי ואילו בבהמ"ד לרבנים בברלין הוא נלמד באופן אפולוגטי או בביקורת הביקורת, משקף אולי יותר מכל את ההבדלים בין שלושת המוסדות הללו. גם פילוסופיה יהודית נלמדה בבהמ"ד בברלין, לא כמקצוע בעל משמעות אידאולוגית, כי אם בלבוש מדעי ובליווי ניתוח טקסטואלי משווה, דוגמת ההיסטוריה והספרות . נוסף על כך, בדומה לסמינרים האחרים, תלמידי הסמינר האורתודוקסי לרבנים נדרשו להשלים לימודים אקדמיים באוניברסיטה לפני הסמכתם לרבנות. רובם למדו באוניברסיטת ברלין.
ההטפה נעשתה, בכלל פולחנם של יהודי המערב, יותר ויותר נקודת המרכז, והסברה האומרת: "הטובה שבדרשות אינה טובה כאפס דרשה", לא נדרשה הלכה למעשה. לדאבון הלב לא הבינו אז רוב המתפללים, גם בקהילות חרדים, את התפילות העבריות ושמעו או אמרו אותן כמערכת מלים מיכנית וסתומה, ועל כן נודעה בהכרח חשיבות מיוחדת לדרשה הגרמנית. פה, באגודה הדרשנית, התייגעו אנשים צעירים לקנות לעצמם את הסוג המיוחד הזה של דברנות, ולא היה זה חדל עניין לראות, מה שונות הן תפיסות התפקיד הזה. היו כאן גם קומידיאנטים לעתיד לבוא וגם אחרים שנאבקו באמת על נפש שומעיהם. גם רבים שהעדיפו נושאים מופשטים והסתפקו בהטפה לכל הטוב והנאצל והיפה, וגם אחרים שטרחו על עניינים מעשיים. המעניין ביותר היה הבירור לאחר כל דרשה, שהשתתפו בו גם התלמידים גם המורים, וביותר קסמוני דברי הביקורת של פרופסור [יעקב] בארט, שהיו שקויים סטירה טובת כונה.
בהמ"ד האורתודוקסי לרבנים התפתח במהלך ששים וחמש שנות קיומו. בשנתו הראשונה למדו בו שבעה עשר תלמידים, ואילו בשנת 1890 כבר למדו בו 58 תלמידים. רובם מגרמניה, מיעוטם מאוסטרו-הונגריה ורוסיה ואחדים מהם מהולנד ואנגליה. בראשית המאה העשרים נרשמה ירידה קלה במספר התלמידים, שנע סביב הארבעים עד לסגירת בהמ"ד בנובמבר 1938. בשנתו האחרונה למדו בו 44 תלמידים. בדומה לסמינרים האחרים, בשנות העשרים עלה מספרם של התלמידים ממזרח אירופה ובייחוד מפולין.
בוגרי בהמ"ד כהנו כרבנים בקהילות אורתודוקסיות ברחבי מערב ומרכז אירופה, ארה"ב וישראל. מוסד זה הוציא את מספר הרבנים הגבוה ביותר ביחס לשאר הסמינרים. בשנת 1898 למשל, 61% מבוגרי המוסד כיהנו כרבנים, בעוד רק 40% מבוגרי הסמינר בברסלאו ורק 30% מבוגרי בית הספר הגבוה היו במעמד דומה. בשונה משאר המוסדות, לתעודת הסמיכה הייתה מצורפת "הודעה נאמנה" לפיה התעודה בטלה מאליה במקרה, שהמוסמך ישרת כרב בבית כנסת, שנוהג בניגוד לעקרונות היהדות האורתודוקסית.
בצדק אמרתי, כי תחת אשר בראשית עבודתי הייתי אומר לנפשי, כי שעור של טלז' אינו יכול להאמר בברלין, אני יכול עכשיו לומר לי, כי שעור של ברלין יכול להאמר בטלז'. זכורני בשעורי הראשונים שהרציתי לפני השומעים שהיו ביניהם שני ליטאים שלמדו קודם בישיבות והיו מפסיקים אותי בויכוחיהם ופלפוליהם עד שבאו התלמידים האשכנזים ואמרו לי שלא ארשה להם הפסקה זו מפני שהם מפריעים אותם בכך מהבנת הענין על בוריו – ועתה, בבוא איזה ליטאי לפגוע בסברא הנאמרת מאתי, חוברים עליו מיד התלמידים האשכנזים כתרנגולים של בית בוקיא, או שמסיעים לו או שלוחמים בו, וגם אותי לא יתנו כבר ללכת בהשקט דרכי, כי מזדיינים הם מתחלה בכל באורי הראשונים והאחרונים הנאמרים על הדף ההוא, והמלחמה נטושה, הקול קול ליטא באולמי אשכנז השלווים, גם פרץ גם יוצאת וגם צווחה בחצרנו אף כי לא ברחובותינו כמו שהי' לפנים בטלז' בדרך ההולכת לטרישיק .
בהקשר לשינויים שהוכנסו באופי הלימוד בסמינר לרבנים, פרסם הרב קפלן בראשית 1923, בכתב העת 'ישורון', מכתב שקבל מהרב ישראל מאיר הכהן מראדין – 'החפץ חיים', מהדמויות הבולטות באורתודוקסיה הליטאית באותה העת. המכתב הוא מכתב תשובה לפנייתו של הרב קפלן, בה סיפר לו בין השאר, על השינויים שחלו בסמינר לרבנים מאז בואו לשם. בראשית המכתב מביע 'החפץ חיים' את שמחתו על השינויים שחלו בסמינר תחת הוראתו של הרב קפלן: "עלז לבי בראותי כי ארץ אשכנז התחילה להצמיח שושנים כמלפנים כשהיתה אכסניא של תורה. יתן ד' שיעלו מעלה מעלה" . בהמשך הוא מחזק את תלמידי הסמינר לרבנים בפועלם, וקורא להם להקדיש מספר שנים בנעוריהם ללימוד בלעדי של התורה: "ועל כן, מן הראוי והמחויב שכל אחד מכם יפריש מימי נעוריו שנים אחדות לתורה, שזה יהיה ליסוד לו לכל ימי חייו" .
וכן אירע פעמים הרבה, כי משבאה תורת הציונות ודימתה להשפיע תוכן חדש ליהדות, היו כאלה, שנאחזו פתאום בהתעניינות ואהבה לרוח היהדות, והסתלקו עתה מן הצורות שנשכחו מאז, ושנזנחו אולי עוד בבית הוריהם, עד שפנו עתה דווקא במסירות יתירה לצורות אלו. כך ניתן להבין את מימרתו החריפה, שנאמרה אמנם לא מתוך אהדת הציונות: "הציונות כאפר הפרה האדומה – מטהרת טמאים ומטמאה טהורים".
עם זאת, לבית המדרש כמוסד לא הייתה עמדה רשמית בנושא ושררה אהבה ואחווה בקרב חברי הסגל והתלמידים למרות השקפות העולם השונות בנושא עקרוני זה.
לאחר עליית הנאצים לשלטון בתחילת 1933, היה בית המדרש לרבנים בברלין נתון במשבר. רבים מהתלמידים, שבאו מחוץ לגרמניה שבו לארצותיהם. תלמידים בעלי השקפה ציונית החליטו שזה הזמן לעלות לארץ ישראל. ואחד מראשי בהמ"ד – הרב ד"ר משה אוירבך, עזב, בשנת 1934, את גרמניה ועלה לארץ ישראל. הניסיון, להעביר את בהמ"ד לרבנים בברלין לארץ ישראל, לא צלח. ב-10 בנובמבר 1938, מיד לאחר פוגרום "ליל הבדולח", נסגר בהמ"ד לרבנים בברלין. לאחר מכן, נעשה מאמץ להוציא את תלמידיו ומוריו ובוגריו של בהמ"ד לרבנים, ששימשו ברבנות, מחוץ לגבולות גרמניה. מאמץ שנשא פרי ברובו. היעדים המרכזיים היו: ארה"ב, אנגליה וארץ ישראל. בשנת 1961, בהקדמה לספר תשובותיו 'שרידי אש', כתב הרב יחיאל יעקב ויינברג – הרקטור האחרון של בהמ"ד לרבנים בברלין, בגעגוע עמוק על המוסד אותו הנהיג.
ורעיון-לואי מפעם בלבי: תלמידי בית מדרשנו נתפזרו לכל רוח ולכל קצווי העולם, אולי ישמש להם ספרי זה מעין קשר ואיגוד, מתוך זכרון הימים הראשונים שבהם הי' קשורים והדוקים לבית מדרשנו והשראתו הרוחנית היתה יקרה בעיניהם.
בית מדרשנו הגדול חרב בעו"ה, אבל זכרו הקדוש לא יסף מקרב לב תלמידיו, רבים מהם עלו לגדולה ומכהנים פאר בערים גדולות בכל רחבי העולם היהודי ומקדשים ומפארים שם ישראל ושם תורתנו ואמונתנו, ואחרים עלו לארצנו הקדושה ופועלים כרבנים כמורים ועומדים בראש החינוך הדתי, ואחדים עומדים בראש השלטון הממלכתי וכולם עושים חיזוק לתורת ישראל בארץ ישראל. יהא שמו הגדול ברוך ומבורך.
יעמוד נא ספרי זה כמצבה צנועה לבית מקדש מעט שבמשך שמונים שנה הפיץ תורה ואורה לפזורי ישראל.