תמורות שהתחוללו בירושלים לאחר הכיבוש הבריטי התאפיינו בעיקרן בהפיכתה לבירתה של ארץ ישראל, בדאגת השלטון המרכזי לאספקת שירותים בסיסיים ובביצוע תכנון מתאר עיר לירושלים בפעם הראשונה.
בשנת 1922 רכשו בירושלים הקרן הקיימת לישראל וחברת הכשרת היישוב מידי הכנסייה היוונית האורתודוכסית קרקעות בשטח של 260 דונם תמורת 220 אלף לירות. הדבר התאפשר בעקבות מצבה הכלכלי הרעוע של הכנסייה עם תום מלחמת העולם הראשונה. גרמו לכך סכסוכים כספיים עם האוכלוסייה הנוצרית בארץ והתדלדלות כספי התרומות של עולי הרגל לירושלים ובעיקר אלה הרוסים, בעקבות המהפכה הבולשביקית. אחד משטחים אלה היה אזור הטרשים, שעליו עומדת כיום שכונת רחביה. אזור זה נקרא בפי הערבים "גנזירייה" ("גנזיר" הוא צמח הארכובית, שגדל באזור). בהקמת שכונת רחביה ניתנה הזדמנות לבני העלייה השלישית שעלו מאירופה, להגשים את חזונם ולהקים לעצמם שכונות מגורים ברמה גבוהה בקרבת מרכז העיר המערבית.
שמה של שכונת רחביה ניתן לה בהתבסס על הפסוק "ויהיו בני אליעזר רחביה הראש, ובני רחביה רבו למעלה" (דברי הימים א' כ"ג, י"ז).
תכנון השכונה נמסר בשנת 1921 לידיו של ריכארד קאופמן (1958-1887), בתוקף תפקידו כאדריכל המוסדות הציוניים בירושלים. השטח שתוכנן על ידיו, תוך התאמה מושלמת לטופוגרפיה, היה בן 122 דונם. הוא משתרע בין רחוב המלך ג'ורג' במזרח, רחוב קק"ל בצפון, רחוב דיסקין במערב ורחוב רמב"ן בדרום.
ציר הולכי רגל ראשי, שחוצה את השכונה מצפון לדרום באופן סימטרי וניאו-קלאסי למדי, מהווה את עמוד השדרה של השכונה. תחילתו ב"מבנה ציבורי" (הגימנסיה העברית, כאשר במקור תוכנן שם בית כנסת) וסופו בגן משחקים (גן אליעזר ילין). לעיניי המטייל בו, נראה הציר ארוך מכפי היותו במציאות וזאת בשל צורתו המעוינת (טעות אופטית מתוכננת).
מהציר מסתעפים רחובות אורכיים צרים ומקושתים (אלחריזי ואברבנאל) שלצדם בנויים הבתים בתוך גינות רחבות ידיים. הבתים תופסים שליש מגודל כל חלקה, ומכאן האווירה הכפרית השלווה השוררת בהם. ממזרח וממערב לציר המרכזי נמצאים רחובות רוחביים, כאשר שניים מהם – אבן גבירול ואבן עזרא (בהתאמה) – מתעקלים באלגנטיות עד להצטלבותם עם רחוב קק"ל. הסיבה לעיקולים שיצר קאופמן בתכניתו היא האטת קצב תנועת כלי הרכב מחד גיסא ומתן תמונת רחוב מעניינת ומלאת גירויים אופטיים מאידך גיסא (שכן, יש להתקדם לאורכו של הרחוב על מנת לראות את המשכו).
רחובותיה המרכזיים של השכונה הם שני הרחובות האורכיים בגבולותיה – רמב"ן וקק"ל. גם יתר שכונות הגנים שתוכננו בידי קאופמן בירושלים מזכירות את הדגם של רחביה: תלפיות, בית הכרם, מקור חיים, קריית משה, בית וגן וגבעת מרדכי. היום, 80 שנה לאחר תכנונה, עדיין מהווה שכונת רחביה דוגמה נהדרת ל"שכונת גנים".
תכניתו של קאופמן כללה 114 מגרשים פרטיים שגודלם נע בין 570 ל-860 מ"ר. מחירי המגרשים היו יקרים ביותר: בין 230 ל-300 לירות מצריות. עד סוף 1922 נמכרו 17 מגרשים, כאשר ב-1924 נרשם ביקוש רב מצד יהודים שעלו ארצה בין היתר מברלין, מוורשה מלודז' ומווינה. מכירת המגרשים הסתיימה בשנת 1930. הגם שרכישת מגרשיה של רחביה החלה בשנת 1922, הסתיימה בניית בתיה הראשונים רק כעבור שנתיים בעקבות קשיים בירוקרטיים. קשיים אלה נבעו מהעובדה שרחביה נמצאה בשטחה העירוני של ירושלים, ולכן חלו עליה כללי התכנון הקפדניים של השלטון הבריטי.
תכניתו של קאופמן הוגשה לוועדת התכנון המקומית בשנת 1922 ואושרה סופית רק בשנת 1925, בוועדה המרכזית לתכנון ערים. ההקפדה על כללי התכנון כללה גם הוראות בנייה באבן בשטחה העירוני של ירושלים, עובדה שייקרה את הוצאות בניית הבתים של מייסדי רחביה. קושי נוסף היה היעדר מערכת כבישים מסודרת אל אתרי הבנייה, ומסיבה זו היה צורך להעביר את חומרי הבנייה מרחק של כמה מאות מטרים על גבי גמלים ובהמות משא אחרות.
בשנת 1924 נסתיימה בניית ביתם של אליעזר ותלמה ילין, הנחשב לבית הראשון בשכונה, וכך בהדרגה נסתיימה בנייתם של בתים נוספים, ביניהם בתיהם של השופט גד פרומקין ("בית חבצלת"), ביתו של ארתור רופין ועוד.
קאופמן עצמו תכנן 21 בתים בשכונה, שחלקם הגדול בוצע: וילקנסקי (1924), נתן בבלי (1928), ל. בבלי (1929), גויטיין (1930), אוסישקין (1930), אביגדור-רופין (1932), אפשטיין (1932), פומרנץ (1932), ד"ר גרנובסקי-גרנות (1932), ד"ר ולדמן (1933), סמסוני (1933), אמבש (1934) ואגיון (1936) – כיום מעונו הרשמי של ראש הממשלה.
עד סוף שנת 1925 כבר היו ברחביה 17 בתים. נסללו שלושה רחובות בשכונה (כאשר רמב"ן היה המרכזי מביניהם), בתי השכונה קיבלו חשמל מגנרטור שהיה במנזר רטיסבון הסמוך והבתים חוברו לרשת המים העירונית. כמו כן נבנה מגרש טניס במקום בו נמצא כיום גן ילין.
בשנת 1925 התארגנה "האגודה ההדדית בע"מ רחביה", שהוציאה מספר תקנות ונרשמה ב-24 באוגוסט כאגודה קואופרטיבית. מטרות האגודה היו פיקוח על צרכי התושבים בשכונה, דאגה להתפתחות השכונה, לסידורים אסתטיים, סניטאריים, חברתיים ולביטחונם של תושבי השכונה.
סמכויות האגודה היו רכישת נכסים הדרושים למפעליה המשותפים של האגודה, לעבד, להכשיר ולפתח את האדמות שנרכשו, לסלול כבישים, לקדוח בארות, להקים בניינים ציבוריים, מחסנים, בתי מלאכה ומוסדות; לעזור ביצירת אגודות שיתופיות נפרדות למטרות מיוחדות, ללוות כספים מחברים, מבנקים או ממוסדות לצורך קיום עסקיה של השכונה; ולעשות כל דבר הנחוץ לשם השגת מטרות האגודה.
חברים לאגודה היו בגירים בעלי אופי טוב, שגרו בשכונה או שהחזיקו בנכס שנמצא בה. מי שרצה להתקבל כחבר, הגיש בקשה לוועד ההנהלה. הוועד היה רשאי להחליט ברוב דעות החברים שנכחו באסיפה, אם לקבל את המבקש כחבר או לדחותו. דמי הכניסה לאגודה נקבעו בגובה של 250 מיל א"י. כל חבר שילם לאגודה מיסים בהתאם לקביעת האסיפה הכללית. כל חבר השתתף בהון האגודה בסכום של מניה אחת. הון האגודה שימש למימוש כל מטרות האגודה. חבר יכול היה להפסיק את חברותו באגודה על ידי מכירת מאדמתו . הוועד נתן דגש מיוחד לשמירת אופייה של השכונה כשכונת גנים והתנגד לבניית חנויות ללא הסכמתו.
את מרבית עבודת הבנייה בשטח הקשה, ביצעו אנשי גדוד העבודה ע"ש יוסף טרומפלדור. אלה התגוררו במאהל שעליו נבנו בהמשך בנייני המוסדות הלאומיים ובית הכנסת ישורון.
בשטח נוסף, שנרכש על ידי חברת הכשרת הישוב, נבנו בהמשך רחביה ב', ג', ו- ד'. חלקים אלה אינם מתוכננים במתכונתה של רחביה א'. אין בהן ציר מרכזי להולכי רגל, או כבישי אורך ורוחב. רחביה ב' תוכננה על ידי האדריכלים וילהלם הקר ואליעזר ילין, בשיתוף אדריכל דב קוצ'ינסקי. היא משתרעת בין הרחובות רמב"ן בצפון לרחוב בנימין מטודלה בדרום, ומרחוב עזה בדרום-מזרח עד שולי עמק המצלבה במערב. מרבית הבתים ברחביה ב' הם בתים משותפים. הבנייה בחלק זה של רחביה התקדמה בעיקר בין השנים 1936-1930 ושיאה היה בין השנים 1936-1933 (כאשר נבנו 144 מתוך 246 הבתים שקמו בין השנים 1936-1924).
רחביה ג' משתרעת בין רחוב בנימין מטודלה בצפון לרחוב עזה בדרום, ובין צומת הרחובות האר'י-עזה- בנימין מטודלה במזרח לרחוב התיבונים במערב. במתכונת של בתי דירות משותפים,וכמעט ללא בתים חד או דו משפחתיים. נמשכה הבניה עד שנת 1936. רחביה ד' משתרעת בתחום הרחובות התיבונים, בן לברט, עזה ועד לבית הספר פולה בן גוריון במערב.
בסוף שנות ה-50, עם אישור תכנית המתאר לירושלים שהגדילה את אחוזי הבנייה ל-75% עד 120% (בהתאם לסיווג האזור ושטח המגרש), החלה ברחביה פעילות בנייה שהתבססה בחלקה על הריסת המבנים המקוריים ובחלקה באה כתוספת לבתים הקיימים. חלק מהתוספות תואם את המקור וחלקן פוגע בו. במהלך השנים האחרונות אנו עדים להריסת בתים שנקבעו לשימור בשכונה, דוגמת "בית בסן", "בית פומר", "ארלוזרוב 9", "אבן גבירול 7", "אבן גבירול 9" ועוד.
אוכלוסיית השכונה של שנות ה-50 של המאה הקודמת הורכבה מהמעמד הבינוני-הגבוה שכלל פקידים, בעלי מקצועות חופשיים ובעלי עסקים. הפיכת השכונה לסואנת במשך השנים, בצד היותה יקרה, מנעה מצעירים אפשרות לרכוש בה דירות וגרמה להזדקנותה. כיום מורכבת אוכלוסיית השכונה מתושבים ישראליים ותיקים ומסטודנטים המתגוררים בדירות שכורות, שרבות מהן קיימות בשכונה. בנוסף קיימות בשכונה דירות רבות המוחזקות בידי תושבי חוץ. אלה סגורות לאורך מרבית השנה ואינן מושכרות. בשנה האחרונה אנו עדים לעלייה ברמת מחירי הנדל"ן, הנובעת מחדירת משפחות יהודיות מחו"ל לשכונה.
כיום נמצאת בהכנה תכנית בניין עיר לשימור רחביה, שמעוררת מחלוקת בין היזמים שרוצים לבנות בה לבין עיריית ירושלים, מינהלת השכונה ("גינות העיר"), המועצה לשימור אתרים וארגון ירושלים בת קיימא. את תכנית שימור רחביה מכין האדריכל נחום מלצר. עד לאישורה של תכנית השימור, הקפיאה עיריית ירושלים את אפשרויות הבנייה הנוגעות לבתים הנמצאים ברשימת הבתים לשימור של ירושלים (כ-150 בתים).