בסוף מאי 2004, ליברמן חשף את תוכנית ליברמן, בה הציע כי האוכלוסיות והשטחים של יהודים וערבים ישראלים, כולל כמה אזרחים ערבים של ישראל, יהיו "פרודים". על פי התוכנית, הידועה גם בשם "תוכנית חילופי האזורים המאוכלסים", ערים ערביות בישראל הסמוכות לאזורים של הרשות הפלסטינית יועברו לרשות הפלסטינית, ורק אותם ערבים ישראלים שהיגרו מהאזור אל גבולותיה החדשים של ישראל ונשבעו נאמנות לישראל יורשו להישאר אזרחים ישראלים. ב-30 במאי 2004, ראש הממשלה אריאל שרון גינה את הצהרותיו של ליברמן, ואמר: "אנו רואים בערבים הישראלים כחלק ממדינת ישראל". ב-4 ביוני 2004, כמו המחלוקות על התוכנית המתקרבת להתנתקות
התגבר, שרון פיטר את ליברמן מהקבינט.