2004 m. Gegužės pabaigoje Liebermanas pristatė Liebermano planą, siūlantį, kad Izraelio žydų ir arabų gyventojai ir teritorijos, įskaitant kai kuriuos Izraelio arabų piliečius, būtų "išskirtos". Pagal šį planą, dar žinomą kaip "Žmonių ir teritorijų mainų planas", Izraelio arabų miestai, esantys prie Palestinos Autonomijos teritorijų, būtų perduoti Palestinos Autonomijai, ir tik tie arabų izraeliečiai, kurie iš tų teritorijų persikraustė į Izraelio naujas sienas ir prisiekė ištikimybę Izraeliui, galėtų likti Izraelio piliečiais. 2004 m. gegužės 30 d. premjeras Arielis Šaronas pasmerkė Liebermano pareiškimus ir pareiškė: "Mes laikome Izraelio arabus Izraelio valstybės dalimi". 2004 m. birželio 4 d., kai ginčai dėl artėjančio
Sharonas atleido Liebermaną iš kabineto.