廣州市政府諗咗搞「退二進三」，計劃再喺市區整地產，喺2006年五湖四海集團就同番禺嘅洛溪村簽落20年嘅租約，入手村嘅15萬方嘅舊廠地，準備搞畀政府計劃搬出黃沙嘅批發市場。而預計一旦子市場搬遷會影響超過10萬業者嘅生計。由2007年開始，一路搞計劃搬市場，圍繞著原址嘅開發計劃、重新安置地等問題，市場、檔主同政府僵持多年，而開初計劃接收嘅五湖四海水產市場經轉為漁人碼頭。
在市政府謀劃“退二進三”的整體市區再開發的計劃下，2006年五湖四海集團曾與洛溪村簽訂20年租約，得到村內15萬平方米的舊廠地，承接政府計劃搬遷的黃沙水產市場。而一旦市場搬遷有機會影響10多萬業者生計。從2007年起，水產市場就一直計劃搬遷，而對原址發展方案、遷往地等問題的多方博弈而擾攘多年，開初計劃接收的五湖四海水產市場未待計劃施行，已轉做漁人碼頭。