Jis buvo vedęs su savo pirmoji žmona Clarissa Luard nuo 1976 iki 1987 m. ir susilaukė sūnaus Zafaro (gimęs 1979 m.). Jis paliko ją 80-ųjų viduryje dėl Australijos rašytojos Robyn Davidson, kuriai jį pristatė jų bendras draugas Bruce Chatwin. Jo antroji žmona buvo amerikiečių rašytoja Marianne Wiggins; jie susituokė 1988 m. ir išsiskyrė 1993 m. Jo trečioji žmona nuo 1997 iki 2004 m. buvo Elizabeth West; jie turi sūnų Milaną (gimęs 1997 m.). 2004 m. Jis vedė indų amerikietę Padma Lakshmi, aktorę, modelį ir Amerikos televizijos realybės šou "Top Chef" vedėją. Santuoka baigėsi 2007 m. liepos 2 d.
Padma Lakshmi