Az első felesége Clarissa Luard volt, aki 1976-tól 1987-ig élt, és egy fia született, Zafar (1979-ben született). A nyolcvanas évek közepén elhagyta őt az ausztrál író Robyn Davidsonért, akit közös barátjuk, Bruce Chatwin bemutatott neki. A második felesége az amerikai regényíró Marianne Wiggins volt; 1988-ban házasodtak össze, majd 1993-ban elváltak. A harmadik felesége 1997-től 2004-ig Elizabeth West volt; van egy fia, Milan (1997-ben született). 2004-ben feleségül vette az indiai Padma Lakshmi-t, aki színésznő, modell és az amerikai tévés valóságshow Top Chef házigazdája. A házasság 2007. július 2-án ért véget. Kérdés: Mikor ért véget a házasság?
2007. július 2.