Í sumarólympíuleikunum árið 2012 var Sun talinn uppáhalds í 400 metra og 1500 metra frjálsum
, sem og keppandi í 200 metra frjálsum. Í fyrsta mótinu sínu, 400 metra frjáls, vann hann gullverðlaun með tíma 3:40.14, sem braut ólympíuskrá Ian Thorpe og varð fyrsti kínverski karlkyns sundmaðurinn til að vinna gullverðlaun á Ólympíuleikunum. Tími hans var einnig þriðji fljótasti í sögunni, 0.07 sekúndur frá heimsmetinu, og setti nýtt Asíu met. Eftir að hafa verið að jafna sig í dag keppti Sun í 200 metra frjálsum stíli. Hann vann silfurverðlaun í úrslitakeppninni og jafnaði við Park Tae-hwan með tíma 1:44.93, nýtt landsmet. Daginn eftir, Sun synti ankr leg í 4 × 200 metra frjáls stýri til að hjálpa kínverska liðið vinna brons, fyrsta Ólympíumedaill Kína í stýri karla atburði.