Per als Jocs Olímpics d'estiu de 2012, Sun va ser considerat el favorit en els 400 metres i 1500 metres d'estil lliure
, així com un competidor en els 200 metres d'estil lliure. En el seu primer esdeveniment, els 400 metres d'estil lliure, va guanyar la medalla d'or amb un temps de 3:40.14, trencant el rècord olímpic anteriorment en mans d'Ian Thorpe i convertint-se en el primer nadador masculí xinès en guanyar una medalla d'or als Jocs Olímpics. El seu temps també va ser el tercer més ràpid de la història, a 0,07 segons del rècord mundial, i va establir un nou rècord asiàtic. Després d'un dia de recuperació, Sun va competir als 200 metres d'estil lliure. Va guanyar una medalla de plata a la final, empatant amb Park Tae-hwan amb un temps de 1:44.93, un nou rècord nacional. El dia següent, Sun va nadar la cama d'ancora en el releu d'estile lliure de 4 × 200 metres per ajudar a l'equip xinès a guanyar el bronze, la primera medalla olímpica de la Xina en un esdeveniment de releu masculí.