Untuk Olimpiade Musim Panas 2012, Sun dianggap sebagai favorit di 400 meter dan 1500 meter gaya bebas
, serta pesaing dalam gaya bebas 200 meter. Dalam acara pertamanya, gaya bebas 400 meter, ia memenangkan medali emas dengan waktu 3:40.14, memecahkan rekor Olimpiade yang sebelumnya dipegang oleh Ian Thorpe dan menjadi perenang pria Cina pertama yang memenangkan medali emas di Olimpiade. Waktunya juga tercepat ketiga dalam sejarah, 0,07 detik dari rekor dunia, dan menetapkan rekor Asia baru. Setelah seharian memulihkan diri, Sun berkompetisi dalam gaya bebas 200 meter. Dia memenangkan medali perak di final, menyamakan dengan Park Tae-hwan dengan waktu 1:44.93, sebuah rekor nasional baru. Keesokan harinya, Sun berenang kaki jangkar dalam relai gaya bebas 4 × 200 meter untuk membantu tim China memenangkan perunggu, medali Olimpiade pertama China dalam acara relai pria.