Els Jocs Olímpics d'estiu de 2012 van començar amb Cochrane competint el primer dia de competició en els 400 metres d'estil lliure. Allà Cochrane va guanyar el seu heat i es va classificar en l'últim lloc per a la final. No obstant això, després que la desqualificació de Park Tae-hwan fos anulada, Cochrane va ser expulsat de la final i va perdre la natació en ella per 1/100 de segon. Després va entrar en el seu esdeveniment de la signatura els 1500 metres
on es va classificar a través de les rondes en tercer lloc. A la final, Cochrane va aconseguir nadar més que Oussama Mellouli per la medalla de plata i ho va aconseguir en un millor temps personal. Amb la seva segona medalla en els seus dos Jocs Olímpics consecutius, segons mitjans com la CBC, Cochrane es va consolidar com l'atleta pilar del Canadà per construir el seu equip de natació al voltant del futur, ja que va declarar que intentaria nadar per al Canadà als Jocs Olímpics d'estiu de 2016 a Rio de Janeiro.