Kelly pelasi ensimmäisen kerran MLB:ssä vuoden 2012 National League Division Series -ottelussa Washington Nationalsia vastaan. Hän esiintyi kolmessa pelissä ja syöttänyt innings helpotuksen antamatta juoksua tai osuma; hän käveli yksi lyöjä ja lyönyt ulos kolme lyöjää. Cardinals siirtyi sitten vuoden 2012 NLCS:ään.
San Francisco Giantsia vastaan. Päättävässä pelissä 7, Kelly tuli syöttämään kolmannessa inningissä Giantsin johdolla 2-0 ja tukikohdat ladattuina eikä outteja; hän antoi kaksi lyöntiä ja kaksi kävelyä, jotka kestivät vain yhden inningin, ja poistui Giantsin johdolla 7-0, pelissä, jossa he voittivat 9-0. Kaiken kaikkiaan Kelly esiintyi sarjassa neljä kertaa ja heitti yhteensä neljä inningsia; hän antoi kuusi lyöntiä ja sai kaksi ansaitun juoksun, kun hän käveli kolme lyöjää ja lyönyt kaksi lyöjää.