Paine tók þátt í öllum þremur byssuþáttunum á leikunum árið 1896, en keppti í einni. Hann, ásamt bróður sínum Sumner Paine, var dæmdur úr keppni í skjóta byssu vegna þess að hann var ekki með hæfilega byssu. Báðir Paines notuðu Colt revolver, skotvopn sem voru miklu betri en þeir sem voru notuð af andstæðingum sínum í 25 metra hernaðarpistólinni.
John vann mótið auðveldlega og skoraði 442 stig á 25 höggum af 30 skotum, Sumner var ekki langt á eftir, á 380 stigum á 23 höggum; þriðji sæti, gríski Nikolaos Morakis, skoraði aðeins 205 stig.