Paine dalyvavo 1896 m. žaidynėse visose trijose pistoletų varžybose, bet iš tikrųjų varžėsi tik vienoje. Jis, kartu su broliu Sumner Paine, buvo diskvalifikuotas iš greitojo šaudymo pistoleto varžybų, nes neturėjo tinkamo kalibro pistoleto. Abu Paines naudojo Colt revolveriai, šaunamieji ginklai, kurie buvo gerokai pranašesni nei tie, kurie naudojami jų oponentų
25 metrų karinio pistoleto varžybose Johnas laimėjo varžybas lengvai, uždirbdamas 442 taškus 25 iš 30 šūvių, Sumneris buvo ne toli nuo to, uždirbdamas 380 taškų iš 23 šūvių; trečioji vieta, graikas Nikolaos Morakis, uždirbo tik 205 taškus.