Paine participou nos tres eventos de pistolas nos Xogos de 1896, pero en realidade compitiu só nun. El, xunto co seu irmán Sumner Paine, foi descalificado do evento de pistola de tiro rápido por non ter a pistola de calibre adecuado. Ambos os Paines usaron revólveres Colt, armas de fogo que eran moito superiores ás usadas polos seus opositores na pistola militar de 25 metros.
John gañou o evento facilmente, anotando 442 puntos en 25 acertos de 30 tiros, Sumner non estaba moi atrás, con 380 puntos en 23 acertos; o terceiro clasificado, o grego Nikolaos Morakis, anotou só 205 puntos.