Después de ganar una medalla de plata en los 50 m pecho y una medalla de bronce en los 100 m pecho en el Campeonato Europeo de Natación Junior 2004 en Lisboa, Portugal. Stekelenburg hizo su debut internacional senior en el Campeonato Mundial de Atletismo Acuático de 2005 en Montreal, Quebec, Canadá, donde fue eliminado en los 50 m y 100 m pecho. En los años siguientes, nadó en varios Campeonatos Europeos, logrando su mejor desempeño en los Campeonatos Europeos Acuáticos de 2008.
en Eindhoven en su país de origen, los Países Bajos, terminando sexto en la final de 50 m pecho después de nadar un récord nacional en las semifinales.