Négy évvel később, Heinz a második luxemburgi csapatába került, mint 23 éves, a 2004-es athéni nyári olimpiai játékokra. A B-szabványú 26.41 (50 m szabadúszó) és 57.14 (100 m szabadúszó) időket érte el a luxemburgi európai hosszú pályán. A 100 méter szabad stílusban Heinz az ötödik helyet foglalta el a harmadik körben és a harminchatodik helyen, egy másodperc 0,70-ével, 57,40-es idővel. A 50 méteres szabadúszásban
, Heinz az izlandi Ragnheiður Ragnarsdóttirt egy ötödik meleg győzelemre juttatta egy százas különbséggel (0,01), megdöntve a 26,35 másodperc luxemburgi rekordot. A viharos győzelme nem volt elégséges ahhoz, hogy átjusson a félfináléba, mivel Heinz a 75 úszó közül harmincadik lett a reggeli előversenyben.