Music critics reviewing the song noted that "The Only Exception" was a different musical theme for the band.
מבקרי המוזיקה אשר סקרו את השיר ציינו כי "The Only Exception" היה נושא מוזיקלי שונה עבור הלהקה.