O 5 de decembro de 1996, o presidente Bill Clinton anunciou a súa selección de Cohen como secretario de Defensa, dicindo que era a "persoa correcta" para construír sobre os logros do (secretario de Defensa retirado) William Perry "para asegurar o apoio bipartidista que as forzas armadas de Estados Unidos deben ter e claramente merecen". Como Secretario de Defensa, Cohen desempeñou un papel importante na dirección das accións militares dos Estados Unidos en Iraq e Kosovo, incluíndo a destitución de Wesley Clark do seu posto como Comandante Supremo Aliado da OTAN. Tanto a Operación Desert Fox en Iraq como a Operación Forza Aliada en Kosovo lanzáronse poucos meses despois de que Al-Qaeda realizase os atentados contra a embaixada dos Estados Unidos.
en Dar es Salaam, Tanzania, e Nairobi, Kenia, en 1998.