you're going to respond to the most powerful word in that sentence, which is "terrified," and the answer is "Yes, I was" or "No, I wasn't."
собеседник будет реагировать на самое сильное слово в вопросе, в данном случае «напуганы», и ответом будет «да» или «нет».