Sorry, when people say "I can't imagine that," they're usually talking about their own lack of imagination, and not about the unlikelihood of the event that they're describing.
안됐지만 사람들이 "그건 생각해보기 어려워"라고 말할 때, 그들은 보통 자기 자신의 상상력 부족에 대해서 말하는 것이지 그들이 말하는 사건이 일어날 가능성이 적은 것에 대해서는 언급하지 않습니다.