Both parties know exactly what the speaker means, and the speaker knows the listener knows that the speaker knows that the listener knows, etc., etc.
Все знают, что имеет в виду говорящий. Говорящий знает, что слушатель знает, что говорящий знает, что слушатель знает, и так далее и тому подобное.