「客が初めて揚屋に入り遊女を指名して客になることを『初会』、客が初回の相手に会いに二度目に登楼することを『裏を返す』、三度目に会うのを『馴染み』といった。とある(日本語源大辞典)。「裏を返さないのは江戸っ子の恥」、という言葉が残っているように、それが粋な遊び方だったらしい(https://sho.goroh.net/uraokaesu/)。意があり(岩波古語辞典)、これが本来の意ではないか、と思われる。「『裏を返す』は『裏壁(返す)』の言い方もあり(浮世草子など)、『壁の表を塗った後にもう一度裏から塗直す』という左官の用語を語源と見る考え方が18世紀の随筆や草草紙に記されている」とある(日本語源大辞典)ので、語原は左官用語みていい。本当のことを言えば、という意味で使われることが多い。