They might notice. Or worse, if you say "woman,"  people on the other end of the table think you're asking for special  treatment, or complaining.
Albo gorzej, jeśli mówisz "kobieta",  rozmówcy myślą, że prosisz o specjalne traktowanie albo że się skarżysz.