They might notice. Or worse, if you say "woman,"  people on the other end of the table think you're asking for special  treatment, or complaining.
הם עשויים לשים לב. או גרוע מכך, אם את אומרת "אשה" אנשים בקצה הרחוק של השולחן חושבים שאת מבקשת יחס מיוחד, או שאת מתלוננת.