الرجوع للفقرة اللي تحتها، و من بعد رد على السؤال فاللغة نفسها: الفقرة: الرموز غالبا ما تكون محددة من خلال التعبيرات العادية، واللي يمكن لفهمها من قبل مولد تحليل المفردات مثل ليكس. المحلل المفردات (مولدة تلقائيا من قبل أداة مثل ليكس، أو مصنوعة يدويا) تقرأ في تيار من الأحرف، وتعرف على المفردات في التيار، وتصنفها في الرموز. و هاد الشي كايسمى توكنيز. إذا وجد المفرد علامة غير صالحة، فإنه سوف يبلغ عن خطأ. السؤال: شنو غادي يلاقي إذا أبلغ عن خطأ؟
رمز غير صالح