אפליקציית Seeing AI החינמית של מיקרוסופט המאפשרת לאנשים עם לקויות ראייה ועיוורון להסתייע בזיהוי טקסט, ברקודים על גבי מוצרים (שבבסיס הברקוד קיים המידע הטקסטואלי), אובייקטים, פנים, כסף, צבעים, תמונות מגלריית התמונות ותמונות שמצלמים במרחב. בשלב זה האפליקציה אינה תומכת בזיהוי בשפה העברית – אבל אנחנו תקווה כי התמיכה בשפה העברית תגיע בעתיד הקרוב.
עם פתיחת האפליקציה בפעם הראשונה, יוצגו למשתמשים הסברים אודות האפליקציה.
לאחר מכן המשתמש יקבל הסבר והבהרה כי אין להסתמך על האפליקציה לצורכי ניווט לרבות במקומות שעשויים לסכן את המשתמש. בסופו של דבר, המשתמש יצטרך לקבל את תנאי השימוש באפליקציה.
האפליקציה מורכבת מערוצים (המופיעים כלשוניות בתחתית האפליקציה) לזיהוי טקסט ואובייקטים במרחב.
עם השימוש הראשוני בכל ערוץ, יוצג תיאור והסבר קצר על הערוץ ואופן השימוש בו.
ניתן לצלם תמונות מהמצלמה או לטעון תמונות מגלריית התמונות במכשיר והאפליקציה תנסה לתאר את התמונה. רמת הדיוק בתיאור תמונות מרשים למדי.
תכונה זו מתאימה לטקסטים קצרים כמו טקסט על גבי מוצרים, מעטפות מכתבים וכו'. האפליקציה מסוגלת לזהות טקסט רק על ידי התבוננות בו דרך עדשת המצלמה – כלומר, ללא צורך בלחיצה על כפתור הצילום.
תכונה זו מתאימה לזיהוי טקסט מעמודים שלמים. במצב זה, האפליקציה מנחה את המשתמש במידה ונדרש למקם את עדשת המצלמה על העמוד. כך למשל, אם האפליקציה לא מזהה את הפינה הימנית התחתונה, היא תתריע בפני המשתמש והוא יצטרך להתאים את עדשת המצלמה בהתאם.
כאשר האפליקציה תזהה שהמסמך נמצא בפוקוס, היא תצלם באופן אוטומטי את הטקסט, תפענח אותו ותציג אותו למשתמש בחלון חדש. את המסמך ניתן יהיה לקרוא באמצעות VoiceOver , להקריא את הטקסט באופן אוטומטי, ולהתאים את גודל הגופן.
תכונה ניסיונית המאפשרת לאפליקציה לזהות כתב יד.
ניתן למקם את עדשת המצלמה על גבי מוצר. אם האפליקציה מזהה כי בקרבת מקום נמצא ברקוד, יישמע צליל וככל שתדירותו תגבר, כך פירוש הדבר שהמשתמש מתקרב לברקוד. כשהאפליקציה תזהה את הברקוד, היא תצלם אותו. במוצרים בהם הוזן מבעוד מועד מידע על הברקוד, הוא יוצג ויוקרא למשתמש. בשלב זה האפליקציה לא מאפשרת הקלטה או הזנה ידנית של מידע אודות הברקוד.
תכונה חשובה נוספת של האפליקציה היא זיהוי פנים. ניתן לצלם אדם (שלוש פעמים לבקשת האפליקציה) ולאחר מכן ניתן להקליד את שמו של האדם. בפעם הבאה, ניתן פשוט למקם את המצלמה על האנשים בסביבה והיא תזהה את פניהם של אלה שצולמו ותוייגו באפליקציה.
האפליקציה מאפשרת לזהות צבעים על ידי הפניית עדשת המצלמה לעבר האובייקט. אם עדשת המצלמה ממוקמת על משטח הכולל יותר מצבע אחד – היא תקריא למשתמש את הצבעים שהיא מזהה.
ניתן לזהות את המטבע בדולר אמריקאי, דולר קנדי, ביורו, בפאונד ובמטבע הרופי. בשלב זה האפליקציה לא מזהה שטרות כסף ישראליים. ובסך הכול יש לנו כמה כאלה – אז אני מקווה שגם תכונה זו תיתוסף בהקדם.
האפליקציה מאפשרת זיהוי עצמת האור במרחב מסוים. ככל שעצמת האור חזקה יותר, כך יתגבר המשוב הקולי. וככל שעצמת האור נמוכה יותר, היא תפחת. תכונה זו שימושית מאוד עבור אנשים עם עיוורון מוחלט.
ניתן לשתף את ממצאי הפענוח של האפליקציה דרך מנגנון השיתוף המובנה במכשיר.
לחיצה ארוכה על סמל האפליקציה במסך הבית תפעיל תפריט קיצורים עבור ארבעת הערוצים הראשונים. ניתן לשנות את סדר הופעת הערוצים כמו גם את הערוצים שיוצגו בתפריט המקוצר מממשק ההגדרות של האפליקציה.
הגדרות דיבור המאפשרות להגדיר את הקול אשר ישמש בעת הקראת התראות מהאפליקציה והקראת טקסטים ווקביעת קצב ההקראה.
עיון בתמונות: כאן ניתן לקבוע אם תמונות שצולמו קודם יופיעו בגלריית התמונות.
האפליקציה אינה כרוכה בתשלום והיא בגדר פוטנציאל אדיר לסיוע לאנשים עם לקויות ראייה ועיוורון וגם לאנשים נוספים עם מוגבלויות המקשות עליהם בזיהוי מוצרים, אנשים וטקסט.