המאמר שפורסם ב 2022 עוסק בשאלה שמעסיקה כל הנהלה שמכניסה AI לתחום של קבלת החלטות קריטיות. לא האם הכלי מדויק במעבדה, אלא מה קורה כאשר מומחה פוגש פלט שאינו מסביר את עצמו. שדה המחקר היה בית חולים לימודי גדול בעיר מרכזית בארצות הברית. ההקשר היה רדיולוגיה אבחונית, תחום רפואי שכבר שנים מאמץ טכנולוגיות מתקדמות.
החוקרות בחנו 40 רדיולוגים בשלוש מחלקות שהשתמשו בכלי AI פעילים. מוקד אחד היה אבחון סרטן ריאה. שני המוקדים האחרים עסקו בסרטן שד ובהערכת גיל עצמות. עבודת השדה נמשכה עשרה חודשים וכללה מעל 500 שעות תצפית. התיעוד כלל יותר מ 1,000 מקרי אבחון.
נקודת המוצא אינה התנגדות ל AI. הספרות שהמאמר סוקר מתארת הבטחה של הרחבת יכולות המומחה באמצעות שילוב בין אדם לכלי טכנולוגי. במודל הזה, המומחה נשאר בתוך התהליך. הוא אמור לשלב את הידע שלו עם פלטי המערכת ולהגיע יחד לשיפוט טוב יותר.
הבעיה המרכזית היא עמימות. המאמר מגדיר עמימות כקושי להבין את ההיגיון שמאחורי תוצאה נתונה, כאשר ההיגיון מוסתר או אינו נגיש. בכל המחלקות, הרופאים קיבלו לעיתים תוצאה שסטתה מהשיפוט הראשוני שלהם. המערכת לא סיפקה את הנימוק שהוביל אליה. התוצאה הייתה עלייה באי-ודאות, דווקא בנקודה שבה המומחה צריך להחליט.
החוקרות מבחינות בין שקיפות טכנית לבין היכולת להבין פלט בזמן השימוש בכלי. גם אם קיימים נתונים על שיטת הפיתוח או על ביצועי המודל, הרופא מול המסך לא בהכרח יודע למה המערכת סימנה תוצאה מסוימת. הספרות במאמר מתארת כלי למידה עמוקה כקופסאות שחורות עבור משתמשים ולעיתים גם עבור מפתחים. הקושי מחמיר כאשר ההחלטה נוגעת לאבחנה רפואית או לתחום אחר עם השלכות כבדות.
רק באחת משלוש המחלקות נמצא שילוב עקבי של תוצאות ה AI בשיפוט הסופי. החוקרות מכנות זאת כ"הרחבה מעורבת". הרופאים שם לא קיבלו את הפלט כפקודה ולא דחו אותו כעומס. הם פיתחו פרקטיקות חקירה של AI, כלומר פעולות שמחברות בין הידע שלהם לבין הידע של המערכת.
פרקטיקות החקירה דרשו השקעה ממשית מצד מומחים שכבר עבדו תחת עומס. הן אפשרו לרופאים להשוות בין השיפוט הראשוני לבין פלט ה AI. כאשר הופיעה סתירה, הם ניסו ליישב אותה דרך בדיקה מקצועית נוספת. במצב הזה, הפלט לא היה תוספת קוסמטית, הוא הפך לחלק מעבודת השיפוט.
בשתי המחלקות האחרות נוצרה "הרחבה לא מעורבת". הרופאים לא הפעילו את אותן פרקטיקות חקירה. הם נטו להתעלם מהקלט של ה AI או לקבל אותו בלי בחינה עמוקה. בשני המקרים, ההבטחה של שילוב ידע אנושי עם ידע מכונה לא התממשה באופן עקבי. הכלי היה בתהליך, אך לא באמת שינה את עבודת השיפוט.
מתוך המאמר אפשר להבין שאימוץ AI הוא לאו דווקא מוביל להרחבת יכולת מקצועית. ההרחבה נוצרת רק כאשר הארגון משקיע בפרקטיקות שמאפשרות למומחים לחקור את הפלט ולחבר אותו לשיקול הדעת שלהם. בלי העבודה הזאת, מתקבל תהליך שנראה מתקדם מבחוץ אך נשאר ריק מבחינה מקצועית. עבור החלטות קריטיות, זהו סיכון ניהולי ולא רק אתגר טכנולוגי.
