המאמר שפורסם ב-2022 עוסק בשאלה שמעסיקה כל הנהלה שמכניסה AI להחלטות קריטיות. לא האם הכלי מדויק במעבדה, אלא מה קורה כאשר מומחה פוגש פלט שאינו מסביר את עצמו. שדה המחקר היה בית חולים לימודי גדול בעיר מרכזית בארצות הברית. ההקשר היה רדיולוגיה אבחונית, תחום רפואי שכבר שנים מאמץ טכנולוגיות מתקדמות.
החוקרות בחנו 40 רדיולוגים בשלוש מחלקות שהשתמשו בכלי AI פעילים. מוקד אחד היה אבחון סרטן ריאה. שני המוקדים האחרים עסקו בסרטן שד ובהערכת גיל עצמות. עבודת השדה נמשכה עשרה חודשים וכללה מעל 500 שעות תצפית. התיעוד כלל יותר מ 1,000 מקרי אבחון.
המחקר נשען גם על 33 ראיונות מובנים למחצה. מתוכם 21 היו ראיונות לא פורמליים בזמן העבודה או בהפסקות קצרות. 12 ראיונות היו פורמליים, והעמיקו בתפיסת המקצוע ובשימוש בטכנולוגיות. החוקרות אספו גם מסמכים רפואיים, תיעוד ספקים, מסמכי רגולציה ומאמרים טכניים על הכלים.
נקודת המוצא אינה התנגדות ל-AI. הספרות שהמאמר סוקר מתארת הבטחה של הרחבת יכולות המומחה באמצעות שילוב בין אדם למערכת. במודל הזה, המומחה נשאר בתוך התהליך. הוא אמור לשלב את הידע שלו עם פלטי המערכת ולהגיע לשיפוט טוב יותר.
הבעיה המרכזית היא עמימות. המאמר מגדיר עמימות כקושי להבין את ההיגיון שמאחורי תוצאה נתונה, כאשר ההיגיון מוסתר או אינו נגיש. בכל המחלקות, הרופאים קיבלו לעיתים תוצאה שסטתה מהשיפוט הראשוני שלהם. המערכת לא סיפקה את הנימוק שהוביל אליה. התוצאה הייתה עלייה באי ודאות, דווקא בנקודה שבה המומחה צריך להחליט.
החוקרות מבחינות בין שקיפות טכנית לבין היכולת המעשית להבין פלט בזמן שימוש. גם אם קיימים נתונים על שיטת הפיתוח או על ביצועי המודל, הרופא מול המסך לא בהכרח יודע למה המערכת סימנה תוצאה מסוימת. הספרות במאמר מתארת כלי למידה עמוקה כקופסאות שחורות עבור משתמשים ולעיתים גם עבור מפתחים. הקושי מחמיר כאשר ההחלטה נוגעת לאבחנה רפואית או לתחום אחר עם השלכות כבדות.
רק באחת משלוש המחלקות נמצא שילוב עקבי של תוצאות ה AI בשיפוט הסופי. החוקרות מכנות זאת הרחבה מעורבת. הרופאים שם לא קיבלו את הפלט כפקודה ולא דחו אותו כעומס. הם פיתחו פרקטיקות חקירה של AI, כלומר פעולות שמחברות בין טענת הידע שלהם לבין טענת הידע של המערכת.
פרקטיקות החקירה דרשו השקעה ממשית מצד מומחים שכבר עבדו תחת עומס. הן אפשרו לרופאים להשוות בין השיפוט הראשוני לבין פלט ה AI. כאשר הופיעה סתירה, הם ניסו ליישב אותה דרך בדיקה מקצועית נוספת. במצב הזה, הפלט לא היה תוספת קוסמטית. הוא הפך לחלק מעבודת השיפוט.
בשתי המחלקות האחרות נוצרה הרחבה לא מעורבת. הרופאים לא הפעילו את אותן פרקטיקות חקירה. הם נטו להתעלם מהקלט של ה AI או לקבל אותו בלי בחינה עמוקה. בשני המקרים, ההבטחה של שילוב ידע אנושי עם ידע מכונה לא התממשה באופן עקבי. הכלי היה בתהליך, אך לא באמת שינה את עבודת השיפוט.
ממצא חשוב נוסף נוגע לאופי הכלים שנצפו. בארצות הברית, לאחר אישור רגולטורי למערכת AI קלינית, היא אינה ממשיכה ללמוד באופן פעיל. ספקים יכולים לבקש אישור נוסף לגרסת תוכנה מעודכנת. לכן החוקרות צפו בטכנולוגיות יציבות לאורך המחקר. הממצא מחזק את הטענה שהפער לא נבע רק משינוי טכנולוגי מתמשך, אלא מהדרך שבה הארגון השתמש בכלי בפועל.
המאמר מציע קריאה מפוכחת למנהלים. אימוץ AI אינו שווה להרחבת יכולת מקצועית. ההרחבה נוצרת רק כאשר הארגון משקיע בפרקטיקות שמאפשרות למומחים לחקור את הפלט ולחבר אותו לשיקול הדעת שלהם. בלי העבודה הזאת, מתקבל תהליך שנראה מתקדם מבחוץ אך נשאר ריק מבחינה מקצועית. עבור החלטות קריטיות, זהו סיכון ניהולי ולא רק אתגר טכנולוגי.