המאמר בוחן פער שמנהלים נוטים להחמיץ. השאלה אינה אם AI מועיל בזמן העבודה. השאלה היא מה קורה כאשר הכלי נעלם. החוקרים מציבים זאת מול פעולות כמו כתיבה, קוד וסיעור מוחות.
המחקר כולל שלושה ניסויים אקראיים מבוקרים עם 1,222 משתתפים. המשימות עסקו בחשבון שברים ובהבנת הנקרא. המשתתפים בקבוצת AI קיבלו גישה לעוזר צדדי, שתואר כ-ChatGPT, ובניסויים בשברים הופעל באמצעות GPT-5. לאחר שלב הלמידה, הכלי הוסר ללא התראה והמשתתפים נדרשו לפתור לבד.
בניסוי הראשון גויסו 354 משתתפים מארצות הברית דרך Prolific. לאחר סינון, נותרו 307 משתתפים. בזמן שהעוזר היה זמין, קבוצת AI פתרה טוב יותר ודילגה פחות. בשלב ללא עוזר, שיעור הפתרון בקבוצת AI ירד ל-0.57 לעומת 0.73 בקבוצת הביקורת. שיעור הדילוג עלה ל-0.20 לעומת 0.11, ממצא שהחוקרים מפרשים כירידה בהתמדה.
בניסוי השני התוצאה המרכזית שוחזרה, אך בעוצמה מתונה יותר. שיעור הפתרון ללא AI היה 0.71 בקבוצת AI לעומת 0.77 בביקורת. שיעור הדילוג היה 0.10 לעומת 0.07, אך ההבדל לא היה מובהק סטטיסטית. החוקרים בחנו לכן את אופן השימוש בכלי בתוך קבוצת AI. כאן התמונה נעשתה חדה יותר.
רוב המשתתפים בקבוצת AI דיווחו שביקשו תשובות ישירות. שיעורם היה 61 אחוז. 27 אחוז ביקשו רמזים או הבהרות, ו-12 אחוז לא השתמשו בכלי. מי שביקשו תשובות ישירות הגיעו לשיעור פתרון של 0.65 במבחן הסופי. זה נמוך מהביקורת, מהמשתמשים ברמזים ומהמשתתפים שלא השתמשו ב-AI.
באותה בדיקה, מבקשי התשובות הישירות גם דילגו יותר. שיעור הדילוג שלהם היה 0.13, לעומת 0.07 בביקורת ו-0.05 בקרב מי שביקשו רמזים. החוקרים מדגישים שחלק זה של הניתוח לא מוכיח סיבתיות בפני עצמו. עם זאת, הוא מתאים לדפוס הרחב של הניסויים. שימוש ב-AI כמי שפותר במקומך נקשר לביצוע עצמאי חלש יותר.
הניסוי השלישי בדק אם הדפוס מוגבל לחשבון שברים. כאן המשימה הייתה הבנת הנקרא, עם שאלות שמקורן בחומרי תרגול SAT חופשיים ברשת. מתוך 201 משתתפים, לאחר סינון נותרו 168. ללא AI, קבוצת AI הגיעה לשיעור פתרון של 0.76 לעומת 0.89 בביקורת. שיעור הדילוג היה 0.08 לעומת 0.01, וההבדלים היו מובהקים.
ההסבר שהחוקרים מציעים נוגע לציפייה שלנו כמשתמשים למענה מיידי. כאשר AI מספק פתרון בתוך שניות, מאמץ מתחיל להרגיש כמו משאב יקר יותר. המאמר מציע גם פגיעה בידע העצמי של המשתמש. מי שאינו נאבק בבעיה אינו לומד מה הוא מסוגל לפתור לבד. לכן הפגיעה אינה רק בביצוע, אלא גם בוויסות המאמץ.
המשמעות ברורה למדי לפי החוקרים. עוזר טוב אינו עונה תמיד. מערכות AI קיימות מותאמות בעיקר כדי להועיל באופן מיידי וליצור במהירות תחושת שביעות רצון בקרב המשתמשים. החוקרים טוענים שצריך לבנות מערכות שמטפחות כשירות ואוטונומיה, כולל מצבים שבהם העוזר אינו מספק תשובה מלאה.