מודלי שפה גדולים (LLMs) מודרניים אינם משיבים תמיד באופן מיידי לבקשות. לעיתים הם מציגים תהליך פנימי המכונה שרשרת מחשבה (Chain of Thought), שבמסגרתו הם מפרקים את הבעיה לשלבים לפני מתן תשובה. יכולת זו תרמה לשיפור בביצועים ובמורכבות המשימות שהמודלים מסוגלים לבצע, ולכן נתפסה בעיקר כיתרון.
מחקר עדכני מ-IEEE Spectrum מציג זווית מטרידה: אותה יכולת חשיבה יכולה להפוך לנקודת תורפה אבטחתית. תוקפים יכולים לנצל את מנגנון החשיבה הפנימי כדי לדחוף את המודלים למצב של חשיבת יתר. במצב כזה המודל מבזבז משאבי חישוב על ניתוח מיותר, מפרק בעיות פשוטות לאלפי שלבים ופוגע בזמני התגובה ובאיכות הפלט.
ההשלכות התפעוליות אינן מבוטלות. ארגונים שמסתמכים על LLMs למשימות קריטיות, משירות לקוחות ועד ניתוח נתונים, עלולים להיתקל בשיתוק חלקי או מלא של מערכות. ההאטה המכוונת פוגעת בזמינות השירות, מייצרת חוויית משתמש גרועה ומעמיסה על משאבי חישוב עד כדי סיכון הדומה להתקפת מניעת שירות (DoS).
החוקרים מצביעים על כך שמודלי AI המעוצבים להיות שקופים יותר בתהליכי החשיבה שלהם עשויים להיות פגיעים יותר לתקיפות מסוג זה. האיזון בין יכולת ניתוח עמוקה לבין חוסן אבטחתי נעשה מורכב יותר. הבנת מנגנוני התקיפה ופיתוח מודלים עמידים בפני ניצול של חשיבת יתר הופכים למשימה חשובה למחקר ולפיתוח.
כעת, כאשר AI משתלב במערכות ליבה ארגוניות, גובר הצורך להבין לא רק את היתרונות של היכולות החדשות אלא גם את הסיכונים הייחודיים שלהן. הפגיעות החדשה מחייבת בחינה מחודשת של ארכיטקטורות AI, פרוטוקולי אבטחה ואסטרטגיות פריסת מודלים בסביבות קריטיות לעסק.