בשבועיים האחרונים קרו שלושה דברים שכדאי לקרוא ביחד. Chainalysis, חברה שאמורה להיות מהמאובטחות בעולם, הודתה שנפרצה בידי תוקף שהשתמש ב"טכניקות התקפיות מבוססות סוכנים", ושנחשפו גיבובי סיסמאות וטוקנים פעילים של כל המשתמשים שלה. OpenAI פרסמה מחקר שבו סוכני AI מצאו 948 פרצות בליבת לינוקס ובנו לכל אחת מתקפה עובדת. ואנתרופיק השיקה כלי שמאפשר ל-Claude לקרוא את כל התנועות בחשבון הבנק.
כל אחד מהדברים האלה מוצג בנפרד, ובצדק, כהישג או כאירוע מבודד. ביחד הם מציירים תמונה מטרידה: היכולת של סוכני בינה מלאכותית לפעול בעולם, לסרוק, לחפש, לנצל ולבצע, גדלה מהר מאוד, וגם התוקפים יודעים להשתמש בה. בינתיים, ארגונים ממהרים לחבר סוכנים לכל מה שיש להם: למיילים, לקבצים, למערכות הכספים, לקוד.
הבעיה המרכזית היא הרשאות. כדי שסוכן יהיה שימושי, צריך לתת לו גישה. וכדי שיהיה שימושי מאוד, נותנים לו גישה רחבה. כך נוצר מצב שבו תוכנה אחת, שאף אדם לא בודק כל פעולה שלה, מחזיקה מפתחות שבעבר היו מחולקים בין עשרות עובדים. אם הסוכן טועה, הטעות מתבצעת מהר ובקנה מידה. אם תוקף מצליח "לשכנע" אותו, למשל באמצעות הוראות שמוסתרות בתוך מסמך או מייל, הוא מקבל את כל המפתחות בבת אחת.
זו בדיוק הסיבה שחברות אבטחת הנתונים הישראליות, Cyera, סנטרה ואחרות, שוות היום מיליארדים. הן מוכרות את התשובה לשאלה שארגונים שכחו לשאול לפני שהם חיברו את הסוכנים: מה בדיוק הסוכן הזה רואה, ומה הוא יכול לעשות. העובדה שהשאלה הזו מגיעה רק אחרי החיבור, ולא לפניו, היא כל הסיפור.
מה צריך לעשות? להתייחס לסוכן AI כמו לעובד חדש בתקופת ניסיון, ולא כמו לכלי תוכנה. לתת לו רק את ההרשאות שהוא חייב, להתחיל ממשימות שבהן טעות לא תעלה ביוקר, לתעד כל פעולה שלו, ולדרוש אישור אנושי לכל דבר שאי אפשר לבטל, כמו העברת כסף או מחיקת מידע. ארגונים שידלגו על השלבים האלה בגלל הלחץ "לא לפספס את מהפכת ה-AI", עלולים לגלות שהם פתחו לתוקפים את הדלת הרחבה ביותר שהייתה להם אי פעם.
