ChatGPT, ג'מיני ו-Claude נראים לפעמים כמו קסם: שואלים שאלה בעברית, ומקבלים תשובה ברורה, מנוסחת היטב, לפעמים עם הומור. מאחורי כולם עומדת אותה טכנולוגיה בסיסית, שנקראת "מודל שפה גדול", או בקיצור LLM (Large Language Model). הנה הסבר על מה שקורה שם, בלי משוואות.
ברמה הבסיסית ביותר, מודל שפה עושה דבר אחד: הוא מנחש מה המילה הבאה. ליתר דיוק, מה החלק הבא של הטקסט. כשאתם כותבים "בירת צרפת היא", המודל מחשב שהמילה הסבירה ביותר להמשך היא "פריז". הוא עושה את זה שוב ושוב, מילה אחרי מילה, עד שנבנית תשובה שלמה. זה נשמע פשוט, אבל כדי לנחש היטב את המילה הבאה בכל הקשר אפשרי, המודל צריך "ללמוד" כמות עצומה של ידע על העולם, על שפה ועל היגיון.
איך הוא לומד? באימון. המודל עובר על כמויות ענק של טקסט, ספרים, אתרים, קוד ומסמכים, ובכל פעם מנסה לנחש את המילה הבאה ומתקן את עצמו כשהוא טועה. האימון הזה דורש אלפי שבבים מתקדמים שפועלים במשך שבועות או חודשים, ולכן הוא עולה מאות מיליוני דולרים ויותר. אחר כך עובר המודל שלב נוסף, שבו בני אדם מלמדים אותו לענות בצורה מועילה, מנומסת ובטוחה.
מכאן גם מגיעה הבעיה המוכרת ביותר: "הזיות". מכיוון שהמודל מנחש מה נשמע סביר, ולא בודק עובדות במאגר, הוא יכול לייצר תשובה שנשמעת משכנעת לגמרי ובכל זאת שגויה, כולל מספרים, ציטוטים ומקורות שלא קיימים. המודלים החדשים טועים פחות, וחלקם יודעים לחפש ברשת ולצטט, אבל הבעיה לא נעלמה.
מה זה אומר לכם? שמודל שפה הוא כלי מצוין לכתיבה, לסיכום, לתרגום, להסבר ולסיעור מוחות, אבל לא מקור אמין לעובדות בלי בדיקה. כלל אצבע טוב: השתמשו בו כמו בעוזר חכם ומהיר מאוד, שלפעמים בטוח בעצמו יותר מדי. בדקו כל עובדה חשובה, ובמיוחד מספרים, תאריכים ושמות, לפני שאתם מסתמכים עליה.
