מודל שפה כמו ChatGPT, Gemini או Claude לא קורא מילים כמו שאנחנו קוראים. לפני שהוא מעבד טקסט, הוא מפרק אותו ליחידות קטנות שנקראות טוקנים (Tokens). טוקן יכול להיות מילה שלמה, חלק ממילה או סימן פיסוק. באנגלית, בממוצע, מילה היא קצת יותר מטוקן אחד. בעברית בדרך כלל צריך יותר טוקנים לאותה כמות טקסט, כי המודלים אומנו בעיקר על אנגלית והם מפרקים מילים עבריות לחלקים קטנים יותר.
הטוקנים הם גם יחידת המחיר. חברות שמשתמשות במודלים דרך ממשק תוכנה (API) משלמות לפי מספר הטוקנים שנכנסים למודל (הקלט, כלומר השאלה וכל המסמכים שמצרפים אליה) ומספר הטוקנים שיוצאים ממנו (התשובה). בדרך כלל טוקן של תשובה יקר יותר מטוקן של שאלה, כי ייצור טקסט דורש יותר חישוב. המחירים מתפרסמים לפי מיליון טוקנים, ומשתנים מאוד בין מודל קטן וזול למודל גדול ומתקדם.
למה זה עולה כסף? כי כל טוקן מחושב על שבבים יקרים, בעיקר מעבדים גרפיים של אנבידיה, במרכזי נתונים שצורכים כמויות עצומות של חשמל. כשאתם מקבלים תשובה מ-ChatGPT בחינם, מישהו משלם על החישוב: החברה, מתוך הכסף של המנויים בתשלום ושל המשקיעים.
כאן נכנסים סוכני AI. צ'טבוט רגיל עונה על שאלה אחת ועוצר. סוכן, למשל סוכן שכותב קוד, עובד בלולאה: הוא קורא קבצים, כותב, מריץ, קורא את התוצאה, מתקן וחוזר חלילה, ובכל סבב הוא שולח למודל מחדש את כל ההקשר. משימה אחת יכולה לצרוך מיליוני טוקנים. זה מה שהופך כלי קוד מבוססי AI ליקרים, וזו הסיבה שאפל, לפי בלומברג, מגבילה מהנדסים לתקרה של 200 דולר ליום ובחלק מהצוותים אף פחות.
מה זה אומר למשתמש רגיל? בעיקר שהמחיר של "חינם" לא יישאר לנצח. החברות כבר מגבילות את מספר ההודעות במודלים המתקדמים בגרסאות החינמיות, ומוסיפות מסלולים יקרים יותר. ולמי שמשתמש ב-AI בעבודה: שאלות קצרות וממוקדות, בלי להדביק מסמכים שלמים כשלא צריך, הן לא רק דרך לקבל תשובה טובה יותר, אלא גם דרך לחסוך כסף למי שמשלם.
