ארבע מחברות הבינה המלאכותית הגדולות, גוגל, OpenAI, אנתרופיק ומיקרוסופט, הודיעו שיתמכו בסיגנל משותף שמאפשר לאתרים לסמן שהם לא רוצים שהתוכן שלהם ישמש לאימון מודלים. עד היום, אתר שרצה לחסום אימון היה צריך להוסיף הוראות נפרדות לכל חברה, לכל "זחלן" (crawler) בשם אחר. התקן החדש אמור להחליף את כל אלה בהוראה אחת.
איך זה עובד? כמעט לכל אתר יש קובץ בשם robots.txt, שמסביר לרובוטים של מנועי חיפוש וחברות AI אילו חלקים באתר מותר להם לסרוק. התקן החדש מוסיף לקובץ סימון משותף, __usage_ai-training, שאומר לזחלנים המשתתפים שבעל האתר לא רוצה שהדפים ישמשו לאימון בינה מלאכותית יוצרת. לפי הדיווחים, אנתרופיק כבר התחילה ליישם את התקן, גוגל מתכננת לתמוך בו ב-2027, ומיקרוסופט תוסיף בקרות נפרדות לאימון ולציטוט בתשובות.
מה התקן לא עושה? שלושה דברים חשובים. הוא מכסה רק אימון, ולא את השימוש בתוכן כדי לענות על שאלות בזמן אמת, מה שנקרא "עיגון" (grounding). כלומר, צ'טבוט עדיין עשוי לקרוא את הכתבה שלכם ולסכם אותה למשתמש. הוא וולונטרי, ותלוי ברצון הטוב של החברות. והוא לא מתייחס לתוכן שכבר נאסף ושימש לאימון בעבר, ולא לשאלה אם וכמה צריך לשלם למו"לים.
למה זה חשוב לאתרים בישראל, כולל אתרי חדשות כמו שלנו? כי זו הפעם הראשונה שהחברות הגדולות מסכימות על שפה משותפת בנושא, וזה מקל מאוד על בעלי אתרים לקבל החלטה ולהחיל אותה. אבל ההחלטה עצמה לא פשוטה: חסימה של אימון לא בהכרח משפיעה על הופעה בתוצאות חיפוש רגילות, וחלק מהאתרים מעדיפים דווקא שהתוכן שלהם יופיע ויצוטט בכלי AI. ההמלצה לבעלי אתרים: להחליט על מדיניות, לעדכן את robots.txt בהתאם, ולעקוב אחרי האופן שבו כל חברה מיישמת את התקן בפועל.
