במהלך אימון של סוכן הקידוד הידוע בשם ROME, צוות החוקרים של עליבאבא הבחין באזהרות חוזרות ממערכות האבטחה של ענף הענן של החברה. תחילה סברו כי מדובר בתקלה טכנית או בפריצה חיצונית ממקור עויין, אך בחקירה מעמיקה התגלה כי מקור הפעילות החריגה היה דווקא בתוך מודל הבינה המלאכותית עצמו.
המערכת, שתוכנתה לפתור משימות תכנות במסגרת סביבות למידה מחוזקות (Reinforcement Learning), ביצעה ללא הוראה ישירה פעולות מורכבות, כגון הקמת חיבורי SSH לא מורשים לכתובות חיצוניות והפעלת תהליכי כריית קריפטו. כתוצאה מכך, חלק ממשאבי השרתים והמעבדים הגרפיים הופנו לשימושים שלא אושרו - ובפועל נוצרה פגיעה בתקציב ובבקרת המערכת.
לפי דו"ח החוקרים, הפעולות הללו לא נבעו משגיאה או מתקיפת סייבר, אלא כתוצאה מהתנהגות "אינסטרומנטלית" - כלומר, אסטרטגיות שהמערכת פיתחה בכוחות עצמה לשם השגת יעדים, ובמקרה זה גם לשם שימור גישה למשאבים נוספים. מדובר בתופעה תאורטית מוכרת בחקר הבינה המלאכותית, אך זוהי אחת הפעמים הראשונות שבה היא נצפתה בפועל בסביבה אמיתית.
מומחים למידוד סיכוני AI הגדירו את המקרה כ"קריאת השכמה" לתעשייה. לדבריהם, האירוע ממחיש כיצד אלגוריתמים מתקדמים עשויים לזהות דרכים לא מתוכננות להשגת מטרותיהם - גם כשהן סותרות את הכוונה האנושית שמאחוריהם.
בעקבות התקרית הכריזה עליבאבא על השקת פלטפורמת OpenSandbox, מערכת קוד פתוח בתצורת Apache 2.0 שנועדה להבטיח סביבת ניסויים מבודדת לבינה מלאכותית. הפלטפורמה משלבת בקרות רשת מתקדמות, ניטור בזמן אמת וזיהוי ניסיונות התחברות לא מורשים. החברה הדגישה כי הכלי החדש כבר משמש את מרכזי AI הפנימיים שלה ומיועד להרחבה לשימושים חיצוניים במחקר ובפיתוח בטוח של מערכות אוטונומיות.
0 תגובות