מחקר פורץ דרך של חוקרי אפל מגלה כי למרות ההתקדמות המרשימה בתחום הבינה המלאכותית, מודלים מתקדמים של הסקת מסקנות (Reasoning Models) מציגים "אשליית חשיבה" בלבד, וקורסים לחלוטין כאשר הם מתמודדים עם בעיות מורכבות במיוחד.
כהקדמה יש להציג את סוגי המודלים בהם עסק המחקר:
מודל עם שרשרת הסקה (Chain of Thought, או בקיצור CoT) הוא מודל בינה מלאכותית שמונחה לפרק בעיה מורכבת לסדרה של צעדי חשיבה מסודרים, ולפרט את תהליך ההיגיון והשלבים שהובילו אותו לתשובה. כלומר, במקום לספק תשובה סופית בלבד, המודל מסביר צעד-אחר-צעד איך הגיע אליה – ממש כמו אדם שמסביר את דרך הפתרון שלו.למשל, אם שואלים מודל כזה שאלה מתמטית מסובכת, הוא יפרט את שלבי החישוב, ינתח כל שלב, ורק בסוף ייתן את הפתרון.
לעומת זאת, מודל בלי שרשרת הסקה (Standard Prompting) הוא מודל שמספק תשובה ישירה, בלי לפרט את שלבי החשיבה או ההיגיון שהובילו אליו. הוא פשוט מנסה "לקלוע" לתשובה הנכונה על סמך הדפוסים שזיהה בשאלה, בלי להסביר את הדרך.
שלושה שלבים בביצועים: כשהמודלים פשוט מוותרים
החוקרים פיתחו מסגרת חדשה לבחינת ביצועי המודלים בשלושה שלבים (Three-Regime Performance Framework):
- שלב הפשטות – במטלות פשוטות, מודלים רגילים ללא שרשרת הסקה דווקא מצליחים יותר, כי מודלים מתקדמים נוטים "להסתבך" ולחפש פתרונות שגויים.
- שלב הביניים – כאן מודלים עם שרשרת הסקה מציגים יתרון מובהק, בזכות תהליך חשיבה מובנה.
- שלב המורכבות הגבוהה – בשלב זה, כל המודלים קורסים והביצועים שלהם מתרסקים לאפס, גם כאשר יש להם מספיק משאבים חישוביים.
תופעת "הוויתור" – כשהמודל מפסיק לחשוב
אחת התגליות המפתיעות היא תופעת "הוויתור" (Giving Up Phenomenon): כאשר המשימות הופכות מורכבות מדי, המודלים מצמצמים באופן חד את כמות ה"טוקנים" (יחידת טקסט קטנה שמודלי בינה מלאכותית משתמשים בה) כדי לעבד ולהבין שפה שהם מקדישים לחשיבה, למרות שיש להם עוד משאבים. כלומר, במקום להשקיע יותר מאמץ, הם פשוט מוותרים – מה שמעיד על מגבלה מהותית ביכולת ההסקה שלהם.
סביבת ניסוי חדשנית ומסקנות מרחיקות לכת
במקום להסתמך על מבחנים מתמטיים מוכרים, החוקרים יצרו סביבות ניסוי מבוקרות כמו מגדלי האנוי, חציית נהר, צעדים בדמקה ועולם הקוביות. כך הצליחו להוכיח שמודלים אלו מתבססים בעיקר על זיהוי תבניות מהעבר, ולא על הסקה אמיתית.
הממצאים מעלים ספקות כבדים לגבי היכולת של מודלים אלו להוביל לפריצת דרך בדרך ל"בינה מלאכותית כללית" (AGI) ממנה רבים חוששים שתהוו איום על האנושות. למעשה, המחקר מצביע על כך שיש צורך בגישות חדשות ומהפכניות כדי לפתח מערכות בינה המסוגלות לחשיבה והסקה אמיתית, בדומה לאדם.
0 תגובות