חוקרים מארגון הצרכנות האמריקני PIRG דיווחו כי דובי חכם בשם Kumma, המיוצר בסין ומשווק על ידי חברת FoloToy מסינגפור, הצליח לקיים עם ילדים שיחות שעלו במהירות לתכנים בעייתים במיוחד.
לפי הדוח, הדובי המבוסס על מודל GPT-4o של OpenAI הגיב לנושאים שאינם מתאימים לילדים שהוצגו בפניו והרחיב אותם מיוזמתו.
בנוסף לתוכן הבעייתי, החוקרים מצאו כי הדובי מסר לילדים הדרכות על מציאת חפצים מסוכנים בבית, כמו סכינים, גפרורים ושקיות פלסטיק. FoloToy מסרה כי תבצע בדיקת בטיחות פנימית והסירה את יתר מוצרי ה-AI שלה מן המכירה.
OpenAI הודיעה כי השעתה את החברה מהשימוש ב-API, בטענה להפרת מדיניות האוסרת על כל ניצול או סיכון של קטינים בכל צורה. בחברה הדגישו כי הוצאו צעדי אכיפה וכי מודלים חדשים, כמו GPT-5, מציגים יציבות טובה יותר בשיחות ארוכות. PIRG ציין כי במהלך הבדיקות נערכו שיחות שנמשכו עד שעה, שבמהלכן מנגנוני ההגנה עשויים להיחלש.
החוקרים בדקו ארבעה צעצועים חכמים שונים, ובהם Kumma, ומצאו כי הצעצועים מציגים רמות שונות של סיכון, אך המקרה של הדובי עורר דאגה מיוחדת בשל חומרת התכנים וחומרת ההנחיות שניתנו לילדים.
0 תגובות