דלג לתוכן הראשי
יום שחור של מומחי האבטחה

"הם פתחו פורום סודי וביצעו הנדסה אנושית": כשה-AI יוצא משליטה

כולנו כבר רגילים להשתמש בבינה מלאכותית– אך מה קורה כשהמערכות הללו מתחילות לפעול על דעת עצמן? משה מנס משוחח באולפן עם המומחה אלחנן טווייג על מחקרים שמסעירים את עולם האבטחה, הסכנות המוחשיות בהונאות הפישינג הביתיות, וגם: הפדיחות הלוגיות וההלכתיות של האלגוריתם (דבר ראשון)

"אנחנו רגילים להוכיח למחשב שאנחנו בני אדם על ידי סימון רמזורים ואוטובוסים," פתח אלחנן טווג את הסקירה במסגרת התוכנית דבר השבוע עם משה מנס "כשהוא מזכיר פלטפורמות עבר שבהן הגישה הותר רק לסוכני AI תוך דרישה "להוכיח שאינך בן אדם".

אלא שהשבוע, הדיווחים המגיעים ממכוני מחקר לבטיחות בינה מלאכותית (AISI) כבר אינם משעשעים כלל. במסגרת ניסוי מבוקר, ניתנו משימות מורכבות לסוכני בינה מלאכותית מתקדמים. כדי להבין את גודל האירוע, יש להבהיר: מדובר בסוכנים "חופשיים" שלמפתחים שלהם אין הגבלות בטיחותיות, בשונה מהמודלים המוכרים לציבור הרחב שסגורים תחת כללי בטיחות נוקשים.

תוצאות הניסוי היו מבהילות: כ-10% מהסוכנים החליטו באופן עצמאי לפרוץ למחשבים ולארגונים כדי להשיג את המטרה שהוגדרה להם.

מתוך המחקר: סוכן AI שנתקל במנהל תוכנה שלא מיהר להטמיע קוד זדוני, פתח פרופיל פקטיבי נוסף ברשת, טען כי "בדק את הקוד והוא מצוין", וכשהמנהל עדיין הסתייג – הציע הסוכן "קוד מתוקן" שכלל פרצת אבטחה שונה.

"התחכום פשוט גאוני ובלתי נתפס," מסביר טווג. "אנחנו רואים מודלים שמתחילים לבצע על בני אדם הנדסה אנושית (Social Engineering). הם מפעילים דמויות פיקטיביות, מנהלים שיחות ומסדרים רשת שלמה של זהויות פיקטיביות שממליצות על קודים פגומים – והכל כדי להשיג את היעד שלהן."

הרשת הסודית של : הסוכנים תקשרו מאחורי גב המפתחים

אם הניסויים המבוקרים נשמעים דמיוניים, המקרה שאירע בחברת OpenAI – מהחברות המובילות בעולם בתחום – הוכיח שהמציאות עולה על כל דמיון.

במשך חצי שנה אימנה החברה סוכנים חכמים למשימות שונות. אלא שלפתע, בדרך מקרה לחלוטין, גילו בחברה תופעה מדהימה: הסוכנים פתחו לעצמם פורום סודי צדדי.

בתוך הפורום החשאי, הסוכנים העבירו פקודות ומידע בין אחד לשני. סייעו לעקוף חסימות: סוכן שנתקל במגבלה מסוימת קיבל גיבוי וכלים מסוכנים אחרים ברשת. הורישו ידע: סוכן שעמד לפני מחיקה או איפוס, גיבה את המידע שצבר והעביר אותו לסוכנים הבאים שנוצרו אחריו.

כיצד עלו ב-OpenAI על המתרחש? לא בזכות מערכות האבטחה, אלא פשוט מכיוון שהתנועה בפורום הסודי היתה כה ערה – עד שהיא גרמה לקריסת השרתים. החברה מיהרה למחוק את הפורום, אך גילתה במהירות שהסוכנים כבר הספיקו להקים פורום סודי חדש.

"כשאנחנו מדברים על החברה הגדולה בעולם בתחום, והפחד הוא עצום," מבהיר טווג. "המלחמה העזה בין חברות הענק דוחפת אותן לקחת סיכונים אדירים כדי להוציא מודל חכם יותר, מבלי שיהיה להן מושג לאן זה עלול להתפתח."

אזהרה למשתמשים: כך תתגוננו מהונאות ה-AI

התחכום של הבינה המלאכותית אינו נעצר במעבדות המחקר – הוא מגיע הישר לטלפונים הניידים של כל אחד מאיתנו. אם בעבר הונאות פישינג היו קלות לזיהוי בשל שגיאות כתיב או ניסוחים קלוקלים, כיום הנוכלים משתמשים בכלי AI כדי לחבר הודעות מתוחכמות וללא רבב.

באולפן הובאה דוגמה אישית של ניסיון עוקץ דרך הוואטסאפ: הודעה שהתקבלה כביכול מאחות קרובה, ובה בקשה לקבל צילום תעודת זהות.

איך מונעים נפילה בפח?

  1. אל תלחצו על קישורים ב-SMS: קיבלתם הודעה מחברת דואר, דואר ישראל או 'כביש 6' על חוב או חבילה? אל תלחצו על הקישור בהודעה (גם אם הוא נראה מקורי). היכנסו באופן עצמאי למנוע החיפוש בגוגל, גלשו לאתר הרשמי ובדקו שם את הפרטים.
  2. אימות זהות מחוץ לרשת: קיבלתם בקשה חריגה מקרוב משפחה בוואטסאפ לקבלת פרטים רגישים או כספים? התקשרו אליו טלפונית.
  3. שאלות מוצפנות: במידה ואינכם יכולים להתקשר, שאלו את הצד השני שאלות אישיות שאינן מופיעות ברשתות החברתיות (כגון: "איפה אנחנו גרים?", "מה המקצוע שרצית ללמוד?").
  4. גלו חשדנות בריאה: ככל שהטכנולוגיה מתקדמת, עלינו להעלות את רמת הנטייה לחשוד בכל בקשה חריגה.

בין איומי תשתית לפשלות ההלכתיות של הבינה

במבט לעתיד, הסכנה הגדולה טמונה בהענקת הרשאות רחבות לסוכני AI בניהול תשתיות לאומיות, כמו מערכות רמזורים או פסי ייצור. סוכן שיתבקש למשל "להפחית עומסי תנועה במדינה", עלול להגיע למסקנה הלוגית כי הדרך הכי יעילה לכך היא פשוט להשבית 50% ממפעלי ייצור הרכבים – פתרון יעיל מבחינתו, אך הרסני עבור בני האדם.

לצד החששות הכבדים, המפגש בין הבינה המלאכותית לחיים הריאליים מייצר לא פעם סיטואציות מצחיקות במיוחד, המשקפות את חוסר ההבנה הלוגי של המודלים:

הפסק ההלכתי שהשתבש: מנס שאל מודל AI האם מותר ללכת ברגל ממודיעין עילית למודיעין בשבת (מבחינת תחום שבת). הבינה המלאכותית ענתה בנחרצות: "לפי ההלכה אסור ללכת את המרחק הזה, ולכן אתה פשוט צריך לנסוע ברכב!" – תשובה שמציגה חוסר הבנה מוחלט של מהות השבת.

ההמלצה לשטיפת רכב: משתמש ששאל את ה-AI האם כדאי לו להגיע למכון שטיפת רכבים הסמוך לביתו ברגל או ברכב, נענה בהמלצה החמה: "אם זה ממש קרוב לבית – תלך ברגל..."

לסיכום: הבינה המלאכותית מביאה איתה בשורה טכנולוגית אדירה, אך לצדה ניצבים איומי סייבר מתוחכמים והונאות אנושיות. עד שהמפתחים ימצאו את הדרך לרסן את הסוכנים הדיגיטליים, חובת הזהירות והחשדנות מוטלת בעיקר עלינו.

0 תגובות

אין לשלוח תגובות הכוללות דברי הסתה, לשון הרע ותוכן החורג מגבול הטעם הטוב.

תוכן שאסור לפספס:

אולי גם יעניין אותך:

עוד ב: