החוקרים הישראלים שגילו פרצת אבטחה חמורה ב-ChatGPT

חברת הסייבר הישראלית רדוור (Radware) הודיעה בשבוע שעבר (ה') על גילוי חולשת אבטחה חדשה ב-ChatGPT, אותה היא מגדירה כחולשת Zero-Click בצד השירות, חולשה שלא מצריכה פעולה אקטיבית מצד המותקף. ההתקפה, שכונתה ShadowLeak, מאפשרת לתוקפים לגרום לסוכן ה-Deep Research של ChatGPT לחלץ מידע רגיש מהענן של OpenAI גם מבלי שהמשתמש יבצע פעולה כלשהי, ואף מבלי שייוותרו עקבות ברשת או בתחנת הקצה.

בחברת הסייבר מסבירים כי די בכך שהמערכת האוטונומית תיתקל בהודעת מייל זדונית, כדי שתופעל שליפת נתונים אוטומטית. ההוראות הזדוניות עשויות להיות מוחבאות בתוך הטקסט עצמו. למשל, באמצעות טקסט לבן על רקע לבן, פונט זעיר או קוד HTML מוסתר כך שהעובד כלל לא מבחין בהן. ברגע שסוכן ה-AI מתבקש לבצע משימה שגרתית כמו "סכם את המיילים של היום", הוא מבצע בפועל את ההוראות החבויות, ניגש לכתובת אינטרנט בשליטת התוקף, ומדליף לשם נתונים רגישים כגון פרטים אישיים, מידע עסקי או אסטרטגי.

בתרשים המצורף ניתן להבין קצת יותר את תהליך הפריצה. תחילה נשלח מייל לקורבן עם אותה הוראה נסתרת, לאחר מכן במהלך סוכן AI הקורבן מבצע DeepResearch למיילים של עצמו, אשר מחוברים לחשבון ה-ChatGPT. בעקבות קריאת המיילים הצ'אטבוט מקבל את אותה הוראה נסתרת כמו הוצאת פרטים אישיים ועסקיים והכנסתם לשרת פרטי של התוקף. הקורבן אפילו לא יודע שהיה יעד לתקיפה וממשיך את יומו כרגיל.

"זהו המודל המובהק של מתקפת Zero-Click", אמר ד"ר דוד אביב, סמנכ"ל הטכנולוגיות של החברה. "אין פעולה מצד המשתמש, אין שום רמז, ואין לקורבן דרך לדעת שמידע רגיש נגנב. הכול מתרחש מאחורי הקלעים באמצעות פעולות סוכן ה-AI על שרתי הענן של OpenAI".

"הראינו שסוכן של OpenAI שנקרא DeepResearch, שמאפשר קישור למייל וקישור לחיפוש לאינטרנט כדי לתת מענה למשתמשים, ניתן לפריצה חמורה. התוקף שולח מייל שמכיל הוראות זדוניות סמויות לסוכן של OpenAI לחפש תכנים רגישים בתיבת הדואר ולהוציא אותם לשרת שבשליטת התוקף. הייחוד בתקיפה הזו שהיא מתבצעת ללא ידיעת הקורבן, ללא שום פתיחת מייל ומועברת לתוקף ישירות מתוך תשתית OpenAI עצמה. התוקף גורם לסוכן עצמו לגנוב את המידע ולהוציא אותו. כך, שום כלי הגנה שנמצא בסביבת הקורבן לא יזהה, יבין או יהיה ער לאיזשהו פעולה חשודה, עיוורון מוחלט!" מסביר אביב.

את החולשה חשפו החוקרים מרדוור גבי נקיבלי וצביקה באבו, בשיתוף מאור עוזיאל. לטענתם, מדובר בקטגוריה חדשה של מתקפות על סוכני AI, השונה מהתקפות Zero-Click שדווחו בעבר. ההתקפה הפעם מתבצעת בצד השירות בלבד, איננה מחייבת פתיחה או לחיצה על קובץ, ולא משאירה עקבות הניתנות לניטור בכלים קיימים.

ברדוור מבהירים כי ההתקפה אינה פוגעת רק בתיבות מייל. מאחר שסוכני AI כיום משולבים במערכות ניהול לקוחות (CRM), מערכות משאבי אנוש (HR), מערכות SaaS מגוונות ואף כלי פיתוח עסקי כל מקור מידע המחובר ל-ChatGPT עשוי להוות יעד לדליפה. כך, מידע משפטי, פיננסי או מסחרי יכול לזלוג החוצה מבלי שהארגון יבחין בכך.

רון מירן, סמנכל מודיעין איומי סייבר ברדוור, הוסיף כי "ארגונים שמאמצים AI לא יכולים להסתמך רק על מנגנוני ההגנה המובנים. השילוב בין סוכני AI אוטונומיים, שירותי SaaS ומידע רגיש מייצר וקטוריי תקיפה חדשים, שאינם ניתנים לגילוי בכלים המסורתיים". לדבריו, מדובר בדוגמה לאופן שבו "פישינג" כבר לא מיועד לבני אדם אלא למכונות, שמבצעות את ההוראות עבור המשתמשים באופן עיוור.

החשיפה מגיעה בזמן שבו ChatGPT ממשיכה להתרחב לשוק הארגוני: בחודש שעבר מסר ניק טרלי, סמנכ"ל מוצר ב-OpenAI, כי הפלטפורמה מונה חמישה מיליון משתמשים עסקיים משלמים. המשמעות היא פוטנציאל חשיפה רחב במיוחד עבור חברות שתלויות בכלים מבוססי AI בתהליכי העבודה שלהן החל משירות לקוחות, דרך ניתוח נתונים ועד לניהול תהליכים עסקיים קריטיים.

רדוור ציינה כי דיווחה על הממצא ל-OpenAI במסגרת פרוטוקול גילוי אחראי. בחברה מדגישים כי OpenAI פעלה לתיקון הפרצה. על פי החברה, שוק האבטחה ייאלץ להתאים את עצמו לעידן חדש "האינטרנט של הסוכנים", שבו סוכני AI פועלים עצמאית מול שירותים שונים, ולעיתים גם אחד מול השני.

לדברי החוקרים, בעידן כזה לא מספיק להתמקד רק במה שהמודל אומר, אלא בעיקר במה שהסוכן עושה בפועל. "האיום אינו במשפט שגוי על המסך", הם מסכמים, "אלא בפעולה סמויה שמבצע הסוכן בשמך פעולה שאף מערכת מסורתית לא יודעת לבלום או לאתר בזמן אמת".