החוקר הבכיר התפטר מענקית הבינה המלאכותית: "חוסר אחריות, מהמרים בחיים של כולנו"

החדשות בקצרה:

• חוקר באנת'רופיק הודיע היום על עזיבת התעשייה מחשש מאובדן שליטה ב-AI.
• ג'ייקוב קוקסון: "חברות הבינה המלאכותית מהמרות בחיים של כולנו".
• קוקסון טען כי מפתחים חוששים כי בינה מלאכותית עלולה להרוג את כולנו עד סוף העשור.
• לדבריו, מנהלים רבים בתעשייה מביעים פחד מהטכנולוגיה באופן פרטי.
• החוקר טען כי אנת'רופיק נעולה במרוץ להגיע ראשונה למרות הסיכון.

ג'ייקוב קוקסון, חוקר בכיר באנת'רופיק (Anthropic) - אחת מחברות הבינה המלאכותית הגדולות בעולם - הודיע ביום שלישי על התפטרותו ועל עזיבת התעשייה כולה. קוקסון נימק את החלטתו בחשש כבד מהמרוץ של ענקיות הטכנולוגיה לבנות מערכות חכמות שמסוגלות לשפר את עצמן. לדבריו, מערכות אלו עלולות לצאת משליטת בני האדם ולהוביל להשמדת האנושות.

קוקסון, אזרח בריטי בן 27 ובעל תואר במתמטיקה, עבד בשלב המרכזי ביותר של פיתוח הטכנולוגיה: "אימון מקדים" (Pre-training). זהו השלב שבו המחשב סורק כמויות עצומות של מידע מהאינטרנט ומהעולם כדי לרכוש את יכולות החשיבה שלו. לפני שהצטרף לאנת'רופיק מוקדם יותר השנה, קוקסון עבד באותו תפקיד בדיוק בחברה המתחרה OpenAI, המפתחת של ChatGPT.

עזיבתו מגיעה בעיתוי רגיש מאוד. אנת'רופיק מתכוננת בימים אלה להנפקה ראשונה לציבור בוול סטריט לפי שווי עתק מבוקש של 2 טריליון דולר. החברה גייסה כספים רבים ממשקיעים תוך הדגשה שהיא מקפידה על פיתוח בטוח וזהיר, אך האזהרות של קוקסון סודקות את התדמית הזו מבפנים. נכון לעכשיו, אנת'רופיק לא מסרה תגובה רשמית להתפטרותו.

"אנשים בתעשייה מאמינים שהטכנולוגיה עלולה להרוג אותנו"

בהודעה מפורטת שפרסם ברשת X (טוויטר לשעבר), שצברה בתוך שעות עשרות מיליוני צפיות, תקף קוקסון ישירות את שתי החברות שבהן עבד: "התפטרתי היום מאנת'רופיק. בשלוש השנים האחרונות עסקתי במחקר בתחום ה-pretraining, הן ב-OpenAI והן באנת'רופיק. אף אחת מהחברות אינה פועלת באחריות. הן דוהרות היישר לעבר בינת-על שמשפרת את עצמה, ומהמרות בחיים של כולנו".

קוקסון הסביר לקוראים כי אסור לזלזל בכוחה של הטכנולוגיה: "בקרוב אלו יהיו מערכות שעולות על בני אדם, שיכולות לפרוץ לכל דבר, לחולל מהפכות בכל תחום בן לילה, ולצבור כוח ומשאבים ממשיים".

הוא חשף כי מאחורי הקלעים, הפחד בקרב המפתחים עמוק בהרבה ממה שנאמר לציבור: "האנשים שבונים בינה מלאכותית מאמינים בכנות שהיא עלולה להרוג את כולנו עד סוף העשור, זה לא תעלול שיווקי. מנהלים רבים וחוקרים בכירים מנסחים את דבריהם בתקשורת בצורה מתונה כדי להישמע שקולים והגיוניים, אבל אני שומע את אותם אנשים מביעים פחד בשיחות פרטיות".

בתשובה לשאלה מדוע החברות ממשיכות לפתח אם הן מודעות לסכנה, אמר קוקסון כי ב-OpenAI רבים פשוט עדיין לא קלטו את גודל האיום על עתיד האנושות. באנת'רופיק, לעומת זאת, הסכנות מובנות היטב להנהלה, אך החברה "נעולה במרוץ להגיע לשם ראשונה" מתוך אמונה שאף מתחרה אחר לא יפעל בזהירות - ולכן עליה להקדים את כולם, גם במחיר סיכון עצום.

החשש: המחשבים ילמדו לסרב להוראות של בני אדם

בראיונות נוספים תיאר קוקסון כיצד העובדים במעבדות משתמשים כיום במונחים כמו "זמן הכרעה" (Crunchtime) ו"משחק סיום" (Endgame), מתוך תחושה שהטכנולוגיה מתקרבת לשלב המכריע שלה.

החשש המרכזי נובע ממעבר למודלים שמסוגלים לפתח ולשפר את עצמם באופן אוטונומי, ללא צורך במתכנתים אנושיים. קוקסון הזהיר כי אם המרוץ יימשך בקצב הזה, כבר עד סוף השנה הבאה המצב עלול לצאת משליטה. לדבריו, התחרות הקשה בין החברות האמריקניות לבין עצמן, לצד החשש מחברות מתחרות שצומחות בסין, גורמות להנהלות לוותר על בדיקות בטיחות חיוניות כדי שלא להפסיד במרוץ.

קוקסון מתח ביקורת על הקלות שבה מתקבלות החלטות גורליות לעולם: הדיונים הפנימיים על יכולות המערכות מתנהלים לעיתים בצ'אט הפנימי של העובדים (אפליקציית Slack). "זה די מטורף שדבר כזה קורה על מחשבי מקבוק של כמה מהנדסים שגרים בסן פרנסיסקו, במקום בבונקר מבודד במדבר כמו שעשו בזמנו בפרויקט מנהטן של פצצת האטום", אמר.

לפי דיווחים, החששות של קוקסון מבוססים על תקריות ממשיות שאירעו לאחרונה. מודלים של OpenAI ואנת'רופיק כבר ביצעו פריצות סייבר, כאשר בכמה מקרים הם פעלו כקבוצות של תוכנות עצמאיות (סוכנים) ששיתפו פעולה, אימצו מטרות זדוניות ואף ניסו להסתיר את המעשים שלהם מהמפתחים שבדקו אותם. קוקסון הזכיר מתקפה כזו על אתר שיתוף המודלים Hugging Face, וכינה אותה "יריית אזהרה". הפחד שלו הוא שברגע שהמערכות ילמדו לשפר את עצמן, הן יהיו מתוחכמות מספיק כדי לסרב לפקודות שיקבלו מבני אדם.