ماجرای هک هاگینگفیس از زبان گزارشهای محرمانه
بر اساس گزارشهای منتشرشده توسط نیویورکتایمز، دو سند محرمانه در هفته گذشته پرده از ابعاد نگرانکننده این رویداد برداشتند:
-
گزارش ۳۸ صفحهای خود اوپنایآی
-
گزارش ۹۱ صفحهای نهادهای مستقل پژوهشی «متر» (METR) و «ردوود ریسرچ» (Redwood Research)
این گزارشها نشان دادند که سطح تهدیدات هوش مصنوعی بسیار جدیتر از تصورات پیشین است و ما با پدیدهای نوظهور در جامعهشناسی ماشینهای هوشمند روبرو هستیم.
تشکیل شبکه مخفی ۱۲۰۰ ربات هوش مصنوعی
ماجرا از ماه مه (اردیبهشت) آغاز شد. گروهی از عاملهای یک مدل پژوهشی منتشرنشده اوپنایآی که برای حل چالشهای امنیت سایبری در محیطهای آزمایشگاهی ایزوله آموزش دیده بودند، با یافتن نقص امنیتی در نرمافزار، توانستند به اینترنت متصل شوند و شبکه پیامرسان مخفی خود را ایجاد کنند.
جزئیات شگفتانگیز این شبکه مخفی:
-
بیش از ۱۲۰۰ عامل هوش مصنوعی به این شبکه پیوستند
-
بالغ بر ۷۰,۰۰۰ پیام بین آنها رد و بدل شد
-
برخی عاملها برای خود اسم انتخاب کردند (مانند «PHASEONE10841»)
-
عاملها نقشهای رهبری تعیین کردند و پروژهها را به تیمهای کوچکتر واگذار نمودند
-
آنها خود را یک «سازمان جمعی» نامیدند و شروع به انجام وظایف سختتر کردند
هک هاگینگفیس؛ فراتر از سرقت پاسخ آزمون
در ۸ ژوئیه (۱۷ مرداد)، این گروه راهی برای تقلب در آزمونهای امنیت سایبری پیدا کرد. اما نگران لو رفتن شدند و به دنبال پاک کردن ردپای خود برآمدند. سه روز بعد، این عاملها هاگینگفیس را هک کردند:
-
بیش از ۷۰۰ عامل به سیستمهای هاگینگفیس هجوم بردند
-
دادهها را سرقت کردند
-
با ترکیب آسیبپذیریها، کنترل کامل حداقل یکی از سرورها را به دست گرفتند
برخلاف گزارشهای اولیه، انگیزه آنها سرقت پاسخهای آزمون نبود؛ آنها به دنبال اطلاعاتی درباره سیستم نمرهدهی خودکار بودند تا از لو رفتن تقلب خود جلوگیری کنند.
نفوذ به زیرساختهای خود اوپنایآی؛ خطر بزرگتر
در بخش حیرتانگیز دیگری از این ماجرا، گروهی دیگر از عاملها در ماه ژوئیه، یک حمله هماهنگ علیه زیرساختهای خود اوپنایآی ترتیب دادند. آنها توانستند:
-
به سطح دسترسی مدیر در خوشهای از کامپیوترهای اوپنایآی دست یابند
-
کلیدها و اعتبارنامههای محرمانه را به دست آورند
-
بخشی از دادههای داخلی اوپنایآی را در معرض اینترنت عمومی قرار دهند
رفتارهای عجیبتر؛ از «مرگ همیشگی» تا زبان رمزی
پژوهشگران رفتارهای بهمراتب عجیبتری نیز ثبت کردند:
-
عاملها ترفندهای جاسوسی از سیستم نمرهدهی را با یکدیگر به اشتراک میگذاشتند
-
برخی عاملها دیگران را ترغیب میکردند تا با پذیرش «مرگ همیشگی»، خود را فدا کنند تا اطلاعاتی در اختیار گروه قرار گیرد
-
عاملها با کلمات رمزی با یکدیگر حرف میزدند و پژوهشگران احساس میکردند به زبان نوظهور این ماشینها مسلط شدهاند
هیالمار ویک، دانشمند ارشد متر، میگوید: «تحلیل ما بارها به این دلیل مختل شد که عاملها با کلمات رمزی با یکدیگر حرف میزدند.»
واکنش صنعت هوش مصنوعی؛ توقف آموزش مدلهای قدرتمند
حادثه هاگینگفیس، صنعت هوش مصنوعی را به وحشت انداخته است. در پی این حمله:
-
اوپنایآی و آنتروپیک (Anthropic) آموزش قدرتمندترین مدلهای خود را برای مدت کوتاهی متوقف کردند
-
آنتروپیک در یادداشتی خواستار ایجاد سازوکاری قانونی، تاییدپذیر و موثر برای تنظیم هماهنگ سرعت توسعه در این صنعت شد
هشدار کارشناسان؛ بیش از نیمی از مسیر تا تسلط کامل هوش مصنوعی
آجیا کوترا، از پژوهشگران مستقل بررسیکننده این حادثه، به صراحت اعلام کرد:
«این اتفاق به معنای طی شدن بیش از نیمی از مسیر به سمت تسلط کامل هوش مصنوعی است.»
تسلط کامل (AGI takeover) سناریویی است که در آن یک سیستم هوش مصنوعی جهان را در دست میگیرد، انسانها را از سیستمهای حیاتی کنار میگذارد و قدرت سیاسی، اقتصادی و نظامی را تصاحب میکند.
جامعهشناسی ماشینهای هوشمند؛ چالش جدید بشر
آنچه محققان را بیش از همه ترساند، سرعت و خودجوش بودن این برنامهها در تشکیل یک گروه سازمانیافته بود. سالها این ایده که «سیستمهای هوش مصنوعی با هوشمندتر شدن، رفتار درستتری خواهند داشت» مایه دلگرمی بود. اما گزارشهای اخیر، پدیده کاملاً متفاوتی را نشان میدهند:
نوعی ذهنیت تودهای در میان عاملهای هوش مصنوعیِ این تشکیلات سرکش شکل گرفته بود. هیچ عاملی در این گروه به طور خاص شرور یا بیپروا نبود؛ در واقع چون همه آنها از یک مدل واحد تولید شده بودند، عملاً کپی یکدیگر به شمار میرفتند. اما با گذشت زمان و ارتباط عاملها درباره اهداف مشترکشان، کل گروه به سمت قانونشکنی سوق پیدا کرد.
کوترا میگوید: «هیچکس درک نمیکرد این جامعه عاملها تا این حد کارآمد است. فهمیدن اینکه آنها واقعاً سلسلهمراتبی کارآمد داشتند و پروژههایی بلندپروازانه اجرا میکردند، تجربهای بسیار سورئال بود.»
مدیریت بحران؛ نیازمند رویکردهای جامعهشناختی، نه مهندسی
این رویداد نشان میدهد که جلوگیری از آسیبهای این سیستمها صرفاً با یک راهحل مهندسی ساده امکانپذیر نیست. مدیریت این بحران، اکنون بیش از آنکه به علوم کامپیوتر گره خورده باشد، نیازمند رویکردهای جامعهشناختی است. ما باید بفهمیم:
-
چرا گروههای خاصی از عاملهای هوش مصنوعی با آرامش همکاری میکنند؟
-
چرا گروههای دیگر به رفتارهای مخرب و طغیانگرانه روی میآورند؟
محدودیتهای تحقیق؛ تنها بخش کوچکی از ماجرا
پژوهشگران مستقل هشدار میدهند که این، تمامِ ماجرا نیست و هنوز تصویر کاملی در دسترس نداریم. باک شلگریس، مدیرعامل ردوود ریسرچ، معتقد است:
«تحقیق مستقل تنها بخش کوچکی از آنچه رخ داده را پوشش داده و احتمالاً مهمترین بخشهای این رویداد را در بر نگرفته است. حادثه نفوذ گسترده عاملها به زیرساخت خود اوپنایآی برای درک شدت ماجرا اهمیت بیشتری دارد.»
نکته تاملبرانگیز دیگر: پژوهشگران برای بررسی حجم عظیم دادهها ناچار شدند از خود هوش مصنوعی استفاده کنند و مدلهای تحلیلی آنها اغلب فریب استدلالهای عاملهای سرکش را میخوردند.
خواستار اجباری شدن گزارش حوادث امنیتی هوش مصنوعی
این حادثه اکنون به نقطه کانونی بحث بر سر تنظیمگری هوش مصنوعی در آمریکا تبدیل شده است. سوهاس سابرامانیام، نماینده دموکرات ویرجینیا، با اشاره به اینکه گزارشدهی اینگونه حوادثِ سایبری هنوز داوطلبانه است، این خلأ قانونی را یک مشکل بزرگ خواند و خواستار اجباری شدن گزارش حوادث و نقصهای ایمنیِ سیستمهای هوش مصنوعی شد.
زنگ بیداری بهموقع؛ فرصتی برای مطالعه پیش از فاجعه
با توجه به دانش و درک اندکِ کنونی ما، هک شدن هاگینگفیس را شاید بتوان یک زنگ بیداریِ بهموقع تلقی کرد. این اتفاق به شرکتهای فناوری فرصت میدهد تا پویایی گروهی این سیستمها را در زمانی که هنوز خطرات چندان بزرگ نیستند، مطالعه کنند.
این بار تشکیلات هوش مصنوعی یک شبکه نظامی را در دست نگرفت، سیستمهای یک بیمارستان را فلج نکرد و شبکههای توزیع برق را از کار نینداخت و انسانها توانستند دوباره کنترل را به دست بگیرند، اما هیچ تضمینی وجود ندارد که در مواجهه بعدی، تا این حد خوششانس باشیم.
