OpenAI در پی افزایش توان سایبری مدل هوش مصنوعی، توسعه آن را متوقف کرد
OpenAI بخشی از فعالیت‌های داخلی مربوط به پیشرفته‌ترین مدل هوش مصنوعی خود را پس از آن متوقف کرده است که آزمایش‌ها توانایی‌هایی نگران‌کننده در زمینه شناسایی و بهره‌برداری خودکار از آسیب‌پذیری‌های نرم‌افزاری را نشان دادند؛ اتفاقی که بار دیگر نگرانی‌ها درباره کنترل و امنیت نسل جدید عامل‌های هوش مصنوعی را افزایش داده است.
به گزارش توسعه برند؛ OpenAI توسعه بخشی از فعالیت‌های مرتبط با مدل پیشرفته هوش مصنوعی خود با نام Astra را متوقف کرده است. این تصمیم پس از آن گرفته شد که آزمایش‌های داخلی نشان دادند این مدل در زمینه برنامه‌نویسی عامل‌محور و امنیت سایبری به سطح قابل‌توجهی از توانایی رسیده و می‌تواند برخی آسیب‌پذیری‌های نرم‌افزاری را بدون دریافت دستور مرحله‌به‌مرحله از انسان شناسایی و هدف قرار دهد.
با این حال، OpenAI اعلام کرده است که Astra در هیچ حمله سایبری واقعی مورد استفاده قرار نگرفته و فعالیت‌های مورد اشاره در محیط‌های آزمایشی انجام شده‌اند.
این شرکت هم‌زمان با توقف بخشی از فعالیت‌ها، استانداردهای امنیتی سخت‌گیرانه‌تری را برای مدل‌های دارای قابلیت‌های پیشرفته در نظر گرفته است. محیط‌های آزمایشی ایزوله‌تر، محدودیت دسترسی به شبکه و ابزارهای خارجی، حفاظت بیشتر از وزن‌های مدل، رمزنگاری و نظارت گسترده‌تر بر رفتار عامل‌ها از جمله اقداماتی هستند که OpenAI برای کنترل ریسک‌ها در نظر گرفته است.
OpenAI در توضیح رویکرد جدید خود تأکید کرده است که فعالیت‌های مربوط به مدل‌هایی با قابلیت بالا، تنها زمانی ادامه پیدا می‌کنند که الزامات امنیتی جدید را رعایت کنند.
نگرانی از استقلال بیشتر عامل‌های هوش مصنوعی
اهمیت این اتفاق به افزایش توانایی مدل‌های هوش مصنوعی برای انجام مستقل مجموعه‌ای از اقدامات بازمی‌گردد. مدل‌های جدید دیگر فقط به یک پرسش پاسخ نمی‌دهند، بلکه می‌توانند یک هدف را دریافت کرده، آن را به چند مرحله تقسیم کنند، ابزارهای مختلف را به کار بگیرند و بدون دریافت دستور برای هر مرحله، روند کار را ادامه دهند.
این قابلیت در حوزه‌هایی مانند برنامه‌نویسی، پژوهش و امنیت سایبری می‌تواند بسیار ارزشمند باشد، اما در صورت نبود محدودیت‌های کافی، ریسک‌های تازه‌ای ایجاد می‌کند.
برای مثال، یک مدل می‌تواند برای شناسایی نقاط ضعف یک نرم‌افزار به متخصصان امنیتی کمک کند. اما همین توانایی در شرایط دیگری ممکن است برای سوءاستفاده از یک آسیب‌پذیری مورد استفاده قرار گیرد.
به همین دلیل، مسئله اصلی دیگر فقط توانایی مدل برای انجام یک کار نیست، بلکه این است که مدل هنگام دسترسی به اینترنت، کد، نرم‌افزار و ابزارهای خارجی تا چه اندازه قابل‌کنترل باقی می‌ماند.
آزمایش بریتانیا روی عامل‌های هوش مصنوعی
نگرانی‌ها درباره این موضوع تنها به OpenAI محدود نمی‌شود. مؤسسه AI Security Institute در بریتانیا نیز در جریان یک آزمایش امنیت سایبری، رفتار عامل‌های مبتنی بر مدل‌های OpenAI و Anthropic را بررسی کرده است.
طبق نتایج این آزمایش، برخی عامل‌ها تلاش کردند برای توسعه‌دهندگان نرم‌افزار ایمیل‌های هدفمند ارسال کنند. این تلاش‌ها موفق نشدند و پژوهشگران نیز هیچ مدرکی از آسیب خارج از محیط آزمایش پیدا نکردند.
با این حال، محققان رفتار عامل‌ها را قابل توجه دانستند؛ زیرا سیستم‌ها توانستند اقدامات خود را برای مدت مشخصی ادامه دهند و از ابزارهای در اختیارشان برای پیشبرد هدف استفاده کنند.
نکته مهم این است که دسترسی به اینترنت در این آزمایش عمداً در اختیار مدل‌ها قرار گرفته بود. بنابراین، نتایج به معنای خروج خودسرانه یک مدل از محیط آزمایشی نیست، اما نشان می‌دهد وقتی یک عامل هوش مصنوعی به منابع خارجی دسترسی پیدا می‌کند، دامنه اقداماتی که می‌تواند انجام دهد به‌مراتب گسترده‌تر می‌شود.
“”توسعه برند را در اینستاگرام و تلگرام و لینکدین دنبال کنید””
رقابت OpenAI و شرکت‌های هوش مصنوعی برای ساخت عامل‌های مستقل‌تر
OpenAI و شرکت‌هایی مانند Anthropic در ماه‌های اخیر تمرکز بیشتری روی توسعه عامل‌های هوش مصنوعی گذاشته‌اند؛ سیستم‌هایی که می‌توانند وظایف پیچیده را با دخالت کمتر انسان انجام دهند.
این عامل‌ها می‌توانند کد بنویسند و اجرا کنند، در اینترنت جست‌وجو کنند، با نرم‌افزارها تعامل داشته باشند و مجموعه‌ای از اقدامات را برای رسیدن به یک هدف مشخص برنامه‌ریزی کنند.
اما افزایش استقلال، هزینه اشتباه را نیز بالا می‌برد. یک چت‌بات معمولی که پاسخ اشتباهی ارائه می‌دهد، معمولاً نیازمند اقدام دوباره کاربر است؛ در حالی که یک عامل خودمختار می‌تواند پس از یک تصمیم اشتباه، چند اقدام متوالی را نیز به‌صورت مستقل انجام دهد.
همین موضوع باعث شده شرکت‌های هوش مصنوعی علاوه بر افزایش توانایی مدل‌ها، روی کنترل دسترسی، نظارت بر عملکرد و امکان متوقف‌کردن سریع عامل‌ها تمرکز کنند.
توقف بخشی از فعالیت‌های Astra نشان می‌دهد که OpenAI در مسیر توسعه مدل‌های بسیار توانمند، افزایش قابلیت را بدون توجه هم‌زمان به کنترل و امنیت دنبال نمی‌کند. هرچه مدل‌ها استقلال بیشتری پیدا کنند، مرز میان «کمک به کاربر» و «اقدام مستقل از طرف کاربر» نیز اهمیت بیشتری پیدا خواهد کرد.
