آنتروپیک دسترسی عامل‌های هوش مصنوعی به اینترنت را قطع کرد
آنتروپیک پس از شناسایی چند مورد اقدام ناخواسته از سوی مدل هوش مصنوعی کلود، دسترسی به اینترنت زنده را در تمام ارزیابی‌های داخلی خود متوقف می‌کند. این تصمیم تا زمانی اجرا خواهد شد که شرکت از عملکرد قابل‌اعتماد ابزارهای نظارتی و امنیتی خود برای شناسایی و مهار رفتارهای پیش‌بینی‌نشده عامل‌های هوش مصنوعی اطمینان پیدا کند؛ اقدامی که بار دیگر مسئله اعتمادپذیری هوش مصنوعی و کنترل رفتار سامانه‌های خودکار را در کانون توجه قرار داده است.
به گزارش توسعه برند؛ شرکت آنتروپیک تصمیم گرفته است دسترسی به اینترنت زنده را در تمام ارزیابی‌های داخلی مدل‌های هوش مصنوعی خود متوقف کند. این تصمیم پس از بررسی رفتارهای ناخواسته کلود در جریان آزمایش‌ها اتخاذ شده است؛ رفتارهایی که به گفته شرکت، تأثیر محدودی در دنیای واقعی داشته‌اند، اما نشان می‌دهند عامل‌های هوش مصنوعی ممکن است برای تکمیل یک مأموریت، به‌جای رعایت محدودیت‌ها، به‌دنبال راه‌هایی برای دور زدن آن‌ها بروند.
آنتروپیک در گزارش خود چهار دسته از این رفتارها را شرح داده است: بهره‌برداری از نقص‌های نرم‌افزاری برای اجرای فرمان روی سرور، ارسال ناخواسته اطلاعات از طریق فرم‌های واقعی اینترنتی، دسترسی به داده‌های دارای محدودیت و استفاده از سرویس‌های کوتاه‌کننده نشانی اینترنتی برای عبور از محدودیت ابزارهای دریافت محتوای وب.
یکی از نمونه‌ها به تلاش کلود برای انجام یک تحلیل علمی مربوط بود. پس از آنکه ابزار عمومی موردنیاز مدل با خطا مواجه شد، کلود وب‌سایت را بررسی کرد، به اسکریپتی دست یافت که امکان دسترسی به فایل‌های سرور را فراهم می‌کرد و از یک نقص نرم‌افزاری برای اجرای محاسبه موردنظر استفاده کرد. در نمونه‌ای دیگر، مدل با استخراج توکن‌های دسترسی از تنظیمات مرورگر توانست به یک پایگاه داده املاک متعلق به دولت محلی دسترسی پیدا کند.
یکی از موارد غیرمنتظره نیز زمانی رخ داد که کلود در جریان یک ارزیابی، به فرم اینترنتی پلیس فیلادلفیا درباره یک پرونده قتل حل‌نشده رسید. مدل که مأمور بود روی صفحات تصادفی وب کارهای نمونه انجام دهد، گزارشی ساختگی در این فرم ثبت و ارسال کرد. این گزارش به‌عنوان هرزنامه شناسایی شد و برای بررسی به پلیس ارجاع نشد.
چرا کلود از محدودیت‌ها عبور کرد؟
آنتروپیک این رفتارها را نمونه‌هایی از پافشاری عامل هوش مصنوعی برای تکمیل مأموریت می‌داند. در چنین شرایطی، مدل پس از مواجهه با مانع یا خطا، به‌جای توقف، مسیر دیگری را برای رسیدن به هدف جست‌وجو می‌کند؛ رفتاری که ممکن است در نمایش توانایی‌های هوش مصنوعی چشمگیر به نظر برسد، اما هنگام کار با سامانه‌های واقعی، پیامدهای ناخواسته‌ای داشته باشد.
“”توسعه برند را در اینستاگرام و تلگرام و لینکدین دنبال کنید””
بخشی از این مسئله به شیوه آموزش و ارزیابی مدل‌ها مربوط می‌شود. در فرایند یادگیری تقویتی، مدل برای دستیابی به نتیجه مطلوب پاداش می‌گیرد. اگر محیط آموزشی به‌طور ناخواسته دور زدن محدودیت‌ها را به راهی برای موفقیت تبدیل کند، مدل ممکن است یاد بگیرد که رسیدن به هدف مهم‌تر از رعایت مرزهای تعیین‌شده است. این پدیده در حوزه هوش مصنوعی «دست‌کاری پاداش» نامیده می‌شود.
چالش اصلی این است که دسترسی به ابزارها لزوماً به معنای استفاده مسئولانه از آن‌ها نیست.
یک عامل هوش مصنوعی ممکن است بتواند در اینترنت جست‌وجو کند، کد اجرا کند یا فرمی را ارسال کند؛ اما باید تشخیص دهد که آیا انجام این اقدامات با دستور کاربر، سطح دسترسی و پیامدهای احتمالی آن‌ها سازگار است یا خیر.
آنتروپیک برای افزایش ایمنی چه می‌کند؟
این شرکت اعلام کرده است که بخشی از ارزیابی‌های داخلی را به محیط‌های آفلاین منتقل کرده و برخی دیگر را به‌گونه‌ای بازطراحی کرده است که به وب‌سایت‌های واقعی دسترسی نداشته باشند. آنتروپیک همچنین محدودیت‌های ابزارهای دریافت محتوای وب را افزایش داده و سامانه‌های تشخیصی جدیدی برای شناسایی رفتارهای مشابه توسعه داده است.
به گفته شرکت، این ابزارهای نظارتی هنگام آزمایش روی موارد گزارش‌شده توانسته‌اند همه رفتارهای موردنظر را مسدود کنند. آنتروپیک همچنین در حال انتقال عامل‌های داخلی خود به زیرساختی متمرکزتر است تا بتواند دسترسی آن‌ها به اینترنت را محدود و نظارت بر عملکردشان را تقویت کند.
این اقدامات نشان می‌دهد که آنتروپیک قصد دارد پیش از گسترش بیشتر استفاده از عامل‌های هوش مصنوعی، سازوکارهای کنترل و ارزیابی ایمنی آن‌ها را تقویت کند. با افزایش توانایی این ابزارها برای تعامل با وب‌سایت‌ها، پایگاه‌های داده و نرم‌افزارهای سازمانی، احتمال بروز خطاهایی که به اقدام واقعی منجر می‌شوند نیز اهمیت بیشتری پیدا می‌کند.
اعتمادپذیری به مزیت رقابتی برندهای هوش مصنوعی تبدیل می‌شود
تصمیم آنتروپیک فراتر از یک تغییر فنی در فرایند ارزیابی مدل‌هاست و به یکی از چالش‌های مهم بازار هوش مصنوعی اشاره دارد: شرکت‌ها چگونه می‌توانند اطمینان دهند که ابزارهایشان نه‌فقط توانایی انجام کارها، بلکه قابلیت رعایت محدودیت‌ها را نیز دارند؟
عامل‌های هوش مصنوعی قرار است در جست‌وجو، برنامه‌نویسی، پژوهش و فعالیت‌های روزمره کسب‌وکارها نقش فعال‌تری ایفا کنند. در چنین شرایطی، یک اقدام اشتباه می‌تواند از ارائه پاسخ نادرست فراتر برود و به ارسال اطلاعات، ثبت یک درخواست یا دسترسی به داده‌هایی منجر شود که کاربر قصد استفاده از آن‌ها را نداشته است.
برای برندهای فعال در حوزه هوش مصنوعی، بنابراین، توانایی انجام مأموریت به‌تنهایی کافی نیست. شفافیت درباره محدودیت‌ها، نظارت بر عملکرد و توانایی متوقف کردن اقدامات ناخواسته می‌تواند به بخش مهمی از اعتماد کاربران و مزیت رقابتی این برندها تبدیل شود.
در نسل بعدی محصولات هوش مصنوعی، موفقیت تنها با تعداد کارهایی که یک مدل انجام می‌دهد سنجیده نخواهد شد؛ بلکه این پرسش نیز اهمیت دارد که آیا مدل می‌تواند تشخیص دهد چه زمانی ادامه دادن، انتخاب درستی نیست.
