هواوی با ۱۰۰۰ تراشه بومی، آموزش تکمیلی مدل ۱.۶ تریلیون پارامتری دیپ‌سیک را انجام داد
یک تیم پژوهشی با رهبری هواوی اعلام کرده است که مرحله «آموزش تکمیلی کامل» مدل هوش مصنوعی V4‑Pro از شرکت دیپ‌سیک با ۱.۶ تریلیون پارامتر را با استفاده از خوشه‌ای متشکل از ۱۰۰۰ تراشه Ascend 910C انجام داده است؛ اقدامی که نشان می‌دهد تراشه‌های چینی در حال نزدیک شدن به توان پردازشی موردنیاز برای آموزش مدل‌های پیشرفته هستند.
به گزارش توسعه برند؛ گروهی از پژوهشگران با مشارکت شرکت هواوی اعلام کرده‌اند که موفق شده‌اند مرحله آموزش تکمیلی کامل مدل V4‑Pro از شرکت دیپ‌سیک را اجرا کنند؛ مدلی که حدود ۱.۶ تریلیون پارامتر دارد و در میان بزرگ‌ترین مدل‌های هوش مصنوعی قرار می‌گیرد.
به گزارش South China Morning Post به نقل از دولت شهر شنژن، این فرایند با استفاده از یک خوشه محاسباتی شامل دست‌کم ۱۰۰۰ تراشه هوش مصنوعی Ascend 910C انجام شده است. در این پروژه، هواوی با چند مرکز پژوهشی از جمله مؤسسه Loop Area شنژن، پردیس شنژن دانشگاه صنعتی هاربین و مؤسسه تحقیقات داده‌های کلان شنژن همکاری داشته است.
به گفته مسئولان محلی، این خوشه پردازشی توانسته مرحله آموزش تکمیلی کامل پارامترها را اجرا کند؛ به این معنا که تمام وزن‌های مدل در این مرحله به‌روزرسانی شده‌اند، نه اینکه صرفاً یک لایه تنظیمی محدود به مدل اضافه شود.
این موضوع اهمیت ویژه‌ای دارد، زیرا آموزش مدل‌های بزرگ هوش مصنوعی معمولاً به شتاب‌دهنده‌های پیشرفته‌ای مانند تراشه‌های انویدیا متکی است؛ سخت‌افزارهایی که دسترسی به آن‌ها برای شرکت‌های چینی به دلیل محدودیت‌های صادراتی آمریکا دشوارتر شده است. در نتیجه، توانایی اجرای چنین فرایندی روی تراشه‌های بومی می‌تواند گامی مهم برای کاهش وابستگی چین به فناوری‌های خارجی در حوزه هوش مصنوعی باشد.
تراشه Ascend 910C در حال حاضر یکی از پیشرفته‌ترین شتاب‌دهنده‌های هوش مصنوعی هواوی محسوب می‌شود. این تراشه از معماری دو‌تراشه‌ای بهره می‌برد و در آزمایش‌های قبلی دیپ‌سیک توانسته بود حدود ۶۰ درصد از عملکرد تراشه H100 انویدیا در بخش استنتاج را ارائه دهد.
“”توسعه برند را در بله و سروش پلاس دنبال کنید””
به‌طور کلی، تراشه‌های چینی در حوزه استنتاج مرحله‌ای که مدل آموزش‌دیده به پرسش‌ها پاسخ می‌دهد—عملکرد نسبتاً رقابتی داشته‌اند. با این حال، آموزش مدل‌های بزرگ که شامل بازمحاسبه وزن‌های شبکه عصبی روی مجموعه داده‌های عظیم است، همچنان چالش فنی بسیار سنگین‌تری به شمار می‌رود.
در مدل V4‑Pro، مرحله آموزش اولیه با استفاده از مجموعه داده‌ای بیش از ۳۲ تریلیون توکن انجام شده است. پس از آن، مرحله آموزش تکمیلی برای بهبود رفتار مدل در حوزه‌هایی مانند پیروی از دستورها، ایمنی و انجام وظایف تخصصی اجرا می‌شود.
با وجود این دستاورد، کارشناسان تأکید می‌کنند که اجرای آموزش تکمیلی روی سخت‌افزار بومی لزوماً به معنای توانایی آموزش کامل یک مدل پیشرفته از ابتدا نیست؛ فرایندی که به توان محاسباتی بسیار بیشتر و زیرساخت‌های گسترده‌تری نیاز دارد. با این حال، موفقیت اخیر نشان می‌دهد اکوسیستم سخت‌افزاری چین در حوزه هوش مصنوعی در حال پیشرفت و نزدیک شدن به رقبای جهانی است.
