متفرقه

چرا ساخت AIS بزرگ میلیاردها هزینه دارد – و چگونه

سیستم های اطلاعاتی مصنوعی پیشرفته مانند Openai’s Chatgpt ، Google’s Gemini و Claude Anthropic با تولید متن مسلط به زبان های مختلف در پاسخ به مطالب کاربر ، تخیل عمومی را به خود جلب کرده اند. این شرکت ها همچنین با مبالغ عظیمی که برای ساخت مدل های قدرتمندتر سرمایه گذاری کرده اند ، عناوین را به دست آورده اند.

یک استارتاپ هوش مصنوعی از چین ، Deepseek ، انتظارات خود را در مورد میزان پول برای ساخت جدیدترین و بزرگترین AIS ناراحت کرده است. در این فرآیند ، آنها در میلیارد ها دلار سرمایه گذاری توسط بازیکنان بزرگ هوش مصنوعی شک کرده اند.

من یادگیری ماشین را مطالعه می کنم. اولین بازی مختل کننده Deepseek نه به هیچ موفقیت آمیز فن آوری خیره کننده بلکه به یک عمل با افتخار زمان تبدیل می شود: یافتن کارآیی. در زمینه ای که منابع محاسباتی گسترده ای را مصرف می کند ، ثابت شده است که قابل توجه است.

توسعه چنین سیستم های قدرتمند هوش مصنوعی با ساختن یک مدل زبان بزرگ آغاز می شود. یک مدل زبان بزرگ کلمه بعدی را با توجه به کلمات قبلی پیش بینی می کند. به عنوان مثال ، اگر آغاز یک جمله “تئوری نسبیت توسط آلبرت کشف شد” ، یک مدل بزرگ زبان ممکن است پیش بینی کند که کلمه بعدی “انیشتین” است. مدلهای بزرگ زبان آموزش دیده اند تا در فرآیندی به نام پیشگویی در چنین پیش بینی هایی خوب شوند.

هزینه ها کجا هستند

پیشگویی به داده ها و قدرت محاسباتی زیادی نیاز دارد. شرکت ها با خزیدن در وب و اسکن کتاب ، داده ها را جمع می کنند. محاسبات معمولاً توسط واحدهای پردازش گرافیکی یا GPU انجام می شود. چرا گرافیک؟ به نظر می رسد که هم گرافیک رایانه ای و هم شبکه های عصبی مصنوعی که زیربنای مدل های بزرگ زبان هستند ، به همان حوزه ریاضیات معروف به جبر خطی متکی هستند. مدل های بزرگ زبان در داخل صدها میلیارد عدد به نام پارامترها یا وزن ذخیره می کنند. این وزنهای است که در حین پیش تنظیم اصلاح می شوند.

با این حال ، پیشگیری برای ارائه محصول مصرفی مانند ChatGPT کافی نیست. یک مدل زبان بزرگ پیش ساخته معمولاً در پیروی از دستورالعمل های انسانی خوب نیست. همچنین ممکن است با ترجیحات انسانی هماهنگ نباشد. به عنوان مثال ، این ممکن است زبان مضر یا سوءاستفاده ای را که هر دو در متن در وب وجود دارند ، تولید کند.

بنابراین مدل پیش ساخته معمولاً مراحل اضافی آموزش را طی می کند. یکی از این مرحله تنظیم دستورالعمل است که در آن مدل نمونه هایی از دستورالعمل های انسانی و پاسخ های مورد انتظار نشان داده شده است. پس از تنظیم دستورالعمل ، مرحله ای به نام تقویت یادگیری از بازخورد انسان صورت می گیرد. در این مرحله ، حاشیه نویسی های انسانی چندین پاسخ مدل بزرگ زبان به همان سریع نشان داده شده است. سپس از حاشیه نویسان خواسته می شود که کدام پاسخ را ترجیح می دهند.

به راحتی می توان فهمید که چگونه هزینه ها هنگام ساختن یک مدل هوش مصنوعی اضافه می شوند: استخدام استعداد AI با کیفیت بالا ، ساختن یک مرکز داده با هزاران GPU ، جمع آوری داده ها برای پیش فرض و اجرای پیش زمینه در GPU. علاوه بر این ، هزینه هایی در جمع آوری داده ها و محاسبات در تنظیم دستورالعمل و یادگیری تقویت از مراحل بازخورد انسان وجود دارد.

همه شامل هزینه های ساخت یک مدل AI Edge Edge می تواند تا 100 میلیون دلار آمریکا صعود کند. آموزش GPU یکی از مؤلفه های مهم کل هزینه است.

در صورت آماده بودن مدل ، هزینه متوقف نمی شود. هنگامی که این مدل مستقر شده و به درخواست های کاربر پاسخ می دهد ، از محاسبات بیشتری که به عنوان زمان آزمایش یا محاسبه زمان استنتاج شناخته می شود ، استفاده می کند. محاسبه زمان آزمون نیز به GPU نیز احتیاج دارد. در دسامبر سال 2024 ، OpenAi پدیده جدیدی را که با آخرین مدل O1 خود مشاهده کرد ، اعلام کرد: با افزایش زمان آزمایش ، این مدل در کارهای استدلال منطقی مانند المپیاد ریاضی و مشکلات برنامه نویسی رقابتی بهتر شد.

کاهش مصرف منابع

مدل های سری V آنها ، که در مدل V3 به اوج خود رسیده اند ، از یک سری از بهینه سازی ها استفاده کردند تا مدلهای AI Edge Edge Edge را به طور قابل توجهی اقتصادی تر کنند. در گزارش فنی آنها آمده است که برای آموزش V3 کمتر از 6 میلیون دلار برای آنها طول کشید. آنها اعتراف می کنند که این هزینه شامل هزینه های استخدام تیم ، انجام تحقیق ، تلاش برای ایده های مختلف و جمع آوری داده ها نیست. اما 6 میلیون دلار هنوز هم یک چهره بسیار چشمگیر برای آموزش مدلی است که رقیب مدل های پیشرو AI با هزینه های بسیار بالاتر توسعه یافته است.

کاهش هزینه ها به دلیل یک گلوله جادویی واحد نبود. این ترکیبی از بسیاری از گزینه های مهندسی هوشمند از جمله استفاده از بیت های کمتری برای نشان دادن وزن مدل ، نوآوری در معماری شبکه عصبی و کاهش ارتباطات سربار به عنوان داده ها بین GPU ها بود.

جالب است بدانید که به دلیل محدودیت صادرات ایالات متحده در چین ، تیم Deepseek به GPU های با کارایی بالا مانند NVIDIA H100 دسترسی نداشت. در عوض آنها از GPU های NVIDIA H800 استفاده کردند ، که Nvidia برای عملکرد پایین تر طراحی کرده است تا آنها محدودیت های صادراتی ایالات متحده را رعایت کنند. به نظر می رسد کار با این محدودیت از تیم Deepseek حتی بیشتر نبوغ بیشتری را حذف کرده است.

تنظیم مجدد انتظارات

جامعه تحقیقاتی و بورس سهام برای سازگاری با این واقعیت جدید به مدتی نیاز دارند.

یک صفحه تلفن هوشمند که متن را نشان می دهد و یک نماد کوچک از یک نهنگ آبی

منبع: shafaghnews.com
theconversation

نوشته های مشابه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دکمه بازگشت به بالا