معروف AIS Head to-Head: Openai Deepseek را ضرب می کند

Chatgpt و سایر چت های AI مبتنی بر مدل های بزرگ زبان شناخته شده است که گاه و بیگاه چیزهایی را از جمله استنادهای علمی و قانونی تشکیل می دهند. به نظر می رسد که اندازه گیری دقیق استنادهای مدل AI یک روش مناسب برای ارزیابی توانایی های استدلال مدل است.
یک “دلایل” مدل هوش مصنوعی با شکستن یک پرس و جو در مراحل و کار از طریق آنها به ترتیب. به این فکر کنید که چگونه یاد گرفتید مشکلات کلمه ریاضی را در مدرسه حل کنید.
در حالت ایده آل ، برای تولید استنادها ، یک مدل هوش مصنوعی مفاهیم کلیدی را در یک سند درک می کند ، لیستی از مقالات مربوطه را برای استناد به آنها می دهد و استدلال قانع کننده ای را برای چگونگی پشتیبانی هر مقاله پیشنهادی از متن مربوطه ارائه می دهد. این ارتباطات خاص بین متن و تحقیقات ذکر شده را برجسته می کند ، و چگونگی اهمیت هر منبع را روشن می کند.
سؤال این است که ، آیا می توان به مدل های امروز اعتماد کرد تا این اتصالات را برقرار کنند و استدلال روشنی را ارائه دهند که انتخاب منبع آنها را توجیه می کند؟ پاسخ فراتر از دقت استناد برای پرداختن به چگونگی مفید و دقیق مدل های زبان بزرگ برای هر هدف بازیابی اطلاعات است.
جمله خاص
من یک دانشمند رایانه هستم. همکاران من – محققان موسسه هوش مصنوعی در دانشگاه کارولینای جنوبی ، دانشگاه ایالتی اوهایو و دانشگاه مریلند بالتیمور – و من دلایل معیار را برای آزمایش چگونگی خوب مدل های زبان بزرگ می توانند به طور خودکار استنادهای تحقیقاتی ایجاد کرده و استدلال قابل فهم را ارائه داده ام.
ما از معیار برای مقایسه عملکرد دو مدل استدلال محبوب هوش مصنوعی ، R1 Deepseek و Openai’s O1 استفاده کردیم. گرچه Deepseek با بهره وری خیره کننده و مقرون به صرفه خود ، عناوینی را ایجاد کرد ، اما Upstart چینی راهی برای مطابقت با عملکرد استدلال Openai دارد.
صحت استنادها ارتباط زیادی با این دارد که آیا مدل AI در مورد اطلاعات در سطح جمله به جای پاراگراف یا سطح سند استدلال می کند. استنادهای سطح پاراگراف و اسناد را می توان به عنوان پرتاب یک بخش بزرگ از اطلاعات به یک مدل زبان بزرگ و درخواست از آن برای ارائه استنادهای بسیاری تصور کرد.
در این فرآیند ، مدل زبان بزرگ جملات فردی را بیش از حد و سوء استفاده می کند. کاربر با استنادهایی که کل پاراگراف یا سند را توضیح می دهد ، پایان می یابد ، نه اطلاعات نسبتاً ریز دانه در جمله.
علاوه بر این ، استدلال هنگامی که از مدل زبان بزرگ می خواهید یک سند کامل را بخوانید ، رنج می برد. این مدل ها بیشتر به الگوهای به خاطر سپردن متکی هستند که به طور معمول در شروع و انتهای متون طولانی تر از وسط پیدا می شوند. این امر درک کامل تمام اطلاعات مهم در طول یک سند طولانی را برای آنها دشوار می کند.
مدل های بزرگ زبان گیج می شوند زیرا پاراگراف ها و اسناد اطلاعات زیادی را در خود جای می دهند ، که این امر بر تولید استناد و روند استدلال تأثیر می گذارد. در نتیجه ، استدلال از مدل های بزرگ زبان در مورد پاراگراف ها و اسناد بیشتر شبیه خلاصه یا پاراگراف است.
استنادها و استدلال آزمایش
پس از انتشار Deepseek R1 در ژانویه 2025 ، ما می خواستیم دقت آن را در تولید استناد و کیفیت استدلال آن بررسی کنیم و آن را با مدل O1 OpenAi مقایسه کنیم. ما یک پاراگراف ایجاد کردیم که از منابع مختلف جملات داشته باشد ، از این پاراگراف جملات فردی به مدل ها می داد و از استناد و استدلال خواستار شد.
برای شروع آزمایش خود ، ما یک بستر آزمایشی کوچک از حدود 4،100 مقاله تحقیقاتی در حدود چهار موضوع اصلی ایجاد کردیم که مربوط به مغز انسان و علوم کامپیوتر است: نورون ها و شناخت ، تعامل انسان و رایانه ، بانک اطلاعاتی و هوش مصنوعی. ما مدل ها را با استفاده از دو اندازه گیری ارزیابی کردیم: نمره F-1 ، که اندازه گیری دقیق استناد ارائه شده و میزان توهم را اندازه گیری می کند ، که اندازه گیری استدلال مدل را اندازه گیری می کند-یعنی ، هر چند که یک پاسخ نادرست یا گمراه کننده ایجاد می کند.
آزمایش ما تفاوت عملکرد قابل توجهی بین OpenAi O1 و Deepseek R1 در حوزه های مختلف علمی را نشان داد. OPAI’s O1 به خوبی ارتباط بین موضوعات مختلف را انجام داد ، از جمله درک چگونگی تحقیق در مورد سلولهای عصبی و شناخت به تعامل انسان و رایانه و سپس به مفاهیم در هوش مصنوعی ، در حالی که دقیق باقی مانده است. معیارهای عملکرد آن به طور مداوم از Deepseek R1 در تمام مقوله های ارزیابی ، به ویژه در کاهش توهم و انجام موفقیت آمیز وظایف اختصاص یافته پیشی می گرفت.
Openai این مزیت را دارد
در معیارهای دیگر ، Deepseek R1 با Openai O1 در کارهای ریاضی ، برنامه نویسی و استدلال علمی به طور هم زمان اجرا می کند. اما تفاوت اساسی در معیار ما نشان می دهد که O1 اطلاعات قابل اطمینان تری را ارائه می دهد ، در حالی که R1 با قوام واقعی مبارزه می کند.

منبع: shafaghnews.com
theconversation





