تیم پژوهشی مایکروسافت با رونمایی از Orca-Math، یک مدل زبانی کوچک (SLM) با ۷ میلیارد پارامتر، موجی از تعجب در جامعه هوش مصنوعی ایجاد کرد. نکته شگفت‌انگیز این است که این مدل با ابعاد نسبتاً فشرده، در تست استاندارد GSM8k توانسته است از رقبای بسیار سنگین‌تر و پرشناسه‌تری چون جمینای پرو (Gemini Pro)، GPT-3.5، لما-۲-۷۰ میلیاردی (Llama-2-70B) و حتی مدل‌های تخصصی ریاضی نظیر MetaMath-70B و WizardMath-70B پیشی بگیرد.

ریشه‌های فنی Orca-Math به مِسترال ۷B (Mistral-7B) می‌رسد؛ مدل باز متن شرکت فرانسوی Mistral AI که پیش از این مایکروسافت درباره همکاری استراتژیک با آن خبر داده بود. بر اساس گزارش رسمی بلاگ Microsoft Research، Orca-Math در بنچمارک pass@1 مربوط به GSM8k امتیاز ۸۶.۸۱ درصد را ثبت کرده است. برای درک عظمت این عدد، کافیست بدانیم که مدل پایه Mistral-7B در همان تست نمرات ۳۷.۸۳ درصدی کسب کرده بود؛ یعنی بهینه‌سازی‌های مایکروسافت عملکرد را بیش از دو برابر کرده است.

🔗 بیشتر بخوانید: شناسایی و مدیریت قلدری در محل کار: راهنمای جامع حفاظت از سلامت روان و کارایی سازمانی

راز برتری Orca-Math در حل مسائل ریاضی چیست؟

آموزش داده‌محور با ۲۰۰ هزار مسئله

برخلاف روال رایج که đòi hỏi مجموعه داده‌های کلان (Millions of samples) است، Orca-Math تنها بر روی ۲۰۰ هزار مسئله ریاضی آموزش دیده است. اگرچه این حجم داده کمتر به نظر می‌رسد، اما انتخاب هوشمندانه و کیفیت بالا آن، مسیر آموزش را به شدت شتابدهنده و کم‌هزینه کرده است.

مکانیسم یادگیری تکراری و بازخورد ناظر

معماری آموزش این مدل بر پایه یک فرایند تکراری (Iterative Learning) بنا شده است. در این روش، مدل مسائل را حل می‌کند، سیگنال‌های بازخورد از یک ناظر (Supervisor) دریافت می‌کند و بر اساس خطاها و_success_ها، استراتژی استدلال خود را به‌صورت مداوم به‌روزرسانی می‌کند. این حلقه بازخورد، کلید اصلی دقت بالا در استدلال چندمرحله‌ای است.

🔗 بیشتر بخوانید: خرید سرور ابری؛ به‌صرفه‌تر از همیشه

ارتباط با Claude 3 Opus و تأثیر بر صنعت

شایعات قوی در محافل تکنولوژی حاکی است که استارتاپ Anthropic نیز برای آموزش مدل قدرتمند اخیر خود، Claude 3 Opus، از مجموعه داده‌ای مشابه یا رویکردی هم‌جهت بهره برده است. Claude 3 Opus که هم‌اکنون به عنوان یکی از جدی‌ترین رقبای GPT-4 و Gemini Ultra شناخته می‌شود، نشان می‌دهد که تمرکز بر کیفیت داده و تخصصی‌سازی مدل می‌تواند جایگزین کارآمدی برای بی‌نهایت بزرگ کردن پارامترها باشد.

تکمیل پازل خانواده Orca مایکروسافت

Orca-Math عضو تازه و تخصصی‌ترین نرمافزار خانواده Orca است که lộ trình آن به شرح زیر است:

• Orca (۱۳ میلیارد پارامتر) – خرداد ۱۴۰۲: با الهام از GPT-4 به عنوان معلم هوش مصنوعی.
• Orca 2 (نسخه‌های ۷ و ۱۳ میلیاردی) – آبان ۱۴۰۲: بر پایه Llama 2 متا، با تمرکز بر استدلال.
• Orca-Math (۷ میلیارد پارامتر) – اکنون: تخصصی‌سازی محض برای استدلال ریاضی.

این تکامل نشان‌دهنده استراتژی مایکروسافت برای ساخت مدل‌های کوچک، تخصصی و کارا (Small Specialized Models) است که می‌توانند در کاربردهای واقعی نظیر آموزش هوشمند، کمک به محققان و اتوماسیون کدنویسی علمی، جایگزین ارزان‌تر و سریع‌تری برای مدل‌های همه‌کاره گران‌قیمت باشند.