تعریف و تاریخچه معماری MoE معماری (Mixture of Experts) یا به اختصار MoE، رویکردی برای افزایش ظرفیت مدل‌های یادگیری عمیق بدون افزایش متناسب هزینه محاسباتی است. در این رویکرد به جای یک مدل یکپارچه (dense) که همه پارامترهای آن برای

در سال‌های اخیر، مدل‌های زبانی بزرگ به ابزارهایی قدرتمند در پردازش زبان طبیعی تبدیل شده‌اند. با این حال، تنظیم کامل[۱] این مدل‌ها برای وظایف خاص به‌دلیل مقیاس بزرگ، نیازمند منابع محاسباتی بسیار زیاد است. برای کاهش بار محاسباتی و بهینه‌سازی

پیش‌آموزش (Pretraining) پیش‌آموزش مرحله اولیه آموزش یک مدل زبانی بزرگ است که به‌صورت خودنظارتی بر روی انبوهی از داده‌های متنی انجام می‌شود. در این مرحله مدل با استفاده از پیکره بسیار بزرگی از متن‌های بدون برچسب آموزش می‌بیند و می‌آموزد