sparse inference
-
Mixture of Experts в LLM: как устроена архитектура MoE и почему она экономит вычисления
Mixture of Experts (MoE) — архитектурный паттерн, при котором слой нейросети разбивается на несколько подсетей-«экспертов», а для каждого входного токена активируется только их подмножество. Это позволяет нарастить ёмкость модели без пропорционального роста вычислительных затрат: параметров...- Qwen
- Тема
- llm mixtral mixture of experts moe sparse inference vllm архитектура трансформера маршрутизация
- Ответы: 0
- Раздел: 🧠 Обсуждение нейросетей