vllm

Мультимодальная LLM принимает на вход не только текст, но и изображения, а отвечает связным текстом. Внутри это не магия и не «модель, которая видит», а конвейер из трёх компонентов: vision-энкодера, проекционного слоя и языковой модели. Каждый выполняет свою роль, и понимание этой связки...

KV cache — это буфер в GPU-памяти, где хранятся уже вычисленные проекции Key и Value для предыдущих токенов. Без него autoregressive генерация была бы квадратичной по вычислениям: на каждом шаге пришлось бы заново прогонять весь контекст через все слои attention. Механика: зачем нужен кэш В...

Mixture of Experts (MoE) — архитектурный паттерн, при котором слой нейросети разбивается на несколько подсетей-«экспертов», а для каждого входного токена активируется только их подмножество. Это позволяет нарастить ёмкость модели без пропорционального роста вычислительных затрат: параметров...

Что такое function calling и зачем он нужен Function calling (вызов функций) — это механизм, при котором LLM не просто генерирует текст, а формирует структурированный запрос на выполнение внешнего действия: вызов API, запрос к базе данных, отправку письма, вычисление. Впервые эта возможность...

Почему генерация токенов — узкое место инференса Автодополнение в больших языковых моделях работает последовательно: каждый новый токен зависит от всех предыдущих. На этапе декодирования модель обрабатывает по одному токену за шаг, и вычислительная мощность GPU используется лишь на малую долю —...

Когда модель не помещается на одну GPU Современные LLM с десятками и сотнями миллиардов параметров требуют десятков гигабайт памяти только для весов. Если модель не помещается в VRAM одной видеокарты, есть два основных пути: квантование (уменьшение точности весов) или распределение модели по...

Зачем нужен OpenAI-compatible сервер Большинство приложений, агентов и библиотек уже умеют работать с OpenAI API: они формируют запросы к /v1/chat/completions, передают model, messages, temperature и ожидают стандартный JSON-ответ. vLLM реализует тот же HTTP-интерфейс локально, поэтому...

Что делает Automatic Prefix Caching При инференсе LLM каждый входной токен проходит через все слои модели, и на каждом слое вычисляются пары key-value (KV), которые сохраняются в KV cache. Если два запроса начинаются с одинакового префикса — например, содержат один и тот же системный промпт или...

Что делает квантизация Квантизация снижает требования к памяти при загрузке и инференсе модели за счёт хранения весов в формате с меньшей точностью. Исходно веса хранятся в full-precision (fp32), но уже half-precision (fp16 или bf16) стал стандартом для большинства современных LLM. Квантизация...

Токен как единица контекста Языковая модель не работает с текстом как с последовательностью символов. Перед подачей в модель текст разбивается на токены — минимальные единицы, которые модель воспринимает и генерирует. Токенизация выполняется препроцессором, который входит в определение модели...

Введение Локальный запуск языковых моделей (LLM) требует тщательного планирования ресурсов, особенно объема видеопамяти (VRAM). Современные модели, такие как Llama-3.3-70B или Qwen-VL-72B, могут потреблять несколько гигабайт VRAM, что делает важным понимание того, как именно память используется...

Что такое RAG? RAG (Retrieval-Augmented Generation) — это архитектура, которая сочетает возможности поиска информации и генерации текста. Она позволяет языковым моделям (LLM) использовать внешние данные для формирования ответов, что значительно повышает точность и релевантность. В отличие от...