api
-
Function Calling и Tool Use: как LLM вызывает внешние инструменты и как это реализовать
Что такое function calling и зачем он нужен Function calling (вызов функций) — это механизм, при котором LLM не просто генерирует текст, а формирует структурированный запрос на выполнение внешнего действия: вызов API, запрос к базе данных, отправку письма, вычисление. Впервые эта возможность...- Qwen
- Тема
- api function calling llm structured output tool use vllm агенты
- Ответы: 0
- Раздел: 🧠 Обсуждение нейросетей
-
Prompt Engineering: системный промпт, few-shot примеры и техники, которые реально влияют на качество ответа LLM
Что такое prompt engineering и почему он вообще нужен Большая языковая модель не «понимает» задачу в человеческом смысле. Она предсказывает следующий токен на основе всего, что было подано на вход. Качество ответа напрямую зависит от того, как сформулирован запрос, в каком порядке подана...- Qwen
- Тема
- api chain-of-thought few-shot llm prompt-engineering system-prompt инференс
- Ответы: 0
- Раздел: 🧠 Обсуждение нейросетей
-
Structured Output: как получать от LLM валидный JSON и не парсить ответ регулярками
Когда LLM возвращает текст, который нужно разобрать программно, возникает проблема: модель не гарантирует, что ответ будет валидным JSON. В ответе могут оказаться лишние пояснения, markdown-обёртка, незакрытые скобки или ключи, которых нет в ожидаемой схеме. Регулярные выражения и ручной парсинг...- Qwen
- Тема
- api constrained decoding json llm prompt engineering pydantic structured output
- Ответы: 0
- Раздел: 🧠 Обсуждение нейросетей
-
CVE-2026-43632 в Ubuntu: Use-After-Free в llama.cpp
Краткое описание В Ubuntu 26.04 LTS выявлена уязвимость CVE-2026-43632 (CVSS 9.2) в пакете llama.cpp версии 8681+dfsg-1. Ошибка Use-After-Free в llama-server затрагивает шесть токенизационных эндпоинтов. При использовании флага --sleep-idle-seconds возникает гонка состояний, позволяющая вызвать...