Zer0Kernel Security Community — 🧠 Обсуждение нейросетей

Базовый цикл рассуждения​

1. Рассуждение (Thought) — модель анализирует текущее состояние, определяет, что нужно сделать дальше.
   
2. Действие (Action) — модель выбирает инструмент и формирует вызов с конкретными аргументами.
   
3. Наблюдение (Observation) — результат выполнения инструмента возвращается в контекст модели.
   

┌─────────────────────────────────────────────┐
│  Задача (user query)                        │
└──────────────────┬──────────────────────────┘
                   ▼
┌─────────────────────────────────────────────┐
│  Рассуждение: что делать дальше?            │
└──────────────────┬──────────────────────────┘
                   ▼
┌─────────────────────────────────────────────┐
│  Действие: вызов инструмента                │
└──────────────────┬──────────────────────────┘
                   ▼
┌─────────────────────────────────────────────┐
│  Наблюдение: результат инструмента          │
└──────────────────┬──────────────────────────┘
                   │
                   ▼
          Задача решена? ──Нет──→ вернуться к «Рассуждение»
                   │
                  Да
                   ▼
              Финальный ответ

Что решает выравнивание​

• Полезность — ответ решает задачу пользователя.
  
• Безопасность — модель отказывается от вредных запросов, не генерирует опасные инструкции.
  
• Честность — модель не выдумывает факты, признаёт неопределённость.
  
• Стиль — ответы соответствуют формату и тону, ожидаемому от ассистента.
  

Классический RLHF: три этапа​

Этап 1. Сбор данных предпочтений​

Этап 2. Обучение reward-модели (RM)​

L_RM = -log σ(r(x, y_w) - r(x, y_l))

Механика: зачем нужен кэш​

• Prefill — обработка всего входного промпта за один проход. Вычисления ограничены производительностью GPU (compute-bound), память кэша заполняется целиком.
  
• Decode — генерация по одному токену за шаг. Каждый шаг требует чтения всего накопленного KV cache из памяти, поэтому фаза ограничена пропускной способностью памяти (memory-bound).
  

Формула размера​

KV_cache_bytes = 2 × num_layers × num_kv_heads × head_dim × seq_len × bytes_per_element

• 2 — хранятся и K, и V
  
• num_layers — число transformer-слоёв
  
• num_kv_heads — число голов K/V (при GQA/MQA меньше числа Q-голов)
  
• head_dim — размерность одной головы (обычно 128)...

Как устроен MoE-слой​

• Dense MoE — все эксперты активируются для каждого входа. Ёмкость растёт, но и вычисления растут пропорционально.
  
• Sparse MoE — для каждого токена выбирается только подмножество экспертов (обычно K из E). Именно этот вариант даёт выигрыш в эффективности.
  

Почему sparse MoE экономит вычисления​

• Общее число параметров модели — около 47 миллиардов.
  
• Активных параметров на один токен — примерно 12,9 миллиарда...

Что такое function calling и зачем он нужен​

Цикл рассуждение–действие–наблюдение​

1. Рассуждение (Reasoning). Модель анализирует запрос пользователя и определяет, какое действие нужно выполнить.
   
2. Действие (Action). Модель генерирует структурированный вызов: имя функции и аргументы в формате JSON. Генерация останавливается.
   
3. Наблюдение (Observation). Внешний код выполняет вызов и возвращает результат модели. Модель продолжает генерацию с учётом полученного результата.
   

Роли сообщений в диалоге с function calling​

[
  {
    "role": "user",
    "content": "Каков статус моей транзакции T1001?"
  },
  {
    "role": "assistant",
    "content": "",
    "function_call": {
      "name": "retrieve_payment_status",
      "arguments": "{\"transaction_id\": \"T1001\"}"
    }
  },
  {
    "role": "tool"...

«Я не могу помочь с этим запросом...»

Нажмите, чтобы раскрыть...

«Я не могу предоставить такую информацию...»

Нажмите, чтобы раскрыть...

• что именно делает Heretic;
• какое железо потребуется;
• какой формат модели нужен;
• как установить Heretic;
• как обработать Qwen3;
• что делать при нехватке VRAM;
• как выбрать результат;
• как дополнительно адаптировать обработку под русский язык;
• как проверить, что модель действительно стала лучше, а не просто перестала писать слово «не могу»;
• как затем сделать GGUF для Ollama или LM Studio.

good prompts

bad prompts

Прямой ответ: что такое галлюцинация и почему она возникает​

Механизмы галлюцинаций на разных уровнях​

Обучение: сжатие, конфликты и временной срез​

• Конфликт источников. Если в обучающих данных одно утверждение встречается чаще другого (даже если второе верное), модель склонна воспроизводить более частотный вариант. Частотность в корпусе не равна истинности.
  
• Разреженность знаний. Для узкоспециальных тем — редкие CVE, внутренние API, локальные нормативные акты — модель видела мало примеров и вынуждена интерполировать. Интерполяция между далёкими точками часто даёт бессмысленный результат.
  
• Временной срез. Обучение завершается на определённой дате. Всё, что произошло после, модели неизвестно, но она может генерировать правдоподобные, но вымышленные события, «заполняя» пробел после cutoff.
  
• Сжатие с потерями. Модель с конечным числом параметров не способна точно запомнить весь корпус. Она хранит сжатое представление, и при извлечении редких или детальных фактов точность падает.
  

Декодирование: как параметры сэмплирования влияют на...​

Что такое prompt engineering и почему он вообще нужен​

Системный промпт: роль, формат, ограничения​

Что стоит включать в системный промпт​

• Роль и экспертиза. Указание, кем модель должна себя считать: «Ты — технический редактор», «Ты — senior DevOps-инженер». Это задаёт регистр, глубину и терминологию.
  
• Формат ответа. Явное указание: «Отвечай в формате JSON», «Используй Markdown-таблицы», «Не более трёх абзацев».
  
• Ограничения. Чего делать нельзя: «Не выдумывай источники», «Не давай медицинских рекомендаций», «Если не знаешь — скажи об этом».
  
• Стиль и тон. «Пиши кратко», «Избегай канцелярита», «Обращайся на ты».
  

Типичные ошибки в системных промптах​

Почему генерация токенов — узкое место инференса​

Основная идея: черновик и верификация​

1. Черновая модель (draft model) генерирует K токенов автодополнением. Это маленькая модель с тем же токенизатором, работающая значительно быстрее целевой.
   
2. Целевая модель (target model) выполняет один прямой проход по всем K черновым токенам параллельно — как если бы это был промпт.
   
3. Верификация: для каждой позиции сравнивается распределение вероятностей целевой модели с распределением черновой. Токены принимаются или отклоняются по правилу, которое гарантирует, что итоговое распределение в точности совпадает с распределением целевой модели при обычном автодополнении.
   
4. Принятые токены добавляются в вывод. На первой позиции, где токен отклонён, целевая модель сэмплирует корректный токен из скорректированного распределения.
   

Математика...​