ускорение генерации

Почему генерация токенов — узкое место инференса Автодополнение в больших языковых моделях работает последовательно: каждый новый токен зависит от всех предыдущих. На этапе декодирования модель обрабатывает по одному токену за шаг, и вычислительная мощность GPU используется лишь на малую долю —...