Технозаметки Малышева

Forwarded from Анализ данных (Data analysis)

This media is not supported in your browser

SSoT: Sakana AI научила LLM быть по-настоящему случайными

Попросите любую LLM 100 раз «подбрось монету», и распределение орла и решки перекосится далеко от честных 50 на 50. Похожая история с «придумай 10 идей для романа»: вместо десяти разных сюжетов модель выдаёт десять вариаций одного и того же. Даже если явно передать ей вероятности, генерировать выборку, строго соответствующую распределению, у LLM получается плохо.

Японская лаборатория Sakana AI в новой статье «SSoT: Prompting LLMs for Distribution-Faithful and Diverse Generation», принятой на ICLR 2026, показывает, что эту проблему можно закрыть одним только промптом, без дообучения и без внешних генераторов случайных чисел.

Приём называется String Seed of Thought и устроен максимально просто: модель сначала генерирует у себя в «голове» случайную строку, а потом использует её как сид при формировании итогового ответа. Никаких внешних инструментов и случайных чисел извне не требуется, всё делается средствами самой LLM.

Авторы прогнали SSoT на широком наборе моделей, и картина получилась убедительная. Смещение выборки у открытых и закрытых LLM заметно уменьшается, а у части reasoning-моделей точность распределений почти неотличима от настоящего ГСЧ. Метод работает не только на бинарном выборе вроде монетки, но и на произвольных дискретных распределениях.

SSoT резко повышает разнообразие генерации в задачах, где важна креативность. В экспериментах с написанием коротких художественных текстов добавление одной строчки SSoT в промпт ощутимо увеличивает разнообразие выходных документов, не ломая их качества. То есть один и тот же трюк одновременно чинит и «честную случайность», и типичную проблему с однообразными идеями.

Для AI-инженеров это интересно по нескольким причинам. SSoT можно воспринимать как дешёвый кирпич для построения продакшен-систем на LLM: там, где раньше приходилось прикручивать внешние сэмплеры или городить костыли, чтобы модель не залипала в одном и том же ответе, теперь иногда достаточно грамотно оформленного промпта. Sakana AI прямо называет SSoT базовой техникой для будущих подходов к inference-time scaling, интеграции LLM в реальные пайплайны и для задач, где нужны честные выборки из распределений.

Подробный разбор механизма, теоретический анализ и интерактивное демо лежат в блоге и в статье на arXiv.

Блог: https://pub.sakana.ai/ssot

Статья: https://arxiv.org/abs/2510.21150

1🔥9🤔7⚡2❤1

1.47K views06:46