коллеги из MIT сделали интересное исследование - факторный анализ, откуда берется качество современных LLM; они рассмотрели 3 фактора - масштабирование вычислительных ресурсов, общий алгоритмический прогресс и частный алгоритмический прогресс, характерный для конкретной компании (1 картинка)

сама по себе методология вызывает некоторые вопросы - они делают регрессию на качество в бенчмарке MMLU и в качестве значимости факторов берут веса из регрессии, но за неимением гербовой, пишем на обычной, других исследований все равно нет; отдельно отмечу то, что примерно половина качества моделей не объясняется (model effects)

на 2 картинке пример того, какие выводы можно сделать при сравнении двух моделей; на 3 картинке - на мой взгляд самое интересное, наглядно показано, как уменьшаются затрачиваемые ресурсы для достижения фиксированного качества; тут важно сделать замечание, что с течением времени бенчмарки просто выучиваются, этот эффект нужно бы отделить от алгоритмического прогресса

@valuableai

коллеги прислали ссылку на статью из журнала "Природа" Nature, которая посвящена тому, чтобы обучить LLM рассуждать байесовски; тут надо сделать отступление и пояснить, что это такое, а то не все в курсе; байесовское принятие решений - это когда субъект делает вероятностное суждение об объекте: например, вдалеке видно какое-то животное, можно предположить, что это скорее всего собака, но может быть и волк (1 картинка)

важно отметить, что а) люди в среднем без специального обучения так рассуждать не умеют, про это написано много литературы, б) как следствие, LLM тоже не умеют; так вот коллеги придумали, как их обучить (2 картинка); интересно, что байесовские рассуждения распространяются за пределы обучаемого домена, то есть модели реально выучивают этот навык

но самый большой недостаток статьи на мой взгляд раскрывает 3 картинка - при взаимодействии с реальным пользователем улучшения против необученной LLM нет; это возвращает нас к началу - люди байесовски думать не умеют и не могут

@valuableai

сегодня я хочу рассказать про нашу статью Call, Reward, Repeat: Advancing Dialog State Tracking with GRPO and Function Calling; благо есть повод - на EACL SRW она получила награду Outstanding paper

суть работы довольно простая, но сначала надо сделать отступление и рассказать про саму задачу DST - Dialogue State Tracking; идея в том, что при общении с пользователем диалоговая система должна хранить полученные данные, чтобы выполнить потребность пользователя (1 картинка)

еще до нас придумали, что это можно сделать с помощью LLM и function calling; наша инновация заключается в применении к этому процессу GRPO, что позволяет добиваться хороших результатов при небольшом объеме данных, которые для диалогов всегда были проблемой (2 и 3 картинки)

пользуясь случаем, хочу поздравить своих соавторов - Тимура и Аню #моистатьи

@valuableai

вышла интересная работа от коллег внезапно из Сан-Диего, там они искали визуальные соответствия в эфиопском алфавите (точнее там буквенно-слоговая письменность) и армянском и грузинском алфавитах (2 картинка)

вообще сходство данных систем письма уже давно подмечено, но тут подошли с нашей датасайентисткой точки зрения; обучили CNN-ку (2 картинка) классифицировать знаки эфиопского письма, а потом стали через нее прогонять знаки армянской и грузинской письменностей, получили довольно убедительные показатели сходства (3 картинка)

не первый раз, кстати, такое происходит, недавно была статья про OCR для древнеегипетских иероглифов, так что этот наш датасайенс приносит пользу человечеству

@valuableai

наткнулся на статью (она за пейволлом, осуждаем), в которой предложен простенький концепт: давайте роботы не будут повторять действия один-в-один, а будут пытаться выполнить высокоуровневую задачу; например, взять со стола скотч и принести человку, неважно, как именно взять и как именно нести; все видосы как раз про это

для того, чтобы высокоуровнево описать действия и поставить задачу используют ChatGPT; так что ИИ уже ставит задачи роботам, имейте в виду

@valuableai