что-то тема AGI людей не отпускает, вот и DeepMind выкатил свой тест когнитивных способностей (1 и 2 картинки); точнее не сам тест, а скорее свои пожелания к тому, как он должен выглядеть

на мой взгляд, этот подход является шагом назад по сравнению с подходом, изложенным новой "бандой четырех" во главе с Яном Лекуном; мы его разбирали на Капитанском мостике неделю назад, но на всякий случай еще раз (3 картинка): человеческий разум никогда не был универсальным, он четко заточен под определенные задачи (найти еду и не быть съеденным), все определения AGI - неточны, т.к. этот фундаментальный факт игнорируют; вместо поиска AGI надо сосредоточиться на создании полезного ИИ; как вы уже догадались, второй подход мне ближе

@valuableai

сегодня мое любимое - про RNN-ки; недавно вышла статья от коллег из Колумбийского университета и IBM Research, где показывается, что можно предсказывать ЭЭГ лучше, если использовать распознавание речи (1 картинка - обзор)

звучит загадочно, но суть простая взяли ЭЭГ и проверили, что с разных регионов мозга можно снимать сигналы коррелириующие с разными аспектами распознавания речи (2 картинка); сделали 7-слойную модель ASR и показали, что слои тоже примерно также коррелируют (3 картинка), а также коррелируют между собой (1 картинка G)

я не особо проникся аргументацией, но сама постановка задачи интересная; похоже, пора вводить новый тег #нейронаука

@valuableai

коллеги из MIT сделали интересное исследование - факторный анализ, откуда берется качество современных LLM; они рассмотрели 3 фактора - масштабирование вычислительных ресурсов, общий алгоритмический прогресс и частный алгоритмический прогресс, характерный для конкретной компании (1 картинка)

сама по себе методология вызывает некоторые вопросы - они делают регрессию на качество в бенчмарке MMLU и в качестве значимости факторов берут веса из регрессии, но за неимением гербовой, пишем на обычной, других исследований все равно нет; отдельно отмечу то, что примерно половина качества моделей не объясняется (model effects)

на 2 картинке пример того, какие выводы можно сделать при сравнении двух моделей; на 3 картинке - на мой взгляд самое интересное, наглядно показано, как уменьшаются затрачиваемые ресурсы для достижения фиксированного качества; тут важно сделать замечание, что с течением времени бенчмарки просто выучиваются, этот эффект нужно бы отделить от алгоритмического прогресса

@valuableai

коллеги прислали ссылку на статью из журнала "Природа" Nature, которая посвящена тому, чтобы обучить LLM рассуждать байесовски; тут надо сделать отступление и пояснить, что это такое, а то не все в курсе; байесовское принятие решений - это когда субъект делает вероятностное суждение об объекте: например, вдалеке видно какое-то животное, можно предположить, что это скорее всего собака, но может быть и волк (1 картинка)

важно отметить, что а) люди в среднем без специального обучения так рассуждать не умеют, про это написано много литературы, б) как следствие, LLM тоже не умеют; так вот коллеги придумали, как их обучить (2 картинка); интересно, что байесовские рассуждения распространяются за пределы обучаемого домена, то есть модели реально выучивают этот навык

но самый большой недостаток статьи на мой взгляд раскрывает 3 картинка - при взаимодействии с реальным пользователем улучшения против необученной LLM нет; это возвращает нас к началу - люди байесовски думать не умеют и не могут

@valuableai

сегодня я хочу рассказать про нашу статью Call, Reward, Repeat: Advancing Dialog State Tracking with GRPO and Function Calling; благо есть повод - на EACL SRW она получила награду Outstanding paper

суть работы довольно простая, но сначала надо сделать отступление и рассказать про саму задачу DST - Dialogue State Tracking; идея в том, что при общении с пользователем диалоговая система должна хранить полученные данные, чтобы выполнить потребность пользователя (1 картинка)

еще до нас придумали, что это можно сделать с помощью LLM и function calling; наша инновация заключается в применении к этому процессу GRPO, что позволяет добиваться хороших результатов при небольшом объеме данных, которые для диалогов всегда были проблемой (2 и 3 картинки)

пользуясь случаем, хочу поздравить своих соавторов - Тимура и Аню #моистатьи

@valuableai