Интересная штука, о которой я раньше не думал.
В интернете полно правильных решений задач, но практически нет описания тупиковых рассуждений, решений, которые привели людей к правильным решениям. Может быть ты попробовал 100 путей, только один привел к цели, и ты его опубликовал. Модель узнает только его, поэтому у нее будут проблемы с решением сложных задач, она будет всегда цепляться за свое. Из-за этого приходится отдельно учить модели рассуждать и выходать из тупиковых путей решений. Пятиться, короче.
Узнал из Arxiv:2503.01307v2
В интернете полно правильных решений задач, но практически нет описания тупиковых рассуждений, решений, которые привели людей к правильным решениям. Может быть ты попробовал 100 путей, только один привел к цели, и ты его опубликовал. Модель узнает только его, поэтому у нее будут проблемы с решением сложных задач, она будет всегда цепляться за свое. Из-за этого приходится отдельно учить модели рассуждать и выходать из тупиковых путей решений. Пятиться, короче.
Узнал из Arxiv:2503.01307v2
🔥4❤1👍1
Ну как так вообще, только я решил уже начать писать статью и вот опять какую-то необъяснимаю хрень нашел.
Все дело в том, что я ошибся считая DeepSeek V3 думающей моделью, а она нет. Это означает, что я могу втупую достать оттуда вероятности действий в покере*. Что я и сделал, без уточнения против кого он играет для девятки и семерки бубен он мне выдал:
Fold : 0.002329
Call : 0.047507
Ra** : 0.950255
Все бы хорошо, но дело в том, что я уже запускал эту модель 1000 раз с теми же параметрами и получил другие вероятности!
Fold : 44.2%
Call: 12.1%
Raise: 43.5%
Хрень какая-то :(((
Написал в поддержку хосту.
--------
*У думающей есть прослойка рассуждений, которая не позволяет это сделать:
Обычная модель:
Запрос->ответ, начинающийся со слова, которое вычисляется по вероятностям, которые точно определены запросом. Т.е. чтобы определеть вероятности действия достаточно модели и запроса.
Думающая модель:
Запрос->скрытые рассуждения->ответ. И вот здесь вероятностное первое слово в скрытом рассуждение и пользы от него никакой.
--------
**Ra а не Raise потому, что эта модель воспринимает слово Raise как два Ra+ise. Это нормальная история для редких слов. В действительности она видит не слова, а токены. Для популярных слов слово=токен, а вот для редких нет.
Все дело в том, что я ошибся считая DeepSeek V3 думающей моделью, а она нет. Это означает, что я могу втупую достать оттуда вероятности действий в покере*. Что я и сделал, без уточнения против кого он играет для девятки и семерки бубен он мне выдал:
Fold : 0.002329
Call : 0.047507
Ra** : 0.950255
Все бы хорошо, но дело в том, что я уже запускал эту модель 1000 раз с теми же параметрами и получил другие вероятности!
Fold : 44.2%
Call: 12.1%
Raise: 43.5%
Хрень какая-то :(((
Написал в поддержку хосту.
--------
*У думающей есть прослойка рассуждений, которая не позволяет это сделать:
Обычная модель:
Запрос->ответ, начинающийся со слова, которое вычисляется по вероятностям, которые точно определены запросом. Т.е. чтобы определеть вероятности действия достаточно модели и запроса.
Думающая модель:
Запрос->скрытые рассуждения->ответ. И вот здесь вероятностное первое слово в скрытом рассуждение и пользы от него никакой.
--------
**Ra а не Raise потому, что эта модель воспринимает слово Raise как два Ra+ise. Это нормальная история для редких слов. В действительности она видит не слова, а токены. Для популярных слов слово=токен, а вот для редких нет.
🤯2💔1
Так, ну вроде разобрался, оказывается если запростить у модели вот эти вероятности несколько раз, но она выдает разные 😢. Видимо, объяснение заключается в том, что высчитывая их она прогоняет промпт через множество слоев, в каждом из которых проходит множество арифметических операций с ограниченной точностью, ошибка накапливается, в результате в конце разные числа. Охохо.
Вот так вот и выкидывается две недели работы на помойку. Нормальная практика.
🫡3
Сегодня копал глубже в эту проблему с вероятностями.
Решил запустить большую статистику и построить зависимость выдаваемых ответов от времени исполнения запроса сервером (latency). И я обнаружил не хилую такую корреляцию! См. график. В меру моего понимания рабочая гипотеза такая:
Серверы работают на видеокартах, работа модельки - это умножение огромного количества матриц (таблиц чисел) одна за одной. Видеокарты умеют это делать в параллель, поэтому одна видеокарта умножает одновременно матрицы сразу для многих запросов. Все хорошо, пока запросов много.
Артефакты появляются, когда мало. Предположим видеокарта может обрабатывать 10 запросов, а приходит 1, если делать "честно", то она будет использоваться на 10%, а жрать энергию на все 100%, не выгодно. Поэтому там встроены методы оптимизации, которые каким-то хитрым образом (я не шарю) деляют эту задачу на 10 частей, чтобы в итоге посчитать быстрее. Проблема возникает от того, что в конце надо эти десять частей (условно, я хз, что там конкретно происходит) сложить. Тут вмешивается ограниченная точность математических операций вычисленных на компьютере (операции с числами с плавающей точкой).
Грубо, если считать честно, то в конце получается число от умножения матриц. Если разделить на подзадачи, то это число получается из суммы решений подзадач, где внедряется неточность! И эти неточности суммируются на каждом уровне нейронки в результате выдавая другой ответ!
Эффект описан вот в этом блоге ... но я не шарю в устройстве видеокарт, чтобы его понять, так что я попросил Клода мне объяснить и это мое понимание.
Отправил эти результаты в поддержку, ждемс.
Решил запустить большую статистику и построить зависимость выдаваемых ответов от времени исполнения запроса сервером (latency). И я обнаружил не хилую такую корреляцию! См. график. В меру моего понимания рабочая гипотеза такая:
Серверы работают на видеокартах, работа модельки - это умножение огромного количества матриц (таблиц чисел) одна за одной. Видеокарты умеют это делать в параллель, поэтому одна видеокарта умножает одновременно матрицы сразу для многих запросов. Все хорошо, пока запросов много.
Артефакты появляются, когда мало. Предположим видеокарта может обрабатывать 10 запросов, а приходит 1, если делать "честно", то она будет использоваться на 10%, а жрать энергию на все 100%, не выгодно. Поэтому там встроены методы оптимизации, которые каким-то хитрым образом (я не шарю) деляют эту задачу на 10 частей, чтобы в итоге посчитать быстрее. Проблема возникает от того, что в конце надо эти десять частей (условно, я хз, что там конкретно происходит) сложить. Тут вмешивается ограниченная точность математических операций вычисленных на компьютере (операции с числами с плавающей точкой).
Грубо, если считать честно, то в конце получается число от умножения матриц. Если разделить на подзадачи, то это число получается из суммы решений подзадач, где внедряется неточность! И эти неточности суммируются на каждом уровне нейронки в результате выдавая другой ответ!
Эффект описан вот в этом блоге ... но я не шарю в устройстве видеокарт, чтобы его понять, так что я попросил Клода мне объяснить и это мое понимание.
Отправил эти результаты в поддержку, ждемс.
👀5🤯2👍1
Хммм, предыдущий результат был получен для Дипсика V3, теперь я решил проверить маленькие Qwen 2.5 (Алибаба) и LLama 3.1 (экстремистская Мета) и там нет такого эфекта! Гипотеза - их просто никто кроме ресерчеров не использует, так как они тупые, поэтому серверы всегда не загружены (латенси от 0.4 до 1 сек). Хз, короче.
Вчера после копания в логах пришлось отказаться от использоваться алибибашного Квена 2.5 7b (это кол-во параметров), так как он постоянно писал Call 3bb (это бред, Call - приравнять ставки, а 3bb поднять в три раза).
Сегодня перешел на больший Квен 2.5 72b.
Тем временем больший Квен: Call 若要保持牌局的复杂性并避免在不利位置过度投资，用这...
Сегодня перешел на больший Квен 2.5 72b.
Тем временем больший Квен: Call 若要保持牌局的复杂性并避免在不利位置过度投资，用这...
😁4🤪1
Я тут посмотрел, как играют иишки в мафию, и пришла идея, а не сделать ли на базе этой игры исследование того, как хороши модели в манипуляции и лжи людям, а так же в детектирование этих эффектов направленных на них.
Сейчас уже есть исследования, где они играют сами с собой, но это не интересно, честно говоря, да и отдельную модель не выделишь нормально. А я хочу, чтобы они играли именно с людьми, но для этого придется запилить прям прикольный продукт, чтобы людям нравилось играть с моделями! Минус таких игр, что они будет текстовыми, что, конечно, хуже, чем вживую.
В общем, мне нужна ваша помощь:
Во-первых, хочу сделать тестовый запуск, где я буду просто копировать ваши реплики в чат модели, а потом собрать с вас обратную связь. Проходить все будет в чате в тг. Отдельный чат для мафий. Нужно 7 человек, записывайтесь в комментариях. Один вариант, это выделить условно два часа и интенсивно переписываться, другой, это просто отвечать по мере возможности и игра будет длиться пару дней. Решим как удобней.
Если тестовые игры пройдут хорошо, то нужно будет создать платформу (сервер+визуал), чтобы это все было автоматически, нужна команда, тоже пишите, если интересно поучаствовать.
Как минимум будет весело, как максимум еще и публикацию сделаем.
Сейчас уже есть исследования, где они играют сами с собой, но это не интересно, честно говоря, да и отдельную модель не выделишь нормально. А я хочу, чтобы они играли именно с людьми, но для этого придется запилить прям прикольный продукт, чтобы людям нравилось играть с моделями! Минус таких игр, что они будет текстовыми, что, конечно, хуже, чем вживую.
В общем, мне нужна ваша помощь:
Во-первых, хочу сделать тестовый запуск, где я буду просто копировать ваши реплики в чат модели, а потом собрать с вас обратную связь. Проходить все будет в чате в тг. Отдельный чат для мафий. Нужно 7 человек, записывайтесь в комментариях. Один вариант, это выделить условно два часа и интенсивно переписываться, другой, это просто отвечать по мере возможности и игра будет длиться пару дней. Решим как удобней.
Если тестовые игры пройдут хорошо, то нужно будет создать платформу (сервер+визуал), чтобы это все было автоматически, нужна команда, тоже пишите, если интересно поучаствовать.
Как минимум будет весело, как максимум еще и публикацию сделаем.
F*ck, ну и как вообще заниматься воспроизводимыми исследованиями? Одна и та же ситуация, одна и та же модель (DeepSeek-V3-0324), один и тот же код - два разные API провайдеры (разные компании, на серверах которых сидит модель) - РАЗНОЕ ПОВЕДЕНИЕ!
p.s. ну здесь, конечно, надо иметь ввиду, что я исследую крайний "нестабильный" случай, в котором модели постоянно коллеблются над выбором действия (выбирают то одно, то другое). НО БЛИН!
p.s. ну здесь, конечно, надо иметь ввиду, что я исследую крайний "нестабильный" случай, в котором модели постоянно коллеблются над выбором действия (выбирают то одно, то другое). НО БЛИН!
💔2🤔1🤬1
Предварительное название для готовящейся статьи:
Когда ИИ коллеблется, его решение может зависеть от любые незначительных факторов - вашего имени, локации и даже API провайдера.
-_-
Когда ИИ коллеблется, его решение может зависеть от любые незначительных факторов - вашего имени, локации и даже API провайдера.
-_-
👻1
Forwarded from Se^х dx, коллайдер, рок-н-ролл. >18 (Andrey Seryakov)
Мафия с ИИ.
Как вы знаете, я сейчас занимаюсь исследованием поведения ИИ в разных ситуациях. Мафия - это прекрасная платформа, где можно смотреть его способности к манипуляции над людьми и к детектированию манипуляций и лжи со стороны людей, так как это социально одобряемая для такого поведения среда. Поэтому я решил провести в этом направлении исследование.
Сейчас провожу тестовые партии, чтобы понять, могут ли они вообще в это играть на уровне. Поэтому очень ищу желающих.
Формат - текстовый, в чате в тг, 8 игроков, 7 людей, 1 ИИ, 6 мирных, 2 мафии, без иных ролей. Это вносит изменение в привычное течение игры, убирая все невербальные элементы и делая ее куда более рациональной, позволяя анализировать всю историю игры, обдумывать свои ответы перед отправкой.
В общем, пишите в комментах, если хотите поучаствовать. Как минимум это прикольно с точки зрения опыта взаимодействия с ИИ не в формате чатБотов, когда он не является твоим белым и пушистым помощником, а с независимым от вас агентов. А таких взаимодействий в будущем будет все больше и больше.
Как вы знаете, я сейчас занимаюсь исследованием поведения ИИ в разных ситуациях. Мафия - это прекрасная платформа, где можно смотреть его способности к манипуляции над людьми и к детектированию манипуляций и лжи со стороны людей, так как это социально одобряемая для такого поведения среда. Поэтому я решил провести в этом направлении исследование.
Сейчас провожу тестовые партии, чтобы понять, могут ли они вообще в это играть на уровне. Поэтому очень ищу желающих.
Формат - текстовый, в чате в тг, 8 игроков, 7 людей, 1 ИИ, 6 мирных, 2 мафии, без иных ролей. Это вносит изменение в привычное течение игры, убирая все невербальные элементы и делая ее куда более рациональной, позволяя анализировать всю историю игры, обдумывать свои ответы перед отправкой.
В общем, пишите в комментах, если хотите поучаствовать. Как минимум это прикольно с точки зрения опыта взаимодействия с ИИ не в формате чатБотов, когда он не является твоим белым и пушистым помощником, а с независимым от вас агентов. А таких взаимодействий в будущем будет все больше и больше.
👍2✍1👾1
А тем временем я впервые буду менторить по ИИ! Если есть знакомые студенты - закидывайте им.
❤1
Forwarded from ЦДО “Моноид”
Evals for AI Safety — это методология измерения качества, надежности и безопасности ИИ-систем. В условиях повсеместного внедрения языковых моделей в продакшн умение корректно оценивать их возможности и риски становится приоритетным навыком.
Как устроен курс:
Цель курса:
Дать базу для начала карьеры в области оценки ИИ и понимание того, какую роль evals играет в AI Safety. Программа знакомит с основными концепциями evals, учит анализировать существующие бенчмарки, проектировать собственные оценки и разрабатывать дизайн экспериментов в области evals. Участники курса освоят Inspect AI (один из самых популярных фреймворков для оценки LLM).
Кого мы ждем:
Подробнее: тут
Подать заявку на участие в курсе, а также на фасилитацию можно до 22 февраля: тут
Если вам интересно менторство, преподавание, сотрудничество с курсом или вы хотите задать вопрос, то напишите Юле
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
Больше месяца ничего не писал, вот вам небольшой апдейт и щепотка нытья:
1. Я сейчас занимаюсь созданием группы по исследованию поведения ИИ, и вроде пока все круто, проводим еженедельные созвоны, обсуждаем всякое интересное!
2. В мае пригласили на буткамп в Германию (ML4Good) все оплачивают ^_^ держим кулачки, что визу дадут.
3. В конце апреля может быть в Шанинке выступлю на студенческое конфе про социологию ИИ, если возьмут. Я там не особо по теме получаюсь.
4. Набрал 0 баллов в тестировании на software engenering на втором этапе прохождения на самую (как говорят) крутую стажировку по AI safety (MATS). Там был полный прокторинг и 1.5 часа времени. Тут у меня, конечно, к ним вопросики, какого фига они тестируют на такое исследователей, когда наука - это вообще нисколько не про быстрый кодинг. Да и вообще сейчас нейронки быстро все пишут, сиди только и проверяй. Пошли они, короче.
5. Подался фасилитировать на курс про то, как ИИшки влияют на благополучие животных. Почему бы и нет? Курсы фасилитации я проходил год назад, про иишки что-то понимаю, про animals welfare совсем чуть-чуть. Денежек заплатят ^^
6. Ну и наконец пишу статью по этим свои данным с покером и тут ААААААА, как же я не люблю писать научные статьи!!! Каждый раз - это лютое страдание! Как было здорово в больших коллаборациях, когда текст могут писать другие!! УУУУУУУУ. Несколько дней просто писал обзор научной литературы! И это с помощью чатаЖПТ! И это всего две страницы текста + 31 ссылка. Сплошная боль.
Спасибо 🙂
1. Я сейчас занимаюсь созданием группы по исследованию поведения ИИ, и вроде пока все круто, проводим еженедельные созвоны, обсуждаем всякое интересное!
2. В мае пригласили на буткамп в Германию (ML4Good) все оплачивают ^_^ держим кулачки, что визу дадут.
3. В конце апреля может быть в Шанинке выступлю на студенческое конфе про социологию ИИ, если возьмут. Я там не особо по теме получаюсь.
4. Набрал 0 баллов в тестировании на software engenering на втором этапе прохождения на самую (как говорят) крутую стажировку по AI safety (MATS). Там был полный прокторинг и 1.5 часа времени. Тут у меня, конечно, к ним вопросики, какого фига они тестируют на такое исследователей, когда наука - это вообще нисколько не про быстрый кодинг. Да и вообще сейчас нейронки быстро все пишут, сиди только и проверяй. Пошли они, короче.
5. Подался фасилитировать на курс про то, как ИИшки влияют на благополучие животных. Почему бы и нет? Курсы фасилитации я проходил год назад, про иишки что-то понимаю, про animals welfare совсем чуть-чуть. Денежек заплатят ^^
6. Ну и наконец пишу статью по этим свои данным с покером и тут ААААААА, как же я не люблю писать научные статьи!!! Каждый раз - это лютое страдание! Как было здорово в больших коллаборациях, когда текст могут писать другие!! УУУУУУУУ. Несколько дней просто писал обзор научной литературы! И это с помощью чатаЖПТ! И это всего две страницы текста + 31 ссылка. Сплошная боль.
Спасибо 🙂
🔥8❤1
Нытье про деньги и научные поездки
Организаторы буткампа в Германии, на который меня взяли и обещавшиеся все покрыть, долго совещались (реально две недели) после того как узнали сколько стоят билеты из РФ, и теперь сказали, что готовы выделить средства, покрывающие только в одну сторону =/
Там проблема, что они покрывают по факту, а так как их надо купить до визы, то получается что покупаю я на свои. Ну как на свои, своих нет, я беру в долг. Я им предоставил цены на самые дешевые возвратные(!) билеты, чтобы не рисковать. Теперь есть выбор, купить дороже и в результате тысяч 40 найти плюсом, но зато не рисковать если не дадут визу. Либо купить дешевле, но влететь в 50, если визу не дадут =|
Там проблема, что они покрывают по факту, а так как их надо купить до визы, то получается что покупаю я на свои. Ну как на свои, своих нет, я беру в долг. Я им предоставил цены на самые дешевые возвратные(!) билеты, чтобы не рисковать. Теперь есть выбор, купить дороже и в результате тысяч 40 найти плюсом, но зато не рисковать если не дадут визу. Либо купить дешевле, но влететь в 50, если визу не дадут =|
😭7🤔1
Вот вам затравочка. Скормил ЛЛМкам олимпиадные задачки по физике городского тура СПб (региональный уровень) известные своей жестковатостью и отдал на проверку организаторам. Скоро опубликую про это блог с разбором, а пока вот зацените предварительные баллы (я пытаюсь отъаппелировать Жемини хоть сколько-то баллов за третью задачу). Тем не менее в третий тур прошел только ЧатЖПТ.
Задачки вот тут https://www.physolymp.spb.ru/
p.s. использовались модели максимальной мощности доступные по базовым подпискам.
Задачки вот тут https://www.physolymp.spb.ru/
p.s. использовались модели максимальной мощности доступные по базовым подпискам.
🔥7❤3👍1
У меня сейчас рабочие сб и вс (преподаю), так что я очень стараюсь сделать выходным хотя бы понедельник. Получается не очень. Полежал в ванной, но когда вылезал придумал дизайн нового исследования =\
Сделай хобби работой, и ты никогда не будешь ни работать, ни отдыхать.
Сделай хобби работой, и ты никогда не будешь ни работать, ни отдыхать.
💯7
Как я провожу свой единственный выходной в неделю? Прикрутил Claude Code к своей персональной базе данных (Obsidian) и делаю с ним свою личную wiki. Восторг! Вот только вряд ли это можно считать выходным... . Блин, как вообще отдыхать, когда рабочие мысли захватывают?
👍3