Forwarded from Kali Novskaya
🌸Большая Книга ИИ теперь на Вики🌸
#nlp #про_nlp
На днях Сергей Марков выложил свою книгу "Охота на электроовец: Большая Книга Искусственного Интеллекта" в формате Вики.
Теперь каждую главу можно прочитать (и даже прокомментировать) отдельно, что очень удобно для 1200+ страничного двухтомника.
Это самая полная история всего, что происходило, включая весь 20 век и сильно раньше, а так же всеми любимый генИИ и его предпосылки.
🟣 Заглавная страница
🟣 Оглавление
Двухтомник можно скачать в pdf, epub и других форматах:
https://markoff.science/
#nlp #про_nlp
На днях Сергей Марков выложил свою книгу "Охота на электроовец: Большая Книга Искусственного Интеллекта" в формате Вики.
Теперь каждую главу можно прочитать (и даже прокомментировать) отдельно, что очень удобно для 1200+ страничного двухтомника.
Это самая полная история всего, что происходило, включая весь 20 век и сильно раньше, а так же всеми любимый генИИ и его предпосылки.
Двухтомник можно скачать в pdf, epub и других форматах:
https://markoff.science/
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Сергей Марков: машинное обучение, искусство и шитпостинг
Выложили «Охоту на электроовец» в виде wiki с возможностью комментировать — читайте, комментируйте, отправляйте всем, кому это может быть интересно
Forwarded from Kali Novskaya
🌸Лучшая лекция ICLR 2025 🌸
#nlp #про_nlp #nlp_papers
Одной из главных лекций на ICLR в этом году можно смело назвать доклад Тима Роктешела (Tim Rocktaeschel, DeepMind) — Open Endedness, World Models, and the Automation of Innovation. Доклад наконец выложили на ютуб (мне даже не пришлось ее пиратить для вас)
Это очень хороший и своевременный обзорный доклад про новые приоритеты в исследовании ИИ: reinforcement learning, фундаментальные модели, проблемы бенчмарков, агентов и акселерации науки.
🟣 Abstract
Погоня за AGI требует перехода от узконаправленной оптимизации целей к принятию концепции Открытой Эволюции (Open-Endedness) — исследовательской парадигмы, внедрённой в области ИИ Стэнли, Леманом и Клуном. Она фокусируется на системах, способных бесконечно генерировать последовательности новых, но обучаемых артефактов. В этом докладе я представлю нашу работу по созданию крупномасштабных фундаментальных моделей мира (foundation world models), которые способны генерировать разнообразные и многогранные среды. Эти среды, в свою очередь, могут использоваться для обучения более универсальных и устойчивых агентов. Кроме того, я утверждаю, что связь между Открытой Эволюцией и Фундаментальными Моделями указывает на возможность автоматизации самого процесса инноваций. Это слияние уже даёт практические результаты: оно позволяет открывать способности моделей к самоулучшению (self-improvement), автоматизировать prompt engineering и red-teaming, и проведение дискуссий между ИИ-моделями. Всё это предвосхищает будущее, в котором ИИ будет сам двигать свои открытия вперёд.
🟣 Лекция со слайдами тут:
https://www.youtube.com/watch?v=ZZC_xqRgcHo&ab_channel=MatijaGrcic
🟣 Некоторые упомянутые статьи:
Prompt Breeder
Rainbow teaming
MLE bench
Awesome Open-endedness
METR и поиск экспоненты
Sakana AI AI Scientist
#nlp #про_nlp #nlp_papers
Одной из главных лекций на ICLR в этом году можно смело назвать доклад Тима Роктешела (Tim Rocktaeschel, DeepMind) — Open Endedness, World Models, and the Automation of Innovation. Доклад наконец выложили на ютуб
Это очень хороший и своевременный обзорный доклад про новые приоритеты в исследовании ИИ: reinforcement learning, фундаментальные модели, проблемы бенчмарков, агентов и акселерации науки.
Погоня за AGI требует перехода от узконаправленной оптимизации целей к принятию концепции Открытой Эволюции (Open-Endedness) — исследовательской парадигмы, внедрённой в области ИИ Стэнли, Леманом и Клуном. Она фокусируется на системах, способных бесконечно генерировать последовательности новых, но обучаемых артефактов. В этом докладе я представлю нашу работу по созданию крупномасштабных фундаментальных моделей мира (foundation world models), которые способны генерировать разнообразные и многогранные среды. Эти среды, в свою очередь, могут использоваться для обучения более универсальных и устойчивых агентов. Кроме того, я утверждаю, что связь между Открытой Эволюцией и Фундаментальными Моделями указывает на возможность автоматизации самого процесса инноваций. Это слияние уже даёт практические результаты: оно позволяет открывать способности моделей к самоулучшению (self-improvement), автоматизировать prompt engineering и red-teaming, и проведение дискуссий между ИИ-моделями. Всё это предвосхищает будущее, в котором ИИ будет сам двигать свои открытия вперёд.
https://www.youtube.com/watch?v=ZZC_xqRgcHo&ab_channel=MatijaGrcic
Prompt Breeder
Rainbow teaming
MLE bench
Awesome Open-endedness
METR и поиск экспоненты
Sakana AI AI Scientist
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Tim Rocktaeschel - Open Endedness, World Models, and the Automation of Innovation (with slides)
ICLR 2025
The pursuit of Artificial Superintelligence (ASI) requires a shift from narrow objective optimization towards embracing Open-Endedness—a research paradigm, pioneered in AI by Stanley, Lehman and Clune, that is focused on systems that generate endless…
The pursuit of Artificial Superintelligence (ASI) requires a shift from narrow objective optimization towards embracing Open-Endedness—a research paradigm, pioneered in AI by Stanley, Lehman and Clune, that is focused on systems that generate endless…
Forwarded from ML Advertising
Zero-shot vs Few-shot. Пишем промпты эффективно
➡ Few-shot prompting
Здесь мы представляем модели примеры с инструкцией, как ей следует себя вести. После этого надеемся, что модель нас поймет, т.е. выучит in-context learning и выполнит запрос
Пример
➡ Zero-shot prompting
Это противоположность Few-shot. Здесь мы напрямую запрашиваем ответ у модели без дополнительных инструкций и надеемся, что ее достаточно хорошо обучили, чтобы она поняла, что мы от нее хотим.
Пример
➡ Какие ограничения ?
Zero-Shot prompting неплохо себя показывают на каких-то простых задачах, основанных на общих знаниях. Few-shot уже может решать более сложные задачи и может помочь когда полноценный fine-tuning невозможен. Или когда нужно выучить несложные концепции. Еще Few-shot может повысить точность ответа.
Но и Few-shot - это не панацея. Он все еще неспособен решать достаточно сложные задачи на рассуждение. Если задача требует нескольких шагов рассуждения, даже набора примеров может оказаться недостаточно, чтобы LLM смогла найти нужную закономерность. Здесь обращаемся к Chain of Thoughts.
Иногда можно увидеть термины One-shot, Two-shot Prompting и т.д. Это просто частные случаи Few-shot prompting и они указывают на количество подаваемых в модель примеров.
➡ Few-shot prompting
Здесь мы представляем модели примеры с инструкцией, как ей следует себя вести. После этого надеемся, что модель нас поймет, т.е. выучит in-context learning и выполнит запрос
Пример
Запрос:
Красный - один
Оранжевый - два
Желтый - три
Зеленый - четыре
Голубой - пять
Синий - шесть
Фиолетовый -
Ответ:
семь
➡ Zero-shot prompting
Это противоположность Few-shot. Здесь мы напрямую запрашиваем ответ у модели без дополнительных инструкций и надеемся, что ее достаточно хорошо обучили, чтобы она поняла, что мы от нее хотим.
Пример
Запрос:
Определи характер отзыва (позитивный, негативный или нейтральный).
Отзыв: Фильм в целом неплох.
Ответ:
Нейтральный
➡ Какие ограничения ?
Zero-Shot prompting неплохо себя показывают на каких-то простых задачах, основанных на общих знаниях. Few-shot уже может решать более сложные задачи и может помочь когда полноценный fine-tuning невозможен. Или когда нужно выучить несложные концепции. Еще Few-shot может повысить точность ответа.
Но и Few-shot - это не панацея. Он все еще неспособен решать достаточно сложные задачи на рассуждение. Если задача требует нескольких шагов рассуждения, даже набора примеров может оказаться недостаточно, чтобы LLM смогла найти нужную закономерность. Здесь обращаемся к Chain of Thoughts.
Иногда можно увидеть термины One-shot, Two-shot Prompting и т.д. Это просто частные случаи Few-shot prompting и они указывают на количество подаваемых в модель примеров.
Forwarded from GOS (Gos)
Камрад Aleks напомнил вот про этот отличный репозиторий - https://github.com/gseth/ControlAltAI-Nodes
Я тоже его очень рекомендую. Так много достойных и интересных нод.
#Comfy #novice
Я тоже его очень рекомендую. Так много достойных и интересных нод.
#Comfy #novice
GitHub
GitHub - gseth/ControlAltAI-Nodes: Quality of Life ComfyUI nodes from ControlAltAI.
Quality of Life ComfyUI nodes from ControlAltAI. Contribute to gseth/ControlAltAI-Nodes development by creating an account on GitHub.
Forwarded from Love. Death. Transformers.
Вместе с Cloud․ru собрали модели, которые реально работают:
- отличная поддержка русского,
- быстрый старт без боли,
- легко встраиваются в агентов и ассистентов,
- бюджетно гоняются
Эти модели — идеальный выбор для MVP, экспериментов и продакшн-инференса.
Всё open-source, а лучшее место чтобы развернуть опенсурс в России быстро и выгодно — Evolution ML Inference
- отличная поддержка русского,
- быстрый старт без боли,
- легко встраиваются в агентов и ассистентов,
- бюджетно гоняются
Эти модели — идеальный выбор для MVP, экспериментов и продакшн-инференса.
Всё open-source, а лучшее место чтобы развернуть опенсурс в России быстро и выгодно — Evolution ML Inference
Forwarded from Love. Death. Transformers.
оказывается папир вышел вместе с моделью
придумали бенч, придумали конкатить vae, собственно вот что получилось
придумали бенч, придумали конкатить vae, собственно вот что получилось
Forwarded from Борис опять
Команда Яндекс RecSys R&D Team разработала ARGUS (AutoRegressive Generative User Sequential Modeling) — новую трансформерную рекомендательную модель. Трансформеры чудесны тем, что могут обрабатывать любые последовательности. Но здесь не просто предсказание отклика пользователя. ARGUS одновременно предсказывает будущие действия пользователя и его отклик, что повышает точность и качество персонализации. Данных об отклике всегда мало, так что использовать для обучения данные про все действия пользователя это очень умно.
Яндекс Музыка стала первым сервисом, в который внедрили новую модель и перевели её в онлайн-режим. Впервые Яндекс Музыка начала работать на базе генеративных моделей в 2023 году, теперь в Музыке ARGUS применяется в реалтайме, для каждого трека в Моей волне. Причем это 126М модель с длиной контекста 8192 события. Для реалтайм инференса трансформеров на масштабах Яндекс Музыки это очень большая модель. Инференсить такое на каждый новый трек в Моей волне — довольно нетривиальная задача.
Реалтайм инференс возможен благодаря собственной архитектуре модели, где эмбеддинги для пользователей и треков пересчитываются в оффлайне регулярным процессом. Это снимает большую часть нагрузки с модели, которая в такой постановке занимается лишь установлением взаимосвязей в последовательности.
Для оценки качества используется global temporal split, то есть замеряем качество на следующей неделе по времени после обучающих данных. На предобучении смотрели на лосс для задач next item prediction и feedback prediction. На дообучении была другая задача: правильно ранжировать близкие по времени прослушивания пользователем треки исходя из оставленного на них фидбека. Смотрим насколько предсказания модели о том, что больше предпочтет пользователь, совпадают с реальностью. Чем-то напоминает supervised finetuning LLM. Также для замера качества сравнивали метрики бустинга с прода с таким же бустингом, но с дополнительным признаком от ARGUS.
В онлайне проводили A/B эксперименты на пользователях Яндекс Музыки и Маркета и получили статзначимые улучшения продуктовых метрик. В стриминге пользователи стали на 20% чаще ставить лайки и добавлять в коллекцию впервые услышанные треки и артистов. В Маркете пользователи стали добавлять в корзину на 3% больше товаров, увиденных в рекомендациях, а покупки товаров из рекомендаций в новых для них категориях выросли на 5%.
https://habr.com/ru/companies/yandex/articles/919058/
Яндекс Музыка стала первым сервисом, в который внедрили новую модель и перевели её в онлайн-режим. Впервые Яндекс Музыка начала работать на базе генеративных моделей в 2023 году, теперь в Музыке ARGUS применяется в реалтайме, для каждого трека в Моей волне. Причем это 126М модель с длиной контекста 8192 события. Для реалтайм инференса трансформеров на масштабах Яндекс Музыки это очень большая модель. Инференсить такое на каждый новый трек в Моей волне — довольно нетривиальная задача.
Реалтайм инференс возможен благодаря собственной архитектуре модели, где эмбеддинги для пользователей и треков пересчитываются в оффлайне регулярным процессом. Это снимает большую часть нагрузки с модели, которая в такой постановке занимается лишь установлением взаимосвязей в последовательности.
Для оценки качества используется global temporal split, то есть замеряем качество на следующей неделе по времени после обучающих данных. На предобучении смотрели на лосс для задач next item prediction и feedback prediction. На дообучении была другая задача: правильно ранжировать близкие по времени прослушивания пользователем треки исходя из оставленного на них фидбека. Смотрим насколько предсказания модели о том, что больше предпочтет пользователь, совпадают с реальностью. Чем-то напоминает supervised finetuning LLM. Также для замера качества сравнивали метрики бустинга с прода с таким же бустингом, но с дополнительным признаком от ARGUS.
В онлайне проводили A/B эксперименты на пользователях Яндекс Музыки и Маркета и получили статзначимые улучшения продуктовых метрик. В стриминге пользователи стали на 20% чаще ставить лайки и добавлять в коллекцию впервые услышанные треки и артистов. В Маркете пользователи стали добавлять в корзину на 3% больше товаров, увиденных в рекомендациях, а покупки товаров из рекомендаций в новых для них категориях выросли на 5%.
https://habr.com/ru/companies/yandex/articles/919058/