RLHF – убийца кретивности LLM
Алгоритм, который призван делать модели человечнее и воспитаннее, на самом деле понижает их способность к творческому и разнообразному мышлению.
Это показали ученые в новой статье с прикольным названием "Creativity Has Left the Chat: The Price of Debiasing Language Models".
Что такое RLHF? Что происходит с внутрянкой модели во время этого процесса? Почему феномен из статьи – настоящая преграда на пути к AGI? Читайте в нашем мини-разборе👆
Алгоритм, который призван делать модели человечнее и воспитаннее, на самом деле понижает их способность к творческому и разнообразному мышлению.
Это показали ученые в новой статье с прикольным названием "Creativity Has Left the Chat: The Price of Debiasing Language Models".
Что такое RLHF? Что происходит с внутрянкой модели во время этого процесса? Почему феномен из статьи – настоящая преграда на пути к AGI? Читайте в нашем мини-разборе
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤71👍19🔥7😁3
This media is not supported in your browser
VIEW IN TELEGRAM
Breaking! Вышла Stable Diffusion 3
Модель поражает: справляется с текстом на картинках, генерит супер реалистичные изображения и прекрасно понимает все детали промпта.
А самое приятное – для некоммерческого пользования модель доступна бесплатно. Ну что за чудо.
Блогпост | Веса
Модель поражает: справляется с текстом на картинках, генерит супер реалистичные изображения и прекрасно понимает все детали промпта.
А самое приятное – для некоммерческого пользования модель доступна бесплатно. Ну что за чудо.
Блогпост | Веса
🔥87❤11👍10😍10🎉1
Решение вступает в силу 12 сентября 2024 года. Это что получается, отвалится Github, Kaggle и Colab?
Please open Telegram to view this post
VIEW IN TELEGRAM
🫡110🤯51🍾15🤪12👍10
Data Secrets
У Маска подгорело на вчерашнюю презентацию Apple Он угрожает, что в случае внедрения Apple Intelligence запретит все устройства Apple в своих компаниях. Даже гостям в офисах придется сдавать свои айфоны в клетку Фарадея. Миллиардер считает, что внедрение…
Просто реакция рынка на угрозы Илона Маска в сторону Apple после презентации
Лосс здорового человека VS лосс курильщика
😁111👍5❤4😎4
This media is not supported in your browser
VIEW IN TELEGRAM
Линус Торвальдс, создатель Linux, дает свой неположительный отзыв на Nvidia, 2012 год. Досматриваем до 19 секунды.
Тем временем Nvidia в 2024:🤩
Тем временем Nvidia в 2024:
Please open Telegram to view this post
VIEW IN TELEGRAM
😁146
Please open Telegram to view this post
VIEW IN TELEGRAM
😁194🔥16👏8🗿7😐6❤4🎃2👍1🍓1
Anthropic рассказали, как и зачем они сделали Claude моделью с характером
Компания недавно выпустила подкаст с разработчиками Claude – Амандой Аскелл и Стюартом Ричи. Самое интересное:
⚪️ Claude 3 – первая LLM, в которой заложена собственная личность и характер.
⚪️ Воспитание характера было частью процесса alignment'а на этапе файнтюнинга и RLHF.
⚪️ С такими моделями, по мнению разработчиков, пользователям общаться привычнее и легче. Они видят в них компаньонов и помощников, а не поисковых роботов.
⚪️ Основной проблемой внедрения "характера" стало то, что моделью могут пользоваться люди с разными традициями, политическими и религиозными взглядами и тд. А если у модели есть личность, то, конечно, всем сразу она мила не будет. Что делать?
⚪️ В итоге Claude не избегает обсуждение ценностей, но и не соглашается со всем подряд. Если озвученное сождение не совпадает с его "мировозрением", то он прямо (но деликатно) об этом говорит.
Советуем послушать подкаст полностью – там еще много деталей. А пока оставим на рассуждение вопрос: должна ли модель вообще иметь личность и характер, или ее роль – просто утилита без своего мнения?
Компания недавно выпустила подкаст с разработчиками Claude – Амандой Аскелл и Стюартом Ричи. Самое интересное:
Советуем послушать подкаст полностью – там еще много деталей. А пока оставим на рассуждение вопрос: должна ли модель вообще иметь личность и характер, или ее роль – просто утилита без своего мнения?
Please open Telegram to view this post
VIEW IN TELEGRAM
👍59❤17🔥9🍌2😁1
Исследователи из Google запустили конкурс на $1 млн.
Цель – новые идеи, выходящие за рамки современных LLM, которые могут стать шагом к AGI.
Называется конкурс ARC Prize – в честь бенчмарка ARC AGI. Бенчмарк создан одним из учредителей конкурса, и нацелен именно на сравнение общих способностей интеллекта машины с человеческим разумом (а это собственно и есть проверка на AGI).
Современные LLM выбивают на бенчмарке сильно меньше человека – это отличает его от остальных тестов, которые проверяют не общий разум, а лишь способность решать отдельные задачи. Задача участников – выбить максимальный скор на ARC AGI. Ну как, миллион долларов хотим?
Лендинг | Kaggle
Цель – новые идеи, выходящие за рамки современных LLM, которые могут стать шагом к AGI.
Называется конкурс ARC Prize – в честь бенчмарка ARC AGI. Бенчмарк создан одним из учредителей конкурса, и нацелен именно на сравнение общих способностей интеллекта машины с человеческим разумом (а это собственно и есть проверка на AGI).
Современные LLM выбивают на бенчмарке сильно меньше человека – это отличает его от остальных тестов, которые проверяют не общий разум, а лишь способность решать отдельные задачи. Задача участников – выбить максимальный скор на ARC AGI. Ну как, миллион долларов хотим?
Лендинг | Kaggle
👍43❤17🔥10🐳4🌚3🕊1
OpenAI взяли в совет директоров отставного генерала разведки армии США
Он также присоединился к совету безопасности компании. Генерал Накасон служил в кибервойсках в США, Ираке, Афганистане и Корее, и раньше возглавлял крупное подразделение ФБР. Цитата из блога OpenAI:
Интересно, какой конкретно «опыт» привнесет человек из ФБР и что насоветует Альтману
Он также присоединился к совету безопасности компании. Генерал Накасон служил в кибервойсках в США, Ираке, Афганистане и Корее, и раньше возглавлял крупное подразделение ФБР. Цитата из блога OpenAI:
«Генерал привносит в совет директоров OpenAI опыт мирового уровня в области кибербезопасности и помогает нам выполнять нашу миссию, защищая наши системы от все более изощренных злоумышленников.»
Интересно, какой конкретно «опыт» привнесет человек из ФБР и что насоветует Альтману
This media is not supported in your browser
VIEW IN TELEGRAM
Все уже слышали про Dream Machine, генератор видео от лаборатории LumaAI?
Может работать по промпту или оживлять поданные на вход картинки (в этом случае качество намного лучше). Результат достойный, но убийцей SORA назвать модель нельзя.
Никакие детали реализации, и тем более веса не доступны. Зато продукт доступен всем и каждому бесплатно: пробовать тут.
Может работать по промпту или оживлять поданные на вход картинки (в этом случае качество намного лучше). Результат достойный, но убийцей SORA назвать модель нельзя.
Никакие детали реализации, и тем более веса не доступны. Зато продукт доступен всем и каждому бесплатно: пробовать тут.
🔥48👍17❤8
Harvard cовместно с Google создали виртуальную крысу под управлением нейросети и открыли дверь в новую область робототехники
Цель состояла в том, чтобы понять, как мозг координирует движения животного. Для этого ресерчеры на куче данных, собранных на реальной крысе, обучили модель, которая должна была действовать как мозг и управлять виртуальной крысой в физически-правдоподобной среде (то есть ученые смоделировали гравитацию, силу тяжести и тд).
Вообще, такие агенты называются embodied agents (ака восплощенные) – возможно, это новый тренд. Результат исследования, кстати, оказался неплох: траектории движений, воспроизводимые сетью, были весьма правдоподобны.
Исследователи уверены, что подобный подход - новое слово в робо-ИИ. К тому же, такие симуляции могут помочь прекратить опыты на животных и людях. Будем наблюдать.
Цель состояла в том, чтобы понять, как мозг координирует движения животного. Для этого ресерчеры на куче данных, собранных на реальной крысе, обучили модель, которая должна была действовать как мозг и управлять виртуальной крысой в физически-правдоподобной среде (то есть ученые смоделировали гравитацию, силу тяжести и тд).
Вообще, такие агенты называются embodied agents (ака восплощенные) – возможно, это новый тренд. Результат исследования, кстати, оказался неплох: траектории движений, воспроизводимые сетью, были весьма правдоподобны.
Исследователи уверены, что подобный подход - новое слово в робо-ИИ. К тому же, такие симуляции могут помочь прекратить опыты на животных и людях. Будем наблюдать.
👍99❤27🔥13👏2😎1
This media is not supported in your browser
VIEW IN TELEGRAM
Follow Your Emoji – новая диффузионнка для генерации лицевой анимации из Китая
Модель удивительно точно позволяет сохранить пропорции лица и передать эмоцию референса. Судя по статье, этого добились с помощью двух фич:
1) Новый «мелкозернистый» лосс, который заточен под выражение лица и помогает оптимизировать генерацию и относительно эмоции, и относительно фейсмапа.
2) Новый способ получения фейсмапы с помощью expression-aware landmark. Повышает согласованность между эталонными кривляниями и генерацией.
Также исследователи собрали собственный бенчмарк EmojiBench, на котором благополучно побили все прочие модели😁
Хотя, кроме шуток, выглядят генерации действительно качественно. Говорят, веса и код выложат в ближайшее время.
Модель удивительно точно позволяет сохранить пропорции лица и передать эмоцию референса. Судя по статье, этого добились с помощью двух фич:
1) Новый «мелкозернистый» лосс, который заточен под выражение лица и помогает оптимизировать генерацию и относительно эмоции, и относительно фейсмапа.
2) Новый способ получения фейсмапы с помощью expression-aware landmark. Повышает согласованность между эталонными кривляниями и генерацией.
Также исследователи собрали собственный бенчмарк EmojiBench, на котором благополучно побили все прочие модели
Хотя, кроме шуток, выглядят генерации действительно качественно. Говорят, веса и код выложат в ближайшее время.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤33👍19🔥12
Breaking! Nvidia выпустили открытую LLM Nemotron 4 340B!
– По классике есть три варианта: Base, Instruct и Reward модель
– Дышит в спину GPT-4, а кое-где и обгоняет
– Обучена на 9Т токенов
– Приготовьтесь: Instruct модель обучена на данных, 98% которых были синтетическими
– 50+ языков, 40+ языков программирования
– Лицензия Apache 2.0 (разрешает коммерческое использование)
– Reward модель сейчас #1 на RewardBench
Еще одна особенность модели – она совсем не прожорливая, ей нужны всего-то две A100 и 1.3TB памяти. Nemotron предназначена в первую очередь для генерации синтетических данных для обучения LLM.
Плюсом ко всему, Nvidia выкатила еще и новый датасет человеческих предпочтений (для reward моделей) HelpSteer2. Ну просто песня 🍯
Все модели и датасет | тех.репорт
– По классике есть три варианта: Base, Instruct и Reward модель
– Дышит в спину GPT-4, а кое-где и обгоняет
– Обучена на 9Т токенов
– Приготовьтесь: Instruct модель обучена на данных, 98% которых были синтетическими
– 50+ языков, 40+ языков программирования
– Лицензия Apache 2.0 (разрешает коммерческое использование)
– Reward модель сейчас #1 на RewardBench
Еще одна особенность модели – она совсем не прожорливая, ей нужны всего-то две A100 и 1.3TB памяти. Nemotron предназначена в первую очередь для генерации синтетических данных для обучения LLM.
Плюсом ко всему, Nvidia выкатила еще и новый датасет человеческих предпочтений (для reward моделей) HelpSteer2. Ну просто песня 🍯
Все модели и датасет | тех.репорт
Forwarded from 🏄 Соревновательный Data Science | Kaggle | Чемпионаты
Media is too big
VIEW IN TELEGRAM
В прошлом году 5 участников месячного кэмпа получили медали
Встречи по выходным в креативном коворкинге с целью пофармить чемпионаты на Kaggle в течение всего Июля.
Команды собираются по выходным в офигенном офисе Додо и решают текущие чемпионаты. Творческая, неформальная атмосфера обеспечена! Вечером пицца и фильмец, пока модельки учатся. И так все выходные в течение месяца. Фармим, едим, смотрим, повторяем цикл. Роскошно!
🦤
Пока только в Москве, метро Автозаводская. (Возможно еще параллельно Питере)
Вход свободный, но есть лимит. Мы решили допустить к кэмпу до 15 человек. (Возможно больше, но пока тестим на небольшой команде людей). Формально этот кэмп открыт для всех, но приоритет будет отдан участникам курса "Введение в соревновательный Data Science"
Заполняй форму и мы с тобой свяжемся. Там 12 вопросов, которые вы заполните за пару минут. Это будет твой первый шаг к Июльским победам на kaggle!
🚀 С каждым бустом, число мест увеличивается) https://t.me/data_science_winners?boost
Please open Telegram to view this post
VIEW IN TELEGRAM
❤32🔥17👍9
Data Secrets
Мы тут нагенерировали для вас треков про ML в новом Suno Для тех, кто сегодня отдыхает – бодрая версия.
Media is too big
VIEW IN TELEGRAM
Вашему вниманию: новая реклама модельки генерации музыки Suno. Маркетологи определенно знают свое дело
🔥65❤21👍10😍3