Language Models as Zero-Shot Planners
Большие языковые модели (LLM), такие как GPT-3 и Codex, могут планировать действия для воплощенных агентов (embodied - ну всякие там роботы и тд),
даже без дополнительного обучения.
То есть ты говоришь GPT:
- Алиса, сделай завтрак!
А она это преобразует в последовательность действий для робота:
- дойди до холодильника
- открой холодильник
- и тд
📎 Статья
🖥 Код
🦸♀️ Проект
#gpt #transformer #reasoning
Большие языковые модели (LLM), такие как GPT-3 и Codex, могут планировать действия для воплощенных агентов (embodied - ну всякие там роботы и тд),
даже без дополнительного обучения.
То есть ты говоришь GPT:
- Алиса, сделай завтрак!
А она это преобразует в последовательность действий для робота:
- дойди до холодильника
- открой холодильник
- и тд
📎 Статья
🖥 Код
🦸♀️ Проект
#gpt #transformer #reasoning
Forwarded from Sberloga
Университет Иннополис открыл регистрацию на онлайн-хакатон по ИИ с призовым фондом 1 млн рублей
Международный отраслевой хакатон в области искусственного интеллекта Global AI Challenge пройдет 9—24 февраля. Заявки принимаются до 7 февраля от команд из 2—6 человек, состоящих из молодых специалистов, преподавателей, аспирантов направления Data Science, обучающихся ведущих образовательных организаций России и стран ближнего зарубежья.
Командам предстоит решить задачу по предсказанию активности ингибиторов на основе малых молекул против COVID-19.
Подробности и регистрация: https://globalai.innopolis.university/
Международный отраслевой хакатон в области искусственного интеллекта Global AI Challenge пройдет 9—24 февраля. Заявки принимаются до 7 февраля от команд из 2—6 человек, состоящих из молодых специалистов, преподавателей, аспирантов направления Data Science, обучающихся ведущих образовательных организаций России и стран ближнего зарубежья.
Командам предстоит решить задачу по предсказанию активности ингибиторов на основе малых молекул против COVID-19.
Подробности и регистрация: https://globalai.innopolis.university/
Forwarded from DL in NLP (Vlad Lialin)
Как мне подойти к задаче классфификации/QA/NER/...? В чатах можно часто услышать такие вопросы. И несмотря на обилие туториалов по всем стандартным задачам NLP, я пока что не видел хорошего места, куда можно было бы послать людей, где есть все эти задачки.
Теперь такое место есть! 🤗 Tasks
Вы выбираете задачу, которая вас волнует: классификация, QA, NER, MT, суммаризация, генерация, схожесть текстов
На каждую из них есть короткая лекция, описываются вариации задачи, есть ссылки на датасеты и предобученные модели. Самое главное: есть ссылки на A) хороший ноутбук, который подробно, но доступно описывают как применить условный BERT к этой задаче B ) хорошо задокументированный скрипт, который вы можете легко подогнать под свою задачу.
Кроме этого есть ссылки на релевантные блогпосты, которые могут рассматривать задачу с разных сторон. В общем советую теперь слать людей на 🤗 Tasks.
Теперь такое место есть! 🤗 Tasks
Вы выбираете задачу, которая вас волнует: классификация, QA, NER, MT, суммаризация, генерация, схожесть текстов
На каждую из них есть короткая лекция, описываются вариации задачи, есть ссылки на датасеты и предобученные модели. Самое главное: есть ссылки на A) хороший ноутбук, который подробно, но доступно описывают как применить условный BERT к этой задаче B ) хорошо задокументированный скрипт, который вы можете легко подогнать под свою задачу.
Кроме этого есть ссылки на релевантные блогпосты, которые могут рассматривать задачу с разных сторон. В общем советую теперь слать людей на 🤗 Tasks.
huggingface.co
Tasks - Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Выступаю на Science Slam минут через 10. Буду рассказывать про то, зачем делать DeepFake землетрясений.
Прямую трансляцию можно посмотреть 👉 тут
Прямую трансляцию можно посмотреть 👉 тут
Запись моего научпоп рассказа про дипфэйки, как их делают, и зачем кому-то может понадобиться подделать землетрясение.
Смотреть
Смотреть
YouTube
Как и зачем делают DeepFake землетрясений
Выступление Артемия Новоселова на #SceinceSlam Дни Студенчества Москвы
OpenAI добавила возможность получать эмбеддинги текста или кода напрямую из своего API
Эмбеддинги - это числовые представления каких-то понятий (например слов или кусочков кода), преобразованные в последовательности чисел (например [1.,…,2.]), которые облегчают компьютеру понимание отношений между этими понятиями.
Эмбеддинги полезны при работе с естественным языком и кодом, поскольку их можно легко использовать и сравнивать с другими моделями машинного обучения и алгоритмами, такими как кластеризация или поиск.
То есть получается, берём например текст -> прогоняем его через OpenAI API -> получаем эмбеддинг -> и можем его использовать с любыми моделями машинного обучения (не только с OpenAI, а то получилось бы еще одна «экосистема» по типу Apple).
Для тех, кто потихонечку вкатывается в NLP рекомендую почитать блог-пост. Там простым и понятным языком написано.
📸 Блог-пост
📎 Статья
#gpt #nlp #basics
Эмбеддинги - это числовые представления каких-то понятий (например слов или кусочков кода), преобразованные в последовательности чисел (например [1.,…,2.]), которые облегчают компьютеру понимание отношений между этими понятиями.
Эмбеддинги полезны при работе с естественным языком и кодом, поскольку их можно легко использовать и сравнивать с другими моделями машинного обучения и алгоритмами, такими как кластеризация или поиск.
То есть получается, берём например текст -> прогоняем его через OpenAI API -> получаем эмбеддинг -> и можем его использовать с любыми моделями машинного обучения (не только с OpenAI, а то получилось бы еще одна «экосистема» по типу Apple).
Для тех, кто потихонечку вкатывается в NLP рекомендую почитать блог-пост. Там простым и понятным языком написано.
📸 Блог-пост
📎 Статья
#gpt #nlp #basics
This media is not supported in your browser
VIEW IN TELEGRAM
Шустрый diffusion GAN
За последнее пару лет было разработано большое разнообразие глубоких генеративных моделей. Эти модели обычно генерируют либо хорошо, либо быстро.
В частности, диффузионные модели продемонстрировали впечатляющее качество, но они просто невыносимо медленные (что не позволяет их применять во многих реальных приложениях). Исследователи из NVIDIA придумали как значительно ускорить процесс с помощью сложного мультимодального распределения. Они показали, что их диффузионные GAN сравнимы по качеству с оригинальными диффузионными моделями, но при этом работают в 2000 раз быстрее (на датасете CIFAR-10).
Denoising diffusion GAN - первая модель, которая снижает стоимость сэмплинга в диффузионных моделях до такой степени, что позволяет задёшево применять их в реальных приложениях.
📎 Статья
🖥 Проект
💻 Код
#diffusion #gan #generative
За последнее пару лет было разработано большое разнообразие глубоких генеративных моделей. Эти модели обычно генерируют либо хорошо, либо быстро.
В частности, диффузионные модели продемонстрировали впечатляющее качество, но они просто невыносимо медленные (что не позволяет их применять во многих реальных приложениях). Исследователи из NVIDIA придумали как значительно ускорить процесс с помощью сложного мультимодального распределения. Они показали, что их диффузионные GAN сравнимы по качеству с оригинальными диффузионными моделями, но при этом работают в 2000 раз быстрее (на датасете CIFAR-10).
Denoising diffusion GAN - первая модель, которая снижает стоимость сэмплинга в диффузионных моделях до такой степени, что позволяет задёшево применять их в реальных приложениях.
📎 Статья
🖥 Проект
💻 Код
#diffusion #gan #generative
Forwarded from AbstractDL
🔥InstructGPT: новое поколение GPT от OpenAI
Архитектурно это всё та же GPT-3, вся фишка в дообучении:
1. Сначала, они её немного зафайнтюнили на чистых данных.
2. Потом вручную разметили качество получающихся аутпутов и обучили reward модель его предсказывать.
3. Далее в ход пошёл Reinforcement Learning алгоритм (PPO), который по этой reward модели ещё чуть-чуть затюнил GPT.
В итоге InstructGPT стала менее токсичной, реже путается в фактах и в целом лучше справляется со всеми задачами. Говорят, что даже 1.3B новая модель лучше, чем 175B старая.
P.S. Похоже, что что RL теперь снова в моде благодаря языковым моделям.
Статья, блог, GitHub
Архитектурно это всё та же GPT-3, вся фишка в дообучении:
1. Сначала, они её немного зафайнтюнили на чистых данных.
2. Потом вручную разметили качество получающихся аутпутов и обучили reward модель его предсказывать.
3. Далее в ход пошёл Reinforcement Learning алгоритм (PPO), который по этой reward модели ещё чуть-чуть затюнил GPT.
В итоге InstructGPT стала менее токсичной, реже путается в фактах и в целом лучше справляется со всеми задачами. Говорят, что даже 1.3B новая модель лучше, чем 175B старая.
P.S. Похоже, что что RL теперь снова в моде благодаря языковым моделям.
Статья, блог, GitHub
MARIDA (Архив морского мусора)
Это первый набор данных, основанный на мультиспектральных спутниковых данных Sentinel-2 (S2), который позволяет отличить морской мусор от других морских объектов, включая макроводоросли Sargassum, корабли, природные органические материалы, волны, волнения, пену, различные типы воды (т.е. прозрачная, мутная вода, вода с осадками, мелководье) и облака.
🗂 Датасет
#ScientificML #datasets #earthscience
Это первый набор данных, основанный на мультиспектральных спутниковых данных Sentinel-2 (S2), который позволяет отличить морской мусор от других морских объектов, включая макроводоросли Sargassum, корабли, природные органические материалы, волны, волнения, пену, различные типы воды (т.е. прозрачная, мутная вода, вода с осадками, мелководье) и облака.
🗂 Датасет
#ScientificML #datasets #earthscience
Deep physical neural networks trained with backpropagation.
Глубокое обучение уже повсюду. Однако, оно присутствует только в виде кода. Исследователи предложили делать бэкпроп сразу на физических приборах (обучение с учетом физики). Подобно тому, как глубокое обучение реализует вычисления с помощью глубоких нейронных сетей, состоящих из слоев математических функций, этот подход позволяет обучать глубокие физические нейронные сети, состоящие из слоев управляемых физических систем.
Коллектив авторов обучил различные физические нейронные сети, основанные на оптике, механике и электронике, для экспериментального выполнения задач классификации аудио и изображений. Физические нейронные сети способны выполнять машинное обучение быстрее и более энергоэффективно, чем обычные электронные процессоры, и, в более широком смысле, могут наделять физические системы автоматически создаваемыми физическими функциями, например, для робототехники, материалов и интеллектуальных датчиков.
📎 Статья
#physics #chip #hardware
Глубокое обучение уже повсюду. Однако, оно присутствует только в виде кода. Исследователи предложили делать бэкпроп сразу на физических приборах (обучение с учетом физики). Подобно тому, как глубокое обучение реализует вычисления с помощью глубоких нейронных сетей, состоящих из слоев математических функций, этот подход позволяет обучать глубокие физические нейронные сети, состоящие из слоев управляемых физических систем.
Коллектив авторов обучил различные физические нейронные сети, основанные на оптике, механике и электронике, для экспериментального выполнения задач классификации аудио и изображений. Физические нейронные сети способны выполнять машинное обучение быстрее и более энергоэффективно, чем обычные электронные процессоры, и, в более широком смысле, могут наделять физические системы автоматически создаваемыми физическими функциями, например, для робототехники, материалов и интеллектуальных датчиков.
📎 Статья
#physics #chip #hardware
This media is not supported in your browser
VIEW IN TELEGRAM
Open Catalyst
Meta AI и Университет Карнеги-Меллон объединили усилия для поиска более эффективных и масштабируемых способов хранения и использования возобновляемой энергии.
Переход на возобновляемые источники энергии требует способа хранения энергии на время, когда солнце не светит и ветер не дует. Для этого необходимы электрокатализаторы. Однако имеющиеся сегодня электрокатализаторы неэффективны или основаны на редких и дорогих материалах.
Open Catalyst стремится найти недорогие катализаторы, способные стимулировать химические реакции, необходимые для преобразования избыточной энергии солнца и ветра в другие виды топлива, которые могут быть использованы для выработки электроэнергии, когда другие источники возобновляемой энергии недоступны. Если разработать ИИ для точного прогнозирования атомных взаимодействий быстрее, чем тяжелые вычислительные симуляции, на которые сегодня полагаются ученые, то расчеты, занимающие в современных лабораториях дни, смогут занимать секунды.
📸 Блог-пост
#ScientificML
Meta AI и Университет Карнеги-Меллон объединили усилия для поиска более эффективных и масштабируемых способов хранения и использования возобновляемой энергии.
Переход на возобновляемые источники энергии требует способа хранения энергии на время, когда солнце не светит и ветер не дует. Для этого необходимы электрокатализаторы. Однако имеющиеся сегодня электрокатализаторы неэффективны или основаны на редких и дорогих материалах.
Open Catalyst стремится найти недорогие катализаторы, способные стимулировать химические реакции, необходимые для преобразования избыточной энергии солнца и ветра в другие виды топлива, которые могут быть использованы для выработки электроэнергии, когда другие источники возобновляемой энергии недоступны. Если разработать ИИ для точного прогнозирования атомных взаимодействий быстрее, чем тяжелые вычислительные симуляции, на которые сегодня полагаются ученые, то расчеты, занимающие в современных лабораториях дни, смогут занимать секунды.
📸 Блог-пост
#ScientificML
Раскопал старое видео про вертолетик, который делает трюки с помощью обучения с подкреплением (RL). Сейчас все эти люди выглядят совсем по другому, и занимают совершенно другие должности. Воистину, как пелось в песне группы I Fight Dragons: The geeks will inherit the Earth (ботаны унаследуют Землю).
Знакомимся: Andrew Ng - основатель Coursera, Adam Coats - директор в Apple, Pieter Abbeel - директор Berkeley Robot Learning Lab
Знакомимся: Andrew Ng - основатель Coursera, Adam Coats - директор в Apple, Pieter Abbeel - директор Berkeley Robot Learning Lab
YouTube
Autonomous Helicopters Teach Themselves to Fly Stunts
Stanford computer scientists have developed an artificial intelligence system that enables robotic helicopters to teach themselves to fly difficult stunts by watching other helicopters perform the same maneuvers. The technique is known as "apprenticeship…
Forwarded from DL in NLP (Vlad Lialin)
DeepMind выпустил AlphaCode, который прогает лучше половины твоих знакомых.
Во многом похож на Codex, но есть отличия.
Основной подход:
1. Encoder-decoder, 41B параметров
1. Декодер обучается предсказывать следующее слово, а энкодер делает MLM. Всё end2end.
1. Заскрапили датасет задачек с Codeforces и зафайнтюнили на нём модель
1. Во время тестирования семплили очень большое количество решения (до миллиона) и потом выбирали из них с помощью кластеризации, эвристик и, самое главное, проходят ли они открытые тесты которые приложены к задачке. Сабмитили на финальную проверку только топ-10.
По результатам: AlphaCode решает задачки лучше, чем 54% пользовалетей Codeforces (не очень альфа пока что, но стремится туда).
Небольшие технические отличия от Codex:
1. Максимальная длина для энкодера 1536, для декодера 768
1. Использовали Multi-query attention, модификацию attention, которая использует одни и те же K и V для разныех голов – позволило улучшить потребление памяти и скорость декодирования
1. Очень маленький словарь токенизатора, 8К.
1. Во время файтнюнинга использовали температуру 0.2, которая делает распределение более острым. При тесте температура не использовалась, назвали это tempering.
1. Файнтюнились и на правильных и на неправильных решениях, при этом моделе заранее сообщается сигнал корректное ли это решения.
1. Для файнтюнинга использовали лосс, который называется GOLD. По сути это взвешенная кросс-энтропия, несмотря на то, что выглядит как RL.
Вот тут можно посмотреть на визуализацию attention, а ещё есть популярно написанный блогпост
Во многом похож на Codex, но есть отличия.
Основной подход:
1. Encoder-decoder, 41B параметров
1. Декодер обучается предсказывать следующее слово, а энкодер делает MLM. Всё end2end.
1. Заскрапили датасет задачек с Codeforces и зафайнтюнили на нём модель
1. Во время тестирования семплили очень большое количество решения (до миллиона) и потом выбирали из них с помощью кластеризации, эвристик и, самое главное, проходят ли они открытые тесты которые приложены к задачке. Сабмитили на финальную проверку только топ-10.
По результатам: AlphaCode решает задачки лучше, чем 54% пользовалетей Codeforces (не очень альфа пока что, но стремится туда).
Небольшие технические отличия от Codex:
1. Максимальная длина для энкодера 1536, для декодера 768
1. Использовали Multi-query attention, модификацию attention, которая использует одни и те же K и V для разныех голов – позволило улучшить потребление памяти и скорость декодирования
1. Очень маленький словарь токенизатора, 8К.
1. Во время файтнюнинга использовали температуру 0.2, которая делает распределение более острым. При тесте температура не использовалась, назвали это tempering.
1. Файнтюнились и на правильных и на неправильных решениях, при этом моделе заранее сообщается сигнал корректное ли это решения.
1. Для файнтюнинга использовали лосс, который называется GOLD. По сути это взвешенная кросс-энтропия, несмотря на то, что выглядит как RL.
Вот тут можно посмотреть на визуализацию attention, а ещё есть популярно написанный блогпост
OpenAI научили нейросеть решать (некоторые) олимпиадные задачи по математике
Они создали нейронный доказыватель, который научился решать множество сложных олимпиадных задач для старших классов, включая задачи из конкурсов AMC12 и AIME, а также две задачи, адаптированные из IMO (математики, дайте знать в коментах круто ли это).
Доказыватель использует языковую модель для поиска доказательств формальных утверждений.
Каждый раз, когда OpenAI находят новое доказательство, они используют его в качестве новых обучающих данных (таким образом улучшая нейронную сеть и позволяя ей итеративно находить решения все более трудных утверждений)
📸 Блог-пост
📎 Статья
#ScientificML #math
Они создали нейронный доказыватель, который научился решать множество сложных олимпиадных задач для старших классов, включая задачи из конкурсов AMC12 и AIME, а также две задачи, адаптированные из IMO (математики, дайте знать в коментах круто ли это).
Доказыватель использует языковую модель для поиска доказательств формальных утверждений.
Каждый раз, когда OpenAI находят новое доказательство, они используют его в качестве новых обучающих данных (таким образом улучшая нейронную сеть и позволяя ей итеративно находить решения все более трудных утверждений)
📸 Блог-пост
📎 Статья
#ScientificML #math
Начало работы с PyTorch Image Models (timm): Руководство для практиков
PyTorch Image Models (timm) - это современнейшая библиотека для классификации изображений, содержащая коллекцию моделей изображений, оптимизаторов, планировщиков и дополнений. Недавно timm была названа самой популярной библиотекой на papers-with-code 2021 года!
Собственно новость в том, что вышел самый подробный туториал-разбор как с ней работать.
📸 Блог-пост
#beginners #images #tutorial
PyTorch Image Models (timm) - это современнейшая библиотека для классификации изображений, содержащая коллекцию моделей изображений, оптимизаторов, планировщиков и дополнений. Недавно timm была названа самой популярной библиотекой на papers-with-code 2021 года!
Собственно новость в том, что вышел самый подробный туториал-разбор как с ней работать.
📸 Блог-пост
#beginners #images #tutorial
Forwarded from ForkLog AI
🔎 Американские исследователи обучили ИИ обнаруживать мертвые нейроны быстрее экспертов-людей. Этот подход поможет врачам лечить болезнь Альцгеймера, считают ученые.
Исследователи создали биомаркерно-оптимизированный алгоритм на базе сверточной нейросети BO-CNN, который обучили различать мертвые и живые клетки. Для этого они использовали чашку Петри с нейронами мышей, которые производили нетоксичный белок GEDI, окрашивающий живые нейроны в зеленый цвет, а мертвые — в желтый.
Затем ученые показали ИИ клетки без цветовой окраски. Он смог отличить живые нейроны от мертвых быстрее и точнее экспертов-людей. Алгоритм также выдал высокую точность при идентификации неизвестных типов клеток.
☝️ Исследователи выяснили, что BO-CNN частично обнаруживает гибель нейронов, фокусируясь на изменении паттернов флуоресценции в ядре клетки. По их словам, эта особенность раньше была неизвестна и может являться причиной, по которой все предыдущие алгоритмы работали менее точно представленной модели.
#исследование #медицина
Исследователи создали биомаркерно-оптимизированный алгоритм на базе сверточной нейросети BO-CNN, который обучили различать мертвые и живые клетки. Для этого они использовали чашку Петри с нейронами мышей, которые производили нетоксичный белок GEDI, окрашивающий живые нейроны в зеленый цвет, а мертвые — в желтый.
Затем ученые показали ИИ клетки без цветовой окраски. Он смог отличить живые нейроны от мертвых быстрее и точнее экспертов-людей. Алгоритм также выдал высокую точность при идентификации неизвестных типов клеток.
☝️ Исследователи выяснили, что BO-CNN частично обнаруживает гибель нейронов, фокусируясь на изменении паттернов флуоресценции в ядре клетки. По их словам, эта особенность раньше была неизвестна и может являться причиной, по которой все предыдущие алгоритмы работали менее точно представленной модели.
#исследование #медицина