Немного с запозданием, но лучше, чем никогда: го смотреть ежегодную конференцию Facebook Connect 2021: ссылка. Это лайв ивент, он все еще идет, залетайте!

Спойлер: компания теперь называется не Facebook, а Meta

На конференции ежегодно рассказывают про цели компании, путь к инновациям и новинки в AI сфере и в AR/VR. В этот раз еще и про метавселенную =)

Что там по Фейсбуку Мете

Вчера прошла Facebook Connect 2021: это ежегодная конференция, где компания рассказывает об инновация в области ИИ, AR и VR, показывает новые наработки и рассуждает о том, какое будущее ждет корпорацию. Полную запись презентации можно посмотреть на YouTube. А мы вкратце расскажем о том, что вчера показали и снабдим вас ссылками, где про это можно почитать подробнее.

Вот что рассказали на конференции вчера:
✔️ Facebook сменил название на Meta. Тут видна связь между новым названием и мета-вселенной, о создании которой Facebook недавно объявил. Вот официальный пост компании в инстаграме, в котором они объявили о ребрендинге, а на видео об этом говорится на минуте 1:43:07. При этом подчеркнув, что все продукты компании остаются на месте и миссия компании тоже не меняется — "объединять людей".
✔️ Project Cambria: создание реалистичных аватаров людей для общения на расстоянии. Представьте: вместо маленького видео в окошечке Zoom вы теперь сможете видеть прямо перед собой реалистичный аватар собеседника в полный рост. Наверное, это поможет создать более сильное впечатление "живого" общения с человеком. Подробнее: пост в тг, ещё пост в тг, и также об этом можно посмотреть начиная с 1:28:40 на вчерашней видеопрезентации.
✔️ Ну и для тех, кому интересны Oculus: о них рассказывали, начиная с минуты 50:42.

Ну как впечатления? Верите в успех компании и метавселенной? 🙂

(последний пост про Мету, обещаю)

Вот на The Verge вышло большое интервью с Цукербергом: там о том, почему Мета (и зачем?), что ещё компания планирует достичь и что у них уже получилось:

https://www.theverge.com/22749919/mark-zuckerberg-facebook-meta-company-rebrand

ИИ научился решать школьные задачи
#tech #paper

OpenAI представили модель, которая обучена решать математические задачи уровня начальной и средней школы.

Пример задачи:
"Али — директор частной школы, в которой он преподает один урок. Джон — тоже директор, но обычной муниципальной школы. Он ведет два урока. Количество учеников на каждом из уроков Джона равно 1/8 от количества учеников на уроке Али. На уроке Али 120 учеников. Сколько учеников учат Али и Джон вместе?"

Модель от OpenAI основана на GPT-3. Однако это не просто предобученный GPT-3, в которой загрузили текст задачи и попросили написать ответ: такой способ работает плохо. Причина — GPT хоть и довольно хорошо "понимает" язык и может выдавать сложные связные тексты и отвечать на вопросы, она не умеет в логику и последовательные рассуждения (multi-step reasoning). Если вы попросите GPT-3 решить задачу выше, она выдаст связный текст, похожий на текст решения задачи, но в большинстве случаев допустит в нем логические ошибки.

Чтобы научить GPT-3 решать логические задачи, исследователи применили следующий трюк: указывали модели на ошибки в ее рассуждении и учили эти ошибки исправлять. Во время обучения модель пыталась решать задачу несколько раз до тех пор, пока у нее не получалось сделать это правильно.

Благодаря такой схеме обучения получилась модель, которая успешно решает 55% задач из тестовой части датасета. Это много: для сравнения, школьники 9-12 лет показали результат 60% на этих же задачах.

Вместе с моделью OpenAI выложили и датасет GSM8K, на котором обучали модель. Датасет содержит 8.5 тысяч различных школьных задач с решениями. Теперь можно и самому учиться создавать такие модели. Думаю, у кого-то уже появилась идея для стартапа 🙃

Больше подробностей — в блогпосте OpenAI и статье на arxiv

Ребята, готовимся к Хэллоуину! Напоминаю про сайт, где можно сделать себе зомби-аватарку в четь праздника: https://makemeazombie.com
(работает на нейронке stylegan)

Посмотрите на меня-зомбака, просто милашка же :3
#ai_fun

Уже отпраздновали/будете праздновать Хеллоуин?

Ну что, Happy Halloween!

Видяшку стащила с канала @DeepFaker

Коллекция русского мата, классификатор токсичности и детоксификатор

Всё это недавно представили исследователи из Сколтеха совместно с МТС.

Классификатор основан на RoBERTa и работает он очень классно. Есть модели для русского (тык) и для английского (тык).

А вот детоксификатор иногда выдаёт странные перлы 🌚

P.S. Да, матерных корня всего 4, но различных форм там собрано больше 130 тысяч. Словообразование у нас очень богатое 💁‍♂️

Статья, GitHub, маты, блог

#промо

Каждый день мы видим, сколько всего интересного создаётся в мире. Сегодня это уже не только про творчество, но и про то, что это может и должно приносить доход. А вы знали, что есть люди, которые умудрились заработать миллионы долларов, создав уникальный NFT (сертификат уникальности цифрового объекта)?

Подписывайтесь на канал IPQ, чтобы читать про самые интересные кейсы из сферы интеллектуального права, советы профессиональных юристов и быть на шаг ближе к монетизации своего творчества.

Предлагаю посмотреть выступление Джеффа Дина (главы по AI в Google) на TED.
#ai_inside

Джефф рассказал о том, как у ИИ получается решать сложные задачи от понимания языка до диагностики заболеваний и что нужно сделать, чтобы вложить в ИИ большее "понимание" мира для решения более ответственных задач в будущем.

Для новичков в DL и нейросетях от всей души реклмендую книгу Тарика Рашида "Создаем нейронные сети".
#learning #books

В ней — про то, как устроены и работают нейросети. Объяснение с иллюстрациями и примерами, понятным и приятным языком. Особенно понравилось, как Ришид объясняет алгоритм backpropagation — сначала на примере линейной регрессии, переходя затем к нейросетям. Отлично дает понимание работы обратного распространения ошибки.

Кроме теории нейросетей в книге также дается базовая практическая часть: введение в язык Python, написание простой нейросети на Python и работа с MNIST.

Ссылка на книгу на лабиринт.ру (чтобы вы понимали, как она выглядит)

10 ноября пройдет онлайн-конференция Яндекса об образовании. Бесплатно.

Нет, не только о том образовании, которое есть в школах и универах — о всех видах образования для всех возрастов и технологиях, используемых в нем. О том, как в разном возрасте мы принимаем решение учиться и как это влияет на наше общее будущее.

Программа рассчитана на всех, кого волнует тема образования — преподавателей, учителей, создателей образовательных проектов, родителей и тех, кто просто хочет учиться.

В программе:
▪️Как спланировать индивидуальную образовательную траекторию и развить умение учиться?
▪️Как сохранить мотивацию в учёбе и научной деятельности?
▪️Какие перспективы и возможности открывает непрерывное обучение?
▪️Почему математика — это универсальный язык будущего, как увидеть её красоту и зачем взрослому человеку развивать математическое мышление?
▪️Как современные технологии помогают делать открытия в биологии, физике и гуманитарных науках?

В числе спикеров:
🔸генеральный директор Яндекса в России Елена Бунина,
🔸научный журналист Ася Казанцева,
🔸директор Физтех-школы прикладной математики и информатики МФТИ Андрей Михайлович Райгородский,
🔸исследователь в Европейском университете Анна Булина,
🔸профессор инженерных наук Оклендского университета, соавтор курса «Как учиться учиться» Барбара Окли,
🔸руководитель карьерного центра в Яндекс.Практикуме Андрей Силин
🔸 другие эксперты

Регистрация и более подробная информация доступна по ссылке.

Ребята, прошу прощения за редкие посты на канале на неделе — неделя выдалась довольно тяжелой. Сегодня постараюсь исправиться и написать две интересные новости)

Вот вам пока ссылка на еще одну классный ивент — бесплатная конференция Nvidia GTC. Она пройдет 8-11 ноября онлайн.

В программе — много всего разного про AI: от философских бесед с лидерами индустрии до сугубо практических тренингов и мастер-классов и возсможностей задать вопросы ведущим исследователям онлайн.

Примеры тем (это покрывает ну 5% из всего, что там есть: конференция действительно как бы "про все" в AI):
- General use og GANs in media and entertainment;
- Building a career in Artificial Intelligence;
- AI in Fintech: with great power comes great responsibility;
- Deel Learning in genomics breakthroughs;
- Fireside chat: global AI leadership;
- Developing trustwothy AI principles;
- Can neural networks learn to reason?

Также много сессий про AI в медицине, искусстве, 3D; много информации о новых продуктах от NVidia. Уверена, каждый может найти ивент под свои интересы)

Ссылка: тык

Тут мой знакомый с канала @abstractDL сделал colab, где можно визуализировать взаимосвязь картинок и текста. Работает на CLIP (об этой нейросети мы писали тут).

Результаты забавные получаются 😅Делитесь своими в коментах =)
#demo

Наверняка все уже слышали, но если не слышали — рассказываю: Сбер выкатил реализацию нейросети DALL·Е на русском языке.

DALL·Е — нейросеть, которая по текстовому описанию может генерировать фото. Если вы видели знаменитое фото кресла в виде авокадо — это творение DALL·Е =)
Изначально эту нейросеть представили OpenAI в январе 2021. Мы писали об этом пост тут. Затем на huggingface появилось демо, в котором можно играться: задавать описание на английском и получать картиночку.

Теперь Сбер выкатил такое же демо на русском: они обучили свою модель ruDALL·Е для русского языка. Работает норм)

Читать о том, как Сбер сделал DALL·Е: Хабр
Смотреть код: GitHub
Играться:
- веб-демо
- тг-бот
- colab
- мобильное приложение "Сбер Салют" (ios, android)

На фото к посту варианты генерации "авокадо стул в российской глубинке"

Как обычно, жду ваши шедевры в комменты =)

ШАД выложил в открытый доступ учебник по машинному обучению (что приятно, русскоязычный). Пока написано только несколько глав, но базовые алгоритмы и метрики ML уже неплохо покрыты. По стилю похоже на хорошо отформатированную лекцию, с не очень сложными формулами и весьма наглядными картинками.

Сами авторы анонсируют его так:
"Онлайн-учебник по машинному обучению от ШАД — для тех, кто не боится математики и хочет разобраться в технологиях ML. Вы изучите классическую теорию и тонкости реализации алгоритмов, пройдя путь от основ машинного обучения до тем, которые поднимаются в свежих научных статьях".

https://ml-handbook.ru

Мультиязычные модели машинного перевода превзошли двуязычные.

С появлением архитектуры Трансформеров в 2017 году машинный перевод на основе нейросетей стал прекрасен. Сейчас у всех онлайн-переводчиков вроде Google Translate и Yandex Translate в продакшене для всех более-менее распространенных языков работают нейросети.

Стандартная нейросеть для машинного перевода — двуязычная, т.е. может работать только с одной парой языков. Она переводит текст с языка А на язык B. Любые попытки сделать мультиязычную модель для машинного перевода — такую, которая бы могла переводить текст с нескольких разных языков на несколько других языков — были провальны: они работали хуже, чем двуязычные модели. Единственно, в чем мультиязычные модели превосходили двуязычные — перевод с- и на- малораспространенные языки. Дело в том, что данных для малораспространенных языков недостаточно, чтобы хорошо натренировать на их перевод двуязычную модель; а вот мультиязычная модель может использовать свои знания нескольких языков, чтобы лучше переводить текст на языки, для которых есть мало данных.

Однако исследователи из Meta (бывший Facebook) недавно смогли обучить мультиязычную модель машинного перевода, которая показала лучшие результаты на 10 из 14 языках, чем двуязычные аналоги (результаты на бенчмарке WMT 2021, см. график к посту). Причем эта модель хорошо работает как на широко распространенных, так и на малораспространенных языках.

Мультиязычные модели имеют несколько преимуществ в использовании над двуязычными:
- они содержат меньше параметров, чем набор соответствующих двуязычных моделей;
- позволяют эффективно обрабатывать тексты, которые содержат много языков сразу: например, чаты в международных соцсетях, как Facebook;
- позволяют еще лучше осуществлять перевод с- и на- малораспространенные языки, так как модель хорошо использует для этого "знания" из других языков.

Технические подробности читайте по ссылкам:
Блогпост
Статья

Сегодня и завтра на канале дни GPT-3: будет несколько постов c историями, связанными с этой технологией.

Если вы не знаете, что такое GPT-3: кратко, это языковая модель, которая умеет генерировать текст, практически не отличимый от настоящего. Пример использования: задать начало статьи (например, первое предложение) и попросить GPT-3 эту статью дописать. Получится связный грамматически и по смыслу текст: его будет сложно отличить от текста, написанного реальным человеком. Вот пример.

Однако с помощью GPT-3 можно генерировать не только текст: идею этой технологии можно развить и на множество других задач. Вот примеры технологий на основе GPT-3:
— чат-боты и question answering. В том числе чат-боты, которые могут вести себя похоже на определенного человека. Вот ссылка на наш пост, в котором рассказано про один такой. Эта история позволит осознать всю мощь этой технологии. Это одновременно восхитительно и реально пугающе.
— автоматическая генерация кода. Программисты скоро будут не нужны =) (шутка. Или нет...). Возможно вы слышали о Copilot — это утилита от OpenAI, которая помогает разработчикам писать код, автоматически дополняя большие куски кода. О Copilot мы писали тут.
— генерация дизайна сайта
— генерация резюме, pdf документов и даже сценариев фильмов: короче говоря, GPT-3 может сгенерировать все, что угодно, основанное на тексте и символах.
— генерация изображений. GPT-3 можно научить генерировать графики, мемы, логотипы компаний — все, что угодно. А также можно пойти дальше и соединить текст и изображения: нейросеть DALL·Е, которая умеет генерировать изображения по текстовому описанию, основана на GPT-3. О ней мы совсем недавно писали тут (тут же ссылки на места, где с этой сеткой можно поиграться)
— решение математических задач. GPT-3 можно обучить так, что в ответ на условие задачи по математике или логике она будет генерировать решение: такую модель недавно представили в OpenAI

Это лишь малая часть того, чему можно научить GPT-3. В целом, можно сказать так: GPT-3 можно научить генерировать что угодно, что представляется в виде последовательности. Вот сайты, где вы найдете больше примеров задач, которые решает GPT-3 и онлайн-демо: machinelearningknowledge.ai, gptcrush.com, gpt3demo.com, gwern.net

При этом стоит понимать, что GPT-3 — это просто языковая модель. Она хорошо учится "имитировать" человека: генерировать похожие на настоящие данные (текст, картинки, диалоги в чатах и т.д.), но не обладает "интеллектом": не умеет логически мыслить, не понимает, что такое человек и эмоции и т.д. GPT-3 не сможет объяснить, почему выдала тот или иной текст. На практике это значит, что текст, выданный GPT-3, будет связным с точки зрения грамматики и смысла, но можно содержать логические ошибки, расхождения; текст может быть даже оскорбительным. Иногда даже два рядом стоящих сгенерированных предложения могут противоречить друг другу. А если попросить GPT-3 сгенерировать текст доказательства теоремы с формулами, текст будет связным, но непоследовательным и нелогичным, а формулы не будут иметь смысла.
Даже чтобы натренировать GPT-3 на решение простых школьных задач (последний из примеров выше), потребовалось внести в процесс обучения модели дополнительные изменения. И то полученная модель решает задачки все еще плохо.
И хоть тексты и чат-боты на основе GPT-3 кажутся до ужаса "настоящими" и полными смысла — они всего лишь выглядят таковыми. GPT-3 отлично мимикрирует под человека, но не улавливая сути того, что она делает.

Вот такой это зверь — GPT-3. Одновременно пугающий (см 1 пример), восхищающий, и местами разочаровывающий.
Больше почитать про GPT-3: technologyreview.com, searchenterpriseai