Forwarded from DLStories
Gato😺 от DeepMind — модель, которая умеет решать сразу кучу задач: language modeling, image captioning, играть в игры, передвигать предметы робо-рукой и т.д.
Идея Gato очень проста. Смотрите, у нас есть GPT-3 — авторегрессионная модель, которая умеет предсказывать следующий токен по входной последовательности. Что если другие задачи — image captioning, RL и т.п.— тоже представить в виде "предскажи следующий токен по предыдущим"?
Например, преобразуем картинки в последовательность токенов, будем подавать их на вход модели и ждать ответ — caption картинки. Иля для RL: представим информацию о состоянии среды и предыдущих действиях агента в виде последовательности. Подадим модели на вход и будем ждать ответ — следующее действие для агента.
Получается, Gato — это GPT-3 для решения сразу 604(‼️) задач, которые представляются в таком виде.
Как информация для разных задач кодируется в последовательности токенов и какие задачи решает Gato, читайте в блоге DeepMind и в статье на arxiv.
Идея Gato очень проста. Смотрите, у нас есть GPT-3 — авторегрессионная модель, которая умеет предсказывать следующий токен по входной последовательности. Что если другие задачи — image captioning, RL и т.п.— тоже представить в виде "предскажи следующий токен по предыдущим"?
Например, преобразуем картинки в последовательность токенов, будем подавать их на вход модели и ждать ответ — caption картинки. Иля для RL: представим информацию о состоянии среды и предыдущих действиях агента в виде последовательности. Подадим модели на вход и будем ждать ответ — следующее действие для агента.
Получается, Gato — это GPT-3 для решения сразу 604(‼️) задач, которые представляются в таком виде.
Как информация для разных задач кодируется в последовательности токенов и какие задачи решает Gato, читайте в блоге DeepMind и в статье на arxiv.
Очень интересный тред про пошаговый дизайн промпта для GPT-3. Возможно большие языковые модели гораздо умнее, чем мы думали.
Языковые модели становятся жутковато умными. Чел решил поговорить с Шиншилой (относительно новая Гугловая моделька) на выдуманном языке, и она ему довольно в тему отвечает! Весь тред тут
Forwarded from Denis Sexy IT 🤖
Есть такой сайт, Metaculus — это сервис, где разные чуваки, вроде технарей и программистов, дают прогнозы по большому кругу тем. Причём, предсказания они обосновывают, рассчитывают и дают свои оценки случится ли то или иное событие, или, к примеру, когда это случится и на что это повлияет.
И вот есть там такой интересный прогноз под названием «Когда мы узнаем что появился общий искусственный интеллект» (типа умеющий решать любые задачи) — и вот в последнее время, а если быть точнее с апреля 2022, срок ожидания предсказания резко сократился, с первоначально предсказанного ~2042 года, до ~2028.
Чтобы вы понимали, что этот ИИ не будет захватывать галактики и порабощать человечество (пока что), вот его основные критерии, то есть, если все они будут удовлетворены, то прогноз сбудется:
🔹 ИИ должен свободно пройти тест Тьюринга, который принёс бы ему серебряную премию Лёбнера: с 1991 года программы соревнуются кто из них более «человечный», а самая жива программа, по мнеию судей, получает премию в $2 000, то есть достаточно второго места. Жаль я не знал про эту премию пару лет назад, когда делал свой фейковый тест тьюринга, заработал бы хоть чуть-чуть.
🔹 ИИ должен набрать 90% или более в Winograd Schema Challenge — это тестер машинного интеллекта, аналог теста Тьюринга.
🔹 Уметь набрать 75-й процентиль (по сравнению со студентами, в 2016 году этот показатель составлял 600 баллов) по всем разделам математики стандартного экзамена SAT 2015-2020 годов. Это академический тест, который оценивает знания американской школьной программы. При этом, в качестве датасета ИИ может иметь менее 10 решенных экзаменов, остальному должен обучиться самостоятельно.
🔹 Суметь научится играть в классическую игру Atari «Montezuma’s revenge», исследовать в ней все 24 комнаты, в качестве датасета на вход ИИ должен посмотреть менее 100 часов геймплея.
🔹Система должна объяснить свои рассуждения по задаче SAT и другим тестам, устно сообщить о своём прогрессе и, например, идентифицировать объект во время игры.
Решение о том, что мол вот он «сильный ИИ» будет принято путём демонстрации, либо путём заявления разработчиков о том, что всё работает и система справляется. Датой разрешения и, собственно, «сбычи» прогноза будет дата, когда система будет публично описана в докладе, пресс-релизе, статье (поэтому обязательно читайте канал).
Лично мне кажется, что судя по тем успехам последних месяцев что мы видели при работе нейронок «под все задачи» – где она уже сейчас считает участников на фото понимая где какой предмет относительно персонажей, или проходит собеседование, или где ИИ объясняет шутки – этот прогноз уже даже ближе 2028 года, дальше люди буду спорить, что же означает термин ИИ и как его трактовать. Мой прогноз – я думаю все эти задачи один ИИ решит к 2025 году или раньше, мы уже близко.
Отдельно радует, что прогноз по вымиранию человечества к 2100 году пока остался на уровне 2%-вероятности 🌚
@Denis
И вот есть там такой интересный прогноз под названием «Когда мы узнаем что появился общий искусственный интеллект» (типа умеющий решать любые задачи) — и вот в последнее время, а если быть точнее с апреля 2022, срок ожидания предсказания резко сократился, с первоначально предсказанного ~2042 года, до ~2028.
Чтобы вы понимали, что этот ИИ не будет захватывать галактики и порабощать человечество (пока что), вот его основные критерии, то есть, если все они будут удовлетворены, то прогноз сбудется:
🔹 ИИ должен свободно пройти тест Тьюринга, который принёс бы ему серебряную премию Лёбнера: с 1991 года программы соревнуются кто из них более «человечный», а самая жива программа, по мнеию судей, получает премию в $2 000, то есть достаточно второго места. Жаль я не знал про эту премию пару лет назад, когда делал свой фейковый тест тьюринга, заработал бы хоть чуть-чуть.
🔹 ИИ должен набрать 90% или более в Winograd Schema Challenge — это тестер машинного интеллекта, аналог теста Тьюринга.
🔹 Уметь набрать 75-й процентиль (по сравнению со студентами, в 2016 году этот показатель составлял 600 баллов) по всем разделам математики стандартного экзамена SAT 2015-2020 годов. Это академический тест, который оценивает знания американской школьной программы. При этом, в качестве датасета ИИ может иметь менее 10 решенных экзаменов, остальному должен обучиться самостоятельно.
🔹 Суметь научится играть в классическую игру Atari «Montezuma’s revenge», исследовать в ней все 24 комнаты, в качестве датасета на вход ИИ должен посмотреть менее 100 часов геймплея.
🔹Система должна объяснить свои рассуждения по задаче SAT и другим тестам, устно сообщить о своём прогрессе и, например, идентифицировать объект во время игры.
Решение о том, что мол вот он «сильный ИИ» будет принято путём демонстрации, либо путём заявления разработчиков о том, что всё работает и система справляется. Датой разрешения и, собственно, «сбычи» прогноза будет дата, когда система будет публично описана в докладе, пресс-релизе, статье (поэтому обязательно читайте канал).
Лично мне кажется, что судя по тем успехам последних месяцев что мы видели при работе нейронок «под все задачи» – где она уже сейчас считает участников на фото понимая где какой предмет относительно персонажей, или проходит собеседование, или где ИИ объясняет шутки – этот прогноз уже даже ближе 2028 года, дальше люди буду спорить, что же означает термин ИИ и как его трактовать. Мой прогноз – я думаю все эти задачи один ИИ решит к 2025 году или раньше, мы уже близко.
Отдельно радует, что прогноз по вымиранию человечества к 2100 году пока остался на уровне 2%-вероятности 🌚
@Denis
Forwarded from Denis Sexy IT 🤖
This media is not supported in your browser
VIEW IN TELEGRAM
Я еще пару лет назад делился в канале футуристичной идеей «загружаешь в нейронку абзац книги, а она тебе генерирует арт по тексту» и рад видеть, что это просто уже реальность – на видео пример работы такой концепции в Dalle 2.
Видимо, через какое-то время появятся аппы-читалки где это будет одна из встроенных фич, чисто для погружения ✨
Видимо, через какое-то время появятся аппы-читалки где это будет одна из встроенных фич, чисто для погружения ✨
Forwarded from эйай ньюз
🔥Ахтунг! Google разбил DALLE-2, выпустив свою text-2-image дифузионную модель Imagen
Основная идея: Large Pretrained Language Model × Cascaded Diffusion Model. То есть, мощная большая предобученная текстовая модель это залог успеха в генерации фотореалистичных картинок по описанию.
В статье есть куча подробного анализа и сравнений.
https://gweb-research-imagen.appspot.com/
@Artem Gradient
Основная идея: Large Pretrained Language Model × Cascaded Diffusion Model. То есть, мощная большая предобученная текстовая модель это залог успеха в генерации фотореалистичных картинок по описанию.
В статье есть куча подробного анализа и сравнений.
https://gweb-research-imagen.appspot.com/
@Artem Gradient
Media is too big
VIEW IN TELEGRAM
У меня на курсе был проект для студентов. Нужно было снять/сгенерировать короткий видео-ролик, популяризующий какую-то область науки, с помощью нейросетей. Как и обещал - выкладываю свою любимую работу.
В ней используются аж несколько нейросетей и ни одной строчки кода:
- саммари с текста
- перевод
- русская озвучка
- генератор музыки
- генератор говорящего автара
- рисунки
- внешность
- переводит речь из видео в текст
В ней используются аж несколько нейросетей и ни одной строчки кода:
- саммари с текста
- перевод
- русская озвучка
- генератор музыки
- генератор говорящего автара
- рисунки
- внешность
- переводит речь из видео в текст
Кстати, MONOLAMA закрывает розницу. Так что сейчас - последний шанс купить что-то из нашей нейроколлекции, в которой броши были придуманы с помощью нейросетей.
Покупать тут
Покупать тут
Forwarded from Olga Bondareva
#обучение #события
«Вычислительная биология и искусственный интеллект для персонализированной медицины-2022».
Конференция состоится в формате online, 2-4 августа 2022.
Расписание:
2 августа (две секции параллельно):
Bioinformatics
Machine learning & Artificial intelligence in medicine
3 августа (две секции параллельно):
Health and Wellness Startups & Apps
Modern technological solutions for practical healthcare
4 августа:
Презентация докладов молодых ученых
Конкурс молодых ученых, победитель получит приз от орг. комитета конференции.
Подробности по ссылке: https://cbai.endocrincentr.ru/
«Вычислительная биология и искусственный интеллект для персонализированной медицины-2022».
Конференция состоится в формате online, 2-4 августа 2022.
Расписание:
2 августа (две секции параллельно):
Bioinformatics
Machine learning & Artificial intelligence in medicine
3 августа (две секции параллельно):
Health and Wellness Startups & Apps
Modern technological solutions for practical healthcare
4 августа:
Презентация докладов молодых ученых
Конкурс молодых ученых, победитель получит приз от орг. комитета конференции.
Подробности по ссылке: https://cbai.endocrincentr.ru/
cbai.endocrincentr.ru
CBAI-2024
Forwarded from TechSparks
Вторая ссылка — на пересказ исследовательской работы специалистов из Center for Human and Machines at the Max Planck Institute for Human Development. Там задались вопросом: если человеческая культура основана на передаче знаний и идей от человека к человеку, что произойдет, если в этой цепочке передач появятся алгоритмы? Опыт показывает, что как минимум на некоторые культурные вещи алгоритмы могут оказать долгосрочное влияние: достаточно посмотреть, как находки Alfa Zero в игре в шахматы и го сказались на стиле современных людей-игроков. Люди, учившиеся у людей и алгоритмов, играют иначе и лучше, чем те, кто учился только у других людей (полезно напомнить, что Alfa Zero у людей вообще не училась и людской игры не видела, все осваивала и создавала сама) — и этот эффект устойчив. Но в других случаях, люди предпочитают решения, которым они научились от других людей, даже если они менее эффективны чем предложенные алгоритмами.
Кажется, тут открывается огромное поле для важных исследований, потому что в культуре будет все больше вклада от алгоритмов, и как он будет ассимилироваться или отвергаться, хорошо бы начать понимать.
https://www.vice.com/en/article/pkp7y7/human-culture-to-increasingly-come-from-unexplainable-ai-sociologists-find
Кажется, тут открывается огромное поле для важных исследований, потому что в культуре будет все больше вклада от алгоритмов, и как он будет ассимилироваться или отвергаться, хорошо бы начать понимать.
https://www.vice.com/en/article/pkp7y7/human-culture-to-increasingly-come-from-unexplainable-ai-sociologists-find
VICE
AI Inventing Its Own Culture, Passing It On to Humans, Sociologists Find
Algorithms could increasingly influence human culture, even though we don't have a good understanding of how they interact with us or each other.
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
А это молодой Ян ЛеКун, друзья. Он тут понтуется своей CNN, которая распознает цифры. Это была первая в мире нейронная сеть с такими возможностями (1993 год).
Тогда ЛеКуну было 32 года. То есть не то, чтобы он был очень молодым, когда создал прорыв всей своей жизни. И после этого ещё минимум 15 лет он и его парни считались сумасшедшими аутсайдерами со своими ебучими нейронками, в которые никто не верил. Ну и где теперь те, кто смеялся над ним тогда?
В общем, работаем, мужики и мужичессы.
#мотивация
@Artem Gradient
Тогда ЛеКуну было 32 года. То есть не то, чтобы он был очень молодым, когда создал прорыв всей своей жизни. И после этого ещё минимум 15 лет он и его парни считались сумасшедшими аутсайдерами со своими ебучими нейронками, в которые никто не верил. Ну и где теперь те, кто смеялся над ним тогда?
В общем, работаем, мужики и мужичессы.
#мотивация
@Artem Gradient
Forwarded from DLStories
Бесплатные летние школы и конференции по искусственному интеллекту
Этим летом в России пройдут как минимум две научные школы и одна конференция по теме ИИ и deep learning:
1️⃣ Лето с AIRI: 4-недельная школа по ИИ для студентов и аспирантов. Участники проведут две недели с ведущими учёными из AIRI, МФТИ, ВШЭ, Сколтеха, University of Massachusetts Lowell, Mila Quebec AI Institute, МГТУ им. Баумана, РАН и других авторитетных научно-исследовательских организаций и ВУЗов. В программе — лекции, практические семинары, сореванования и воркшопы на разные темы ИИ: планирование поведения, обучение с подкреплением, нейросетевые методов анализа естественного языка, компьютерное зрение, объяснимые методы в искусственном интеллекте и т.п.
Где: Сочи, Сириус
Когда: 4-17 июля 2022
Дедлайн подачи заявки: 1 июня 2022
2️⃣ Летняя конференция AIRI. В продолжение летней школы AIRI проведет конференцию о современных результатах в области построения предиктивных моделей машинного обучения с учетом физико-математических моделей процессов. Проводится совместно с организаторами научных школ машинного обучения (SMILES, Евгений Бурнаев) и глубокого обучения и байесовских методов (Deep Learning and Bayesian Methods, Дмитрий Ветров).
Где: Сочи, Сириус
Когда: 18-26 июля 2022
Дедлайн подачи заявки: 12 июня 2022
3️⃣ Научная школа по экспериментальной и теоретической нейробиологии "Сложные нейронные сети и когнитивно специализированные нейроны". На школе бцдет цикл лекций и семинаров ведущих ученых о новых достижениях в экспериментальной и теоретической нейробиологии, а также неформальных обсуждений ключевых проблем исследований мозга. Приглашаются студенты, аспиранты и молодые ученые, интересующиеся экспериментальной и теоретической нейробиологией.
Где: Ингушетия, Армхи
Когда: 17-24 июля 2022
Дедлайн подачи заявки: 5 июня 2022
Этим летом в России пройдут как минимум две научные школы и одна конференция по теме ИИ и deep learning:
1️⃣ Лето с AIRI: 4-недельная школа по ИИ для студентов и аспирантов. Участники проведут две недели с ведущими учёными из AIRI, МФТИ, ВШЭ, Сколтеха, University of Massachusetts Lowell, Mila Quebec AI Institute, МГТУ им. Баумана, РАН и других авторитетных научно-исследовательских организаций и ВУЗов. В программе — лекции, практические семинары, сореванования и воркшопы на разные темы ИИ: планирование поведения, обучение с подкреплением, нейросетевые методов анализа естественного языка, компьютерное зрение, объяснимые методы в искусственном интеллекте и т.п.
Где: Сочи, Сириус
Когда: 4-17 июля 2022
Дедлайн подачи заявки: 1 июня 2022
2️⃣ Летняя конференция AIRI. В продолжение летней школы AIRI проведет конференцию о современных результатах в области построения предиктивных моделей машинного обучения с учетом физико-математических моделей процессов. Проводится совместно с организаторами научных школ машинного обучения (SMILES, Евгений Бурнаев) и глубокого обучения и байесовских методов (Deep Learning and Bayesian Methods, Дмитрий Ветров).
Где: Сочи, Сириус
Когда: 18-26 июля 2022
Дедлайн подачи заявки: 12 июня 2022
3️⃣ Научная школа по экспериментальной и теоретической нейробиологии "Сложные нейронные сети и когнитивно специализированные нейроны". На школе бцдет цикл лекций и семинаров ведущих ученых о новых достижениях в экспериментальной и теоретической нейробиологии, а также неформальных обсуждений ключевых проблем исследований мозга. Приглашаются студенты, аспиранты и молодые ученые, интересующиеся экспериментальной и теоретической нейробиологией.
Где: Ингушетия, Армхи
Когда: 17-24 июля 2022
Дедлайн подачи заявки: 5 июня 2022