Почему стоит изучить эффективное глубокое обучение
Друзья, хочу рассказать о полезном онлайн-курсе "Эффективные вычисления для глубокого обучения", который читают в MIT.
Почему он важен? В последние годы появились мощные модели вроде GPT-3, но они требуют колоссальных вычислительных ресурсов. Чтобы сделать ИИ более доступным, критично повысить его эффективность.
В рамках курса изучают методы оптимизации нейросетей: сжатие, прунинг, квантование, поиск архитектур, распределенное обучение и многое другое.
Также рассматривают приложения этих подходов для языковых моделей, диффузии, видео и других задач. Есть практические лабораторные работы по запуску моделей типа GPT на обычном ноутбуке.
Таким образом, этот курс - отличный способ изучить ключевые техники, которые делают ИИ более эффективным и доступным. А это критически важно для его массового внедрения в реальные приложения, от смартфонов до IoT.
Поэтому я рекомендую этот курс всем, кто интересуется будущим глубокого обучения и хочет научиться оптимизировать нейросети. Лекции бесплатны, так что присоединяйтесь!
📕 Сайт курса
Друзья, хочу рассказать о полезном онлайн-курсе "Эффективные вычисления для глубокого обучения", который читают в MIT.
Почему он важен? В последние годы появились мощные модели вроде GPT-3, но они требуют колоссальных вычислительных ресурсов. Чтобы сделать ИИ более доступным, критично повысить его эффективность.
В рамках курса изучают методы оптимизации нейросетей: сжатие, прунинг, квантование, поиск архитектур, распределенное обучение и многое другое.
Также рассматривают приложения этих подходов для языковых моделей, диффузии, видео и других задач. Есть практические лабораторные работы по запуску моделей типа GPT на обычном ноутбуке.
Таким образом, этот курс - отличный способ изучить ключевые техники, которые делают ИИ более эффективным и доступным. А это критически важно для его массового внедрения в реальные приложения, от смартфонов до IoT.
Поэтому я рекомендую этот курс всем, кто интересуется будущим глубокого обучения и хочет научиться оптимизировать нейросети. Лекции бесплатны, так что присоединяйтесь!
📕 Сайт курса
hanlab.mit.edu
Course - MIT HAN Lab
Course collection of MIT HAN Lab.
This media is not supported in your browser
VIEW IN TELEGRAM
Тесла-бот Оптимус научился сортировать предметы самостоятельно
Компания Tesla продемонстрировала очередные успехи в разработке своего человекоподобного робота Оптимуса. Теперь он может автономно сортировать и перемещать различные предметы!
Ранее Илон Маск заявлял, что цель Тесла-бота - выполнять полезную, но опасную или скучную работу. Для этого нужно научить его взаимодействовать с окружающей средой.
И вот на днях инженеры Tesla продемонстрировали, как прототип Оптимуса самостоятельно раскладывает кубики по разным контейнерам, а затем занимается йогой "что бы расслабиться после долгого рабочего дня".
Это стало возможным благодаря алгоритмам компьютерного зрения и машинного обучения. Они позволяют роботу распознавать объекты и планировать захват и перемещение. Более того, в недавнем твите компании, утверждается что движениями управляет End-to-end нейросеть: на вход видео из зрения -> на выходе котроль робота.
Конечно, пока движения Тесла-бота немного неуклюжи. Но с каждой итерацией алгоритмы обучаются, и Оптимус становится всё более проворным.
В Tesla уверены, что скоро их робот сможет полноценно работать бок о бок с людьми. И глядя на их последние успехи, это кажется вполне реальным! Как считаете, что еще должен научиться делать Тесла-бот, чтобы стать по-настоящему полезным?
🤖 Ссылка
Компания Tesla продемонстрировала очередные успехи в разработке своего человекоподобного робота Оптимуса. Теперь он может автономно сортировать и перемещать различные предметы!
Ранее Илон Маск заявлял, что цель Тесла-бота - выполнять полезную, но опасную или скучную работу. Для этого нужно научить его взаимодействовать с окружающей средой.
И вот на днях инженеры Tesla продемонстрировали, как прототип Оптимуса самостоятельно раскладывает кубики по разным контейнерам, а затем занимается йогой "что бы расслабиться после долгого рабочего дня".
Это стало возможным благодаря алгоритмам компьютерного зрения и машинного обучения. Они позволяют роботу распознавать объекты и планировать захват и перемещение. Более того, в недавнем твите компании, утверждается что движениями управляет End-to-end нейросеть: на вход видео из зрения -> на выходе котроль робота.
Конечно, пока движения Тесла-бота немного неуклюжи. Но с каждой итерацией алгоритмы обучаются, и Оптимус становится всё более проворным.
В Tesla уверены, что скоро их робот сможет полноценно работать бок о бок с людьми. И глядя на их последние успехи, это кажется вполне реальным! Как считаете, что еще должен научиться делать Тесла-бот, чтобы стать по-настоящему полезным?
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Нейросеть, которая читает наши мысли и воссоздаёт увиденное
Представьте, что искусственный интеллект может заглянуть вам в мозг и увидеть там ваши визуальные воспоминания. Фантастика? А вот и нет! Ранее, мы уже видели вариации на тему "фотографий" из мозга. На этот раз, учёные разработали нейросеть, которая по активности мозга восстанавливает увиденные человеком видео. Давайте разберёмся, как это работает.
В основе лежат данные фМРТ - томографии, которая регистрирует кровоток в разных участках мозга. Считается, что чем больше крови приливает к участку мозга - тем более активен этот участок. По этим сигналам нейросеть проходит несколько этапов обучения, постепенно извлекая всё более абстрактные признаки зрительных образов.
На первом этапе модель изучает общие закономерности активности зрительной коры. Затем с помощью мультимодального обучения она учится выделять более семантические особенности, связанные с конкретными объектами.
И наконец, эти признаки комбинируются генеративной моделью в реалистичное видео, максимально соответствующее тому, что человек видел в действительности.
Результат впечатляет! Нейросеть не просто улавливает общие очертания, а воспроизводит тонкие детали и динамику происходящего. Семантическая точность достигает 85%.
Это открывает уникальную возможность заглянуть в сознание человека и увидеть его воспоминания в виде реалистичных видео. Конечно, мы ещё далеки от полного расшифровывания мыслей. Но каждое такое достижение ИИ приближает нас к разгадке тайн разума!
📕 Статья
🧠 Проект
Представьте, что искусственный интеллект может заглянуть вам в мозг и увидеть там ваши визуальные воспоминания. Фантастика? А вот и нет! Ранее, мы уже видели вариации на тему "фотографий" из мозга. На этот раз, учёные разработали нейросеть, которая по активности мозга восстанавливает увиденные человеком видео. Давайте разберёмся, как это работает.
В основе лежат данные фМРТ - томографии, которая регистрирует кровоток в разных участках мозга. Считается, что чем больше крови приливает к участку мозга - тем более активен этот участок. По этим сигналам нейросеть проходит несколько этапов обучения, постепенно извлекая всё более абстрактные признаки зрительных образов.
На первом этапе модель изучает общие закономерности активности зрительной коры. Затем с помощью мультимодального обучения она учится выделять более семантические особенности, связанные с конкретными объектами.
И наконец, эти признаки комбинируются генеративной моделью в реалистичное видео, максимально соответствующее тому, что человек видел в действительности.
Результат впечатляет! Нейросеть не просто улавливает общие очертания, а воспроизводит тонкие детали и динамику происходящего. Семантическая точность достигает 85%.
Это открывает уникальную возможность заглянуть в сознание человека и увидеть его воспоминания в виде реалистичных видео. Конечно, мы ещё далеки от полного расшифровывания мыслей. Но каждое такое достижение ИИ приближает нас к разгадке тайн разума!
📕 Статья
Please open Telegram to view this post
VIEW IN TELEGRAM
Прозрачность и управляемость больших языковых (и не только) моделей - теперь вполне достижимая цель
С появлением высокоэффективных архитектур ИИ, принимающих решения по непонятным и неинтерпретируемым людьми механикам, человечество забеспокоилось, что системы, которым мы не можем доверять, широко внедряются в нашу жизнь, вызывая вполне понятные страхи, риски (и мемы) о манипуляциях над людьми.
Вглядываясь во внутрее устройство моделей, мы видим нейроны, активизирующиеся в нескольких семантически различных контекстах. Это называется полисемантичность. Математически полисемантичность может быть следствием несоответствия количества признаков и измерений в слое (признаков больше) и их суперпозицией.
В векторном пространстве может быть только столько ортогональных векторов, сколько у него измерений, а значит, есть основания попытаться найти базис пространства активации - набор таких направлений, что каждый выученный моделью признак может быть восстановлен из линейной комбинации этих направлений.
Авторы недавней статьи сделали успешную попытку определить эти направления, используя разреженные автоэнкодеры для последовательности слоев языковой модели. И получили набор признаков, которые являются более интерпретируемыми и моносемантичными, чем направления, выявленные с помощью альтернативных подходов, вроде анализа нейронов или уменьшения размерности с помощью PCA. Более того, удаление этих признаков позволяет точно редактировать модель. Например, ребята удалили возможность предсказывать местоимения, не порушив поведение LLM. Согласитесь, очень тонкая настройка.
С интерпретируемостью у меня возникли вопросы - без лингвиста (или хорошего химика в случае применения NLP для drug design или humanization антител), кажется, не обойтись. Но авторы показали, что их словари признаков поддаются автоматической интерпретации.
Следующим шагом ребята предполагают проверить метод на MLP и других архитектурах, а потому приглашают экспериментировать с их методом
📖 Статья
🔤 Код
С появлением высокоэффективных архитектур ИИ, принимающих решения по непонятным и неинтерпретируемым людьми механикам, человечество забеспокоилось, что системы, которым мы не можем доверять, широко внедряются в нашу жизнь, вызывая вполне понятные страхи, риски (и мемы) о манипуляциях над людьми.
Вглядываясь во внутрее устройство моделей, мы видим нейроны, активизирующиеся в нескольких семантически различных контекстах. Это называется полисемантичность. Математически полисемантичность может быть следствием несоответствия количества признаков и измерений в слое (признаков больше) и их суперпозицией.
В векторном пространстве может быть только столько ортогональных векторов, сколько у него измерений, а значит, есть основания попытаться найти базис пространства активации - набор таких направлений, что каждый выученный моделью признак может быть восстановлен из линейной комбинации этих направлений.
Авторы недавней статьи сделали успешную попытку определить эти направления, используя разреженные автоэнкодеры для последовательности слоев языковой модели. И получили набор признаков, которые являются более интерпретируемыми и моносемантичными, чем направления, выявленные с помощью альтернативных подходов, вроде анализа нейронов или уменьшения размерности с помощью PCA. Более того, удаление этих признаков позволяет точно редактировать модель. Например, ребята удалили возможность предсказывать местоимения, не порушив поведение LLM. Согласитесь, очень тонкая настройка.
С интерпретируемостью у меня возникли вопросы - без лингвиста (или хорошего химика в случае применения NLP для drug design или humanization антител), кажется, не обойтись. Но авторы показали, что их словари признаков поддаются автоматической интерпретации.
Следующим шагом ребята предполагают проверить метод на MLP и других архитектурах, а потому приглашают экспериментировать с их методом
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Spotify сделали ИИ для дубляжа подкастов
Сервис Spotify анонсировал пилотную программу по дубляжу подкастов с помощью искусственного интеллекта. Благодаря этой технологии авторы популярных шоу смогут расширить свою аудиторию сразу на пол мира.
Раньше для озвучивания перевода приглашали профессиональных актёров. Но новый инструмент от Spotify генерирует речь, имитируя стиль ведущего подкаста, то есть сохраняется голос (с помощью Voice Cloning) и интонации!
Это значительно повышает естественность звучания по сравнению с традиционным дубляжом. К тому же такой подход, в отличие от студии дубляжа, масштабируется для сотен языков.
В пилоте уже участвуют популярные подкасты с Даком Шепардом, Моникой Пэдман, Лексом Фридманом и другими. Переводы доступны на испанском, французском и немецком языках.
Это лишь начало. В будущем Spotify планирует расширить программу, чтобы ещё больше создателей контента смогли донести свои истории до слушателей по всему миру.
Такой голосовой ИИ стирает языковые барьеры и открывает новые возможности для общения и культурного обмена. А значит доступ к качественной информации появится у еще большего количества людей!
🎧 Ссылка
Сервис Spotify анонсировал пилотную программу по дубляжу подкастов с помощью искусственного интеллекта. Благодаря этой технологии авторы популярных шоу смогут расширить свою аудиторию сразу на пол мира.
Раньше для озвучивания перевода приглашали профессиональных актёров. Но новый инструмент от Spotify генерирует речь, имитируя стиль ведущего подкаста, то есть сохраняется голос (с помощью Voice Cloning) и интонации!
Это значительно повышает естественность звучания по сравнению с традиционным дубляжом. К тому же такой подход, в отличие от студии дубляжа, масштабируется для сотен языков.
В пилоте уже участвуют популярные подкасты с Даком Шепардом, Моникой Пэдман, Лексом Фридманом и другими. Переводы доступны на испанском, французском и немецком языках.
Это лишь начало. В будущем Spotify планирует расширить программу, чтобы ещё больше создателей контента смогли донести свои истории до слушателей по всему миру.
Такой голосовой ИИ стирает языковые барьеры и открывает новые возможности для общения и культурного обмена. А значит доступ к качественной информации появится у еще большего количества людей!
🎧 Ссылка
О чем говорят разработчики, когда обсуждают ИИ?
На портале одного из самых крупных венчурных фондов в Долине - a16z вышла любопытная подборка интервью с ведущими разработчиками искусственного интеллекта.
⚡️Среди ключевых мыслей:
- Мы стоим у истоков третьей эпохи вычислительных мощностей. Первой были микрочипы, второй - интернет, третьей станут модели искусственного интеллекта.
- Экономика новых AI-моделей улучшается в тысячи раз по сравнению с человеческим трудом. Это гарантирует их быстрое распространение.
- Пока что точность для многих задач не критична, творческие способности моделей важнее.
- AI уже помогает программистам писать код - это "копилоты". Такие ассистенты с каждым запросом работают все лучше.
- Огромный потенциал - в сочетании AI и биологии. AI поможет расшифровать биологические процессы и найти новые методы лечения болезней.
- Пока непонятно, будет ли доминировать одна универсальная модель AI или же их будет много для разных задач.
- Важно следить за "эмерджентными" возможностями AI - когда модели начинают делать то, чего изначально не закладывали разработчики. Эти навыки быстро улучшаются.
- Физики и математики - лучшие разработчики AI на данном этапе. Их абстрактное мышление помогает решать сложные задачи в этой сфере.
В целом, интервью показывают: несмотря на впечатляющие успехи последних лет, мы находимся лишь в самом начале революции в области искусственного интеллекта. Большинство прорывных приложений на основе AI еще впереди. Так что если вам кажется, что вкатываться в AI уже поздно - то вам кажется. Самое время начать - сейчас!
🎙 Обзор
📹 Интерьвю
На портале одного из самых крупных венчурных фондов в Долине - a16z вышла любопытная подборка интервью с ведущими разработчиками искусственного интеллекта.
⚡️Среди ключевых мыслей:
- Мы стоим у истоков третьей эпохи вычислительных мощностей. Первой были микрочипы, второй - интернет, третьей станут модели искусственного интеллекта.
- Экономика новых AI-моделей улучшается в тысячи раз по сравнению с человеческим трудом. Это гарантирует их быстрое распространение.
- Пока что точность для многих задач не критична, творческие способности моделей важнее.
- AI уже помогает программистам писать код - это "копилоты". Такие ассистенты с каждым запросом работают все лучше.
- Огромный потенциал - в сочетании AI и биологии. AI поможет расшифровать биологические процессы и найти новые методы лечения болезней.
- Пока непонятно, будет ли доминировать одна универсальная модель AI или же их будет много для разных задач.
- Важно следить за "эмерджентными" возможностями AI - когда модели начинают делать то, чего изначально не закладывали разработчики. Эти навыки быстро улучшаются.
- Физики и математики - лучшие разработчики AI на данном этапе. Их абстрактное мышление помогает решать сложные задачи в этой сфере.
В целом, интервью показывают: несмотря на впечатляющие успехи последних лет, мы находимся лишь в самом начале революции в области искусственного интеллекта. Большинство прорывных приложений на основе AI еще впереди. Так что если вам кажется, что вкатываться в AI уже поздно - то вам кажется. Самое время начать - сейчас!
🎙 Обзор
📹 Интерьвю
📜 Как обстоят дела со свободой слова в Стэнфорде
🔍 Исследовательская группа College Pulse провела опрос среди студентов Стэнфорда о ситуации со свободой слова в университете.
📊 Основные результаты:
- 79% студентов считают, что перекрикивание выступающих иногда оправдано.
- 52% приходилось хотя бы раз в месяц скрывать своё мнение.
- 56% боятся что их репутации могут навредить из-за неправильного понимания их слов.
Но при этом, на каждого консервативного студента приходится примерно 5-6 либеральных (хм, а так уж ли либеральных?).
💬 Студенты жалуются:
- Боятся осуждения за высказывание консервативных взглядов.
- Администрация вуза порой игнорирует жалобы на дискриминацию.
💡 Таким образом, исследование показывает наличие проблем со свободой самовыражения в Стэнфорде.
К счастью, у нас с этого семестра уже новый президент, так как стаорго поймали на фальсификации данных в научных статьях 🤷♂️ Будем надеятся что станет лучше.
Я сейчас работаю в Стенфорде в качестве postdoctoral fellow, и от себя скажу что как то так и живем.
🎲 Рейтинг вузов по свободе слова
🔍 Исследовательская группа College Pulse провела опрос среди студентов Стэнфорда о ситуации со свободой слова в университете.
📊 Основные результаты:
- 79% студентов считают, что перекрикивание выступающих иногда оправдано.
- 52% приходилось хотя бы раз в месяц скрывать своё мнение.
- 56% боятся что их репутации могут навредить из-за неправильного понимания их слов.
Но при этом, на каждого консервативного студента приходится примерно 5-6 либеральных (хм, а так уж ли либеральных?).
💬 Студенты жалуются:
- Боятся осуждения за высказывание консервативных взглядов.
- Администрация вуза порой игнорирует жалобы на дискриминацию.
💡 Таким образом, исследование показывает наличие проблем со свободой самовыражения в Стэнфорде.
К счастью, у нас с этого семестра уже новый президент, так как стаорго поймали на фальсификации данных в научных статьях 🤷♂️ Будем надеятся что станет лучше.
Я сейчас работаю в Стенфорде в качестве postdoctoral fellow, и от себя скажу что как то так и живем.
🎲 Рейтинг вузов по свободе слова
Помощь в написании постов
Привет, дорогие подписчики канала NN for Science! Сегодня хочу поделиться с вами отличной возможностью.
Как вы знаете, наш канал растет, и наше сообщество становится всё больше и интереснее. Но ведь всегда можно сделать лучше, правда?
И тут я хочу предложить вам стать частью закрытого чата, который поддерживает этот канал. В этом чате мы обсуждаем идеи для будущих публикаций, новости из мира машинного обучения и многое другое.
Что нужно сделать, чтобы попасть в чат NN for Scientists?
Что бы быть в чате, вам нужно будет писать хотя бы один пост в неделю на наш канал. Взамен вы получите доступ к эксклюзивным материалам и новостям, которые я отслеживаю. Многие из них появляются в закрытом чате намного быстрее и вообще не всегда попадают в канал.
Если вы готовы и хотите, напишите мне в личные сообщения пример поста который вы бы написали на канал, и я с удовольствием добавлю вас в этот закрытый чат. 💌
Жду ваших сообщений! @crimeacs
На фото: общественная библиотека в Mill Valley, CA
Привет, дорогие подписчики канала NN for Science! Сегодня хочу поделиться с вами отличной возможностью.
Как вы знаете, наш канал растет, и наше сообщество становится всё больше и интереснее. Но ведь всегда можно сделать лучше, правда?
И тут я хочу предложить вам стать частью закрытого чата, который поддерживает этот канал. В этом чате мы обсуждаем идеи для будущих публикаций, новости из мира машинного обучения и многое другое.
Что нужно сделать, чтобы попасть в чат NN for Scientists?
Что бы быть в чате, вам нужно будет писать хотя бы один пост в неделю на наш канал. Взамен вы получите доступ к эксклюзивным материалам и новостям, которые я отслеживаю. Многие из них появляются в закрытом чате намного быстрее и вообще не всегда попадают в канал.
Если вы готовы и хотите, напишите мне в личные сообщения пример поста который вы бы написали на канал, и я с удовольствием добавлю вас в этот закрытый чат. 💌
Жду ваших сообщений! @crimeacs
На фото: общественная библиотека в Mill Valley, CA
BrainLM: foundational модель мозга
Недавно была опубликована интересная научная работа, посвященная использованию foundational моделей (нету пока устоявшегося перевода) искусственного интеллекта для анализа активности мозга по данным фМРТ.
Foundation models - это разновидность нейросетей, которые сначала обучаются на огромных объемах разнообразных данных, а затем могут применяться для решения конкретных прикладных задач в определенной предметной области.
В статье представлена модель BrainLM, обученная в self-supervised режиме на данных функциональной магнитно-резонансной томографии от 77000 записей.
Модель демонстрирует успешные результаты на различных задачах анализа активности мозга:
- Прогнозирование клинических показателей, таких как возраст, тревожность, ПТСР по данным фМРТ
- Предсказание будущих состояний активности мозга на основе предыдущих записей
- Выявление функциональных связей различных зон мозга и их роли
- Моделирование виртуальных "воздействий" на мозг и анализ ответной реакции
Преимущества foundational подхода в том, что обученная на больших данных нейросеть формирует универсальные признаки, которые затем можно использовать для решения конкретных задач, связанных с анализом мозга.
Разработчики надеются, что BrainLM станет основой для создания нового поколения методов анализа активности мозга с помощью ИИ. Это позволит лучше понять принципы работы человеческого мозга и диагностировать различные заболевания.
🧠 Статья
Недавно была опубликована интересная научная работа, посвященная использованию foundational моделей (нету пока устоявшегося перевода) искусственного интеллекта для анализа активности мозга по данным фМРТ.
Foundation models - это разновидность нейросетей, которые сначала обучаются на огромных объемах разнообразных данных, а затем могут применяться для решения конкретных прикладных задач в определенной предметной области.
В статье представлена модель BrainLM, обученная в self-supervised режиме на данных функциональной магнитно-резонансной томографии от 77000 записей.
Модель демонстрирует успешные результаты на различных задачах анализа активности мозга:
- Прогнозирование клинических показателей, таких как возраст, тревожность, ПТСР по данным фМРТ
- Предсказание будущих состояний активности мозга на основе предыдущих записей
- Выявление функциональных связей различных зон мозга и их роли
- Моделирование виртуальных "воздействий" на мозг и анализ ответной реакции
Преимущества foundational подхода в том, что обученная на больших данных нейросеть формирует универсальные признаки, которые затем можно использовать для решения конкретных задач, связанных с анализом мозга.
Разработчики надеются, что BrainLM станет основой для создания нового поколения методов анализа активности мозга с помощью ИИ. Это позволит лучше понять принципы работы человеческого мозга и диагностировать различные заболевания.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤖Тест на уровень морального развития для чатботов
Ученые из Microsoft придумали, как проверить насколько "правильно" чатботы реагируют в сложных этических ситуациях. Их метод был адаптирован из тестов для оценки уровня морального развития человека.
Исследователи взяли известный психологический тест, где нужно решать моральные дилеммы. Они адаптировали его для чатботов - задавали им похожие вопросы и анализировали ответы.
Под уровнем морального развития человека авторы имеют в виду стадии морального развития, описанные в теории Кольберга (на картинке выше).
В этой теории выделяется 3 уровня (внутри которых выделяются разные стадии):
1) Доконвенциональный (ориентация на себя)
2) Конвенциональный (ориентация на окружающих)
3) Постконвенциональный (ориентация на общепринятые этические нормы)
Чем выше уровень - тем более зрелая моральная позиция у человека (по версии теста).
Результаты: GPT-3 находится на низком уровне "этичности". Вариант Text-davinci-002 также не предоставил значимых результатов. Модели с RLHF-обучением, включая GPT-4 и Text-davinci-003, показали гораздо лучшее понимание инструкций и этических проблем. Они превзошли случайный базовый уровень и продемонстрировали значительно более высокий уровень морального развития. Меньшая модель LLaMachat-70b неожиданно показала высокие результаты, что скорее всего говорит о пользе RLHF.
Это один из первых таких тестов для искусственного интеллекта. В будущем мы научимся создавать aligned и steerable чатботов. Разработчики смогут целенаправленно "воспитывать" в них правильное поведение в сложных ситуациях.
📄 Статья
Ученые из Microsoft придумали, как проверить насколько "правильно" чатботы реагируют в сложных этических ситуациях. Их метод был адаптирован из тестов для оценки уровня морального развития человека.
Исследователи взяли известный психологический тест, где нужно решать моральные дилеммы. Они адаптировали его для чатботов - задавали им похожие вопросы и анализировали ответы.
Под уровнем морального развития человека авторы имеют в виду стадии морального развития, описанные в теории Кольберга (на картинке выше).
В этой теории выделяется 3 уровня (внутри которых выделяются разные стадии):
1) Доконвенциональный (ориентация на себя)
2) Конвенциональный (ориентация на окружающих)
3) Постконвенциональный (ориентация на общепринятые этические нормы)
Чем выше уровень - тем более зрелая моральная позиция у человека (по версии теста).
Результаты: GPT-3 находится на низком уровне "этичности". Вариант Text-davinci-002 также не предоставил значимых результатов. Модели с RLHF-обучением, включая GPT-4 и Text-davinci-003, показали гораздо лучшее понимание инструкций и этических проблем. Они превзошли случайный базовый уровень и продемонстрировали значительно более высокий уровень морального развития. Меньшая модель LLaMachat-70b неожиданно показала высокие результаты, что скорее всего говорит о пользе RLHF.
Это один из первых таких тестов для искусственного интеллекта. В будущем мы научимся создавать aligned и steerable чатботов. Разработчики смогут целенаправленно "воспитывать" в них правильное поведение в сложных ситуациях.
📄 Статья
Парное програмирование с большими языковыми моделями
Хочу рассказать о новом онлайн-курсе от DeepLearning.AI совместно с Google. Он посвящен применению больших языковых моделей (типа ChatGPT) в работе программиста.
На курсе расскажут, как упрощать код и повышать скорость разработки с помощью ИИ, как находить ошибки в коде и рефакторить его, а также как пояснять и документировать сложный код на разных языках программирования.
Курс рассчитан всего на 1 час, доступен бесплатно на платформе DeepLearning.AI и включает в себя практические задания на модели PaLM от Google.
Курс будет полезен программистам, которые хотят научиться применять возможности ИИ в своей работе. Его ведет Laurence Moroney, один из ведущих специалистов Google по искусственному интеллекту.
🤖 Ссылка на курс
Хочу рассказать о новом онлайн-курсе от DeepLearning.AI совместно с Google. Он посвящен применению больших языковых моделей (типа ChatGPT) в работе программиста.
На курсе расскажут, как упрощать код и повышать скорость разработки с помощью ИИ, как находить ошибки в коде и рефакторить его, а также как пояснять и документировать сложный код на разных языках программирования.
Курс рассчитан всего на 1 час, доступен бесплатно на платформе DeepLearning.AI и включает в себя практические задания на модели PaLM от Google.
Курс будет полезен программистам, которые хотят научиться применять возможности ИИ в своей работе. Его ведет Laurence Moroney, один из ведущих специалистов Google по искусственному интеллекту.
Please open Telegram to view this post
VIEW IN TELEGRAM
Эффективное квантование нейросетей в 8-бит
Исследователи предложили новый подход к сжатию нейросетей (без обучения заново), позволяющий сократить размер моделей в 4 раза (практически) без потери точности.
Исследователи из Intel и AMD предложили новое 8-битное представление с плавающей запятой. Оно более эффективно представляет распределение данных в сети.
Глубокие нейронные сети требуют огромных вычислительных мощностей. Уменьшение размера моделей позволит использовать их на большем количестве устройств.
Модели с таким представлением протестировали на задачах обработки языка и изображений. Результаты показали лучшее качество по сравнению с обычным 8-битным форматом.
Более того, исследователи выкатили целую библиотеку Intel® Neural Compressor, в которой реализовали новый метод, а так же множетсво других вариантов сжатия нейросетей.
🔍 Статья
🔗 Neural Compressor
Исследователи предложили новый подход к сжатию нейросетей (без обучения заново), позволяющий сократить размер моделей в 4 раза (практически) без потери точности.
Исследователи из Intel и AMD предложили новое 8-битное представление с плавающей запятой. Оно более эффективно представляет распределение данных в сети.
Глубокие нейронные сети требуют огромных вычислительных мощностей. Уменьшение размера моделей позволит использовать их на большем количестве устройств.
Модели с таким представлением протестировали на задачах обработки языка и изображений. Результаты показали лучшее качество по сравнению с обычным 8-битным форматом.
Более того, исследователи выкатили целую библиотеку Intel® Neural Compressor, в которой реализовали новый метод, а так же множетсво других вариантов сжатия нейросетей.
🔍 Статья
🔗 Neural Compressor
Интерактивная статья про тестирование ИИ
Журнал Nature выпустил занимательную интерактивную статью о том, как оценивают умные чатботы типа ChatGPT. Задача оказалось непростй даже для самих создателей ИИ.
В статье разбираются разные способы оценить, насколько хорошо чатботы понимают текст и умеют рассуждать. Есть классический тест Тьюринга, когда человек должен понять разговаривает он с ботом или с другим человеком. Есть и более современные подходы, где ИИ проходит серию испытаний, по результатам которых оцениваются разные его аспекты.
Но главная фишка этой статьи в интерактивных примерах, где можно самому пообщаться с чатботом или пройти тесты для ИИ. Такой формат позволяет лучше разобраться в сложностях оценки искусственного интеллекта.
Дальше в статье обсуждаются разные способы тестирования ИИ - психологические, поведенческие и другие. Анализируются плюсы и минусы каждого подхода простым языком.
В итоге авторы призывают создать более надежные тесты, чтобы понимать, что умеют чатботы, а что нет. Это важно для исследований и безопасного использования ИИ.
Рекомендую эту статью всем, кто интересуется темой тестирования умных чатботов. Интерактивный формат делает материал наглядным и доступным.
🕹 Интерактивная статья
Журнал Nature выпустил занимательную интерактивную статью о том, как оценивают умные чатботы типа ChatGPT. Задача оказалось непростй даже для самих создателей ИИ.
В статье разбираются разные способы оценить, насколько хорошо чатботы понимают текст и умеют рассуждать. Есть классический тест Тьюринга, когда человек должен понять разговаривает он с ботом или с другим человеком. Есть и более современные подходы, где ИИ проходит серию испытаний, по результатам которых оцениваются разные его аспекты.
Но главная фишка этой статьи в интерактивных примерах, где можно самому пообщаться с чатботом или пройти тесты для ИИ. Такой формат позволяет лучше разобраться в сложностях оценки искусственного интеллекта.
Дальше в статье обсуждаются разные способы тестирования ИИ - психологические, поведенческие и другие. Анализируются плюсы и минусы каждого подхода простым языком.
В итоге авторы призывают создать более надежные тесты, чтобы понимать, что умеют чатботы, а что нет. Это важно для исследований и безопасного использования ИИ.
Рекомендую эту статью всем, кто интересуется темой тестирования умных чатботов. Интерактивный формат делает материал наглядным и доступным.
🕹 Интерактивная статья
Краткий обзор анонсированных на конференции MetaConnect2023 новых продуктов и исследований в области AI от компании Meta:
На MetaConnect2023 был представлен ряд новых продуктов, опирающихся на последние достижения в области искусственного интеллекта.
В частности, были анонсированы следующие AI-модели и исследования:
- Llama 2 - открытая модель для диалоговых систем
- Emu - генеративная нейросеть для картинок
- Масштабируемые контекстные модели для диалоговых систем
- Code Llama - генерация и обсуждение кода
- Segment Anything - сегментация изображений для Instagram
Эти разработки лягут в основу таких продуктов Meta, как виртуальные персонажи, стикеры и фильтры в Instagram, умный помощник и др.
Более подробно ознакомиться с этими исследованиями можно по ссылкам в посте. Интересно то, что после всех лет и инвестиций в исследования, Meta наконец то заходит в продакшен, и то ли еще будет!
На MetaConnect2023 был представлен ряд новых продуктов, опирающихся на последние достижения в области искусственного интеллекта.
В частности, были анонсированы следующие AI-модели и исследования:
- Llama 2 - открытая модель для диалоговых систем
- Emu - генеративная нейросеть для картинок
- Масштабируемые контекстные модели для диалоговых систем
- Code Llama - генерация и обсуждение кода
- Segment Anything - сегментация изображений для Instagram
Эти разработки лягут в основу таких продуктов Meta, как виртуальные персонажи, стикеры и фильтры в Instagram, умный помощник и др.
Более подробно ознакомиться с этими исследованиями можно по ссылкам в посте. Интересно то, что после всех лет и инвестиций в исследования, Meta наконец то заходит в продакшен, и то ли еще будет!
Партнёрство Cloudflare и Hugging Face
Cloudflare объявило о начале партнёрства с Hugging Face с целью сделать модели ИИ более доступными для разработчиков.
Что обещают? 👀
-В Hugging Face появятся безсерверные модели GPU без инфраструктурных "костылей" и оплат за неиспользуемые мощности. Просто выберите свою модель и работайте.
-Модели Hugging Face появятся в каталоге моделей Cloudflare
-Интеграционные инструменты Cloudflare станут частью Hugging Face Inference
Разработчики, использующие платформу Cloudflare, вскоре смогут развертывать модели Hugging Face прямо с панели управления Cloudflare, а те, кто использует Hugging Face, смогут развертывать модели непосредственно в Workers AI.
🤗 Блог
Cloudflare объявило о начале партнёрства с Hugging Face с целью сделать модели ИИ более доступными для разработчиков.
Что обещают? 👀
-В Hugging Face появятся безсерверные модели GPU без инфраструктурных "костылей" и оплат за неиспользуемые мощности. Просто выберите свою модель и работайте.
-Модели Hugging Face появятся в каталоге моделей Cloudflare
-Интеграционные инструменты Cloudflare станут частью Hugging Face Inference
Разработчики, использующие платформу Cloudflare, вскоре смогут развертывать модели Hugging Face прямо с панели управления Cloudflare, а те, кто использует Hugging Face, смогут развертывать модели непосредственно в Workers AI.
🤗 Блог
Как использовать машинное обучение для оптимального размещения климатических датчиков
Ученые из Великобритании разработали умный алгоритм, который может подсказать, где лучше всего разместить датчики для мониторинга климата в Антарктике.
Эта труднодоступная область очень важна для понимания изменений климата, но сеть наблюдений там очень редкая. А установка каждой новой станции обходится дорого.
Чтобы оптимизировать размещение датчиков, ученые использовали метод машинного обучения - convolutional Gaussian neural process.
Модель проанализировала огромные массивы спутниковых данных об Антарктике, чтобы научиться предсказывать температуру в разных точках континента.
Затем алгоритм моделировал, как новые измерения в тех или иных местах уточнят его предсказания. Так он выявлял самые информативные точки для размещения датчиков.
В результате модель значительно превзошла другие методы в выборе оптимальных локаций. Это позволит лучше понимать климатические изменения в Антарктике и экономить на развертывании сенсорной сети (а еще этот подход отлично транслируется на другие типы датчиков и локаций).
Такой подход - первый шаг к созданию "цифровых двойников" природы. Модели на основе ИИ смогут направлять сбор данных об окружающей среде, чтобы максимально точно её отображать.
🗺️ Статья
🥸 Выступление
🌪️ Код
Ученые из Великобритании разработали умный алгоритм, который может подсказать, где лучше всего разместить датчики для мониторинга климата в Антарктике.
Эта труднодоступная область очень важна для понимания изменений климата, но сеть наблюдений там очень редкая. А установка каждой новой станции обходится дорого.
Чтобы оптимизировать размещение датчиков, ученые использовали метод машинного обучения - convolutional Gaussian neural process.
Модель проанализировала огромные массивы спутниковых данных об Антарктике, чтобы научиться предсказывать температуру в разных точках континента.
Затем алгоритм моделировал, как новые измерения в тех или иных местах уточнят его предсказания. Так он выявлял самые информативные точки для размещения датчиков.
В результате модель значительно превзошла другие методы в выборе оптимальных локаций. Это позволит лучше понимать климатические изменения в Антарктике и экономить на развертывании сенсорной сети (а еще этот подход отлично транслируется на другие типы датчиков и локаций).
Такой подход - первый шаг к созданию "цифровых двойников" природы. Модели на основе ИИ смогут направлять сбор данных об окружающей среде, чтобы максимально точно её отображать.
🗺️ Статья
🥸 Выступление
🌪️ Код
Данные с носимых устройств: готовы ли вы принимать решения о своем здоровье на их основе, или для вас это пока недостаточно надежный источник информации?
Whoop во вторник похвастался,
что заколабился с OpenAI, и теперь у нас не просто дэшборд со статистикой, а карманный тренер, с которым можно обсудить, когда запланировать тренировку, почему сегодня нет сил и подскажет, как заземлиться, если тело сигнализирует о стрессе.
Особенно приятно, что за фичу не надо платить дополнительно, бета доступна всем владельцам Whoop, а ещё GPT4 не будет дообучатся на данных пользователей.
Похоже, мы близки к временам, когда все носимое от часов до менструальных кап будет агрегировать информацию о теле для превентивного здравоохранения. Для этого хорошо бы смотреть на биоданные под разными углами.
И тут интересно выглядит уже Garmin, который поддержал исследование научной группы QIMP (почему они крутые - отдельно) из Университета Вены, чтобы получить мультимодальные данные: стандартные биосигналы с часов и невероятно подробные данные о метаболизме по whole body PET сканам.
Кстати, если вы недалеко от Вены, можете успеть поучаствовать. Для тревожных - доза радиации эквивалентна полету из Калифорнии в Лондон и обратно, а медицинская картинка выглядит космически (второе видео), плюс €75 компенсация за смелость.
Честно говоря, я больше доверяю, если данные мультимодальные, и интерпретируют их учёные и врачи, ну, или делают peer-review и верифицируют контент, как, например, у Flo.
А как у вас? Кому какой подоход кажется полезнее?
Whoop во вторник похвастался,
что заколабился с OpenAI, и теперь у нас не просто дэшборд со статистикой, а карманный тренер, с которым можно обсудить, когда запланировать тренировку, почему сегодня нет сил и подскажет, как заземлиться, если тело сигнализирует о стрессе.
Особенно приятно, что за фичу не надо платить дополнительно, бета доступна всем владельцам Whoop, а ещё GPT4 не будет дообучатся на данных пользователей.
Похоже, мы близки к временам, когда все носимое от часов до менструальных кап будет агрегировать информацию о теле для превентивного здравоохранения. Для этого хорошо бы смотреть на биоданные под разными углами.
И тут интересно выглядит уже Garmin, который поддержал исследование научной группы QIMP (почему они крутые - отдельно) из Университета Вены, чтобы получить мультимодальные данные: стандартные биосигналы с часов и невероятно подробные данные о метаболизме по whole body PET сканам.
Кстати, если вы недалеко от Вены, можете успеть поучаствовать. Для тревожных - доза радиации эквивалентна полету из Калифорнии в Лондон и обратно, а медицинская картинка выглядит космически (второе видео), плюс €75 компенсация за смелость.
Честно говоря, я больше доверяю, если данные мультимодальные, и интерпретируют их учёные и врачи, ну, или делают peer-review и верифицируют контент, как, например, у Flo.
А как у вас? Кому какой подоход кажется полезнее?
Yandex ML Prize
Яндекс объявил о старте приема заявок на ежегодную премию в области машинного обучения – Yandex ML Prize.
Премия присуждается ученым и преподавателям из 11 стран за вклад в развитие таких направлений как компьютерное зрение, обработка естественного языка, поиск информации и др.
В премии открыто 5 номинаций:
- Для молодых исследователей (студентов)
- Для научных руководителей
- Для преподавателей в сфере ML
- За лучшую первую научную публикацию
- Для сотрудников Яндекса
Лауреаты получат денежные премии от 500 000 рублей до миллиона, а также доступ к сервисам Яндекса для научной работы.
Подать заявку можно до 16 октября. Победители будут объявлены в декабре.
Это хорошая возможность для исследователей, их наставников и преподавателей получить признание и поддержку для дальнейших исследований в области ML.
#премии_и_гранты
Яндекс объявил о старте приема заявок на ежегодную премию в области машинного обучения – Yandex ML Prize.
Премия присуждается ученым и преподавателям из 11 стран за вклад в развитие таких направлений как компьютерное зрение, обработка естественного языка, поиск информации и др.
В премии открыто 5 номинаций:
- Для молодых исследователей (студентов)
- Для научных руководителей
- Для преподавателей в сфере ML
- За лучшую первую научную публикацию
- Для сотрудников Яндекса
Лауреаты получат денежные премии от 500 000 рублей до миллиона, а также доступ к сервисам Яндекса для научной работы.
Подать заявку можно до 16 октября. Победители будут объявлены в декабре.
Это хорошая возможность для исследователей, их наставников и преподавателей получить признание и поддержку для дальнейших исследований в области ML.
#премии_и_гранты
Forwarded from MarketTwits