Роботам дали возможность познавать мир через прикосновения
Meta AI Research
Прикосновение важно для восприятия мира людьми. Тактильная информация - это ключевой способ восприятия окружающего мира. Прикосновение дает нам информацию, которую невозможно получить ни каким другим способом, например, о температуре вещества, его текстуре и весе, а иногда даже о его состоянии. В идеале, мы бы хотели, чтобы ИИ мог учиться и взаимодействовать с миром через прикосновения (как люди). Но для того, чтобы это произошло, необходимо создать экосистему тактильного восприятия в робототехнике.
В этом блогпостеFacebook Meta AI рассказывает о прогрессе в разработке оборудования, симуляторов, библиотек, и синтетических данных, необходимых для создания AI систем, которые могут понимать мир и взаимодействовать с ним с помощью прикосновений.
Представлены три основных достижения:
▪️ DIGIT - дешевый тактильный сенсор, который можно построить дома за $15, если есть 3D принтер. Интересно, что сам сенсор полагается только на встроенные камеры и алгоритмы компьютерного зрения. В нем нет датчиков давления.
▪️ ReSkin - синтетическая кожа, которая может понимать тактильную информацию с помощью магнитометра. Кожа эта очень универсальна и легко заменяется, так как не имеет в себе никакой проводки.
▪️ TACTO - быстрый симулятор для тактильных сенсоров, основанных на зрении, с открытым исходным кодом.
Все эти инновации помогают добиться прогресса в разработке более мягких и безопасных роботов, способных понимать мир через прикосновения. Также новые легкодоступные сенсоры и открытый исходный код открывают сферу тактильного восприятия для большего числа исследователей.
Ох этот новый дивный мир, друзья мои! Жду когда робот будет полноценным помощником по дому, а не то, что эти тупые робопылесосы.
Meta AI Research
Прикосновение важно для восприятия мира людьми. Тактильная информация - это ключевой способ восприятия окружающего мира. Прикосновение дает нам информацию, которую невозможно получить ни каким другим способом, например, о температуре вещества, его текстуре и весе, а иногда даже о его состоянии. В идеале, мы бы хотели, чтобы ИИ мог учиться и взаимодействовать с миром через прикосновения (как люди). Но для того, чтобы это произошло, необходимо создать экосистему тактильного восприятия в робототехнике.
В этом блогпосте
Представлены три основных достижения:
▪️ DIGIT - дешевый тактильный сенсор, который можно построить дома за $15, если есть 3D принтер. Интересно, что сам сенсор полагается только на встроенные камеры и алгоритмы компьютерного зрения. В нем нет датчиков давления.
▪️ ReSkin - синтетическая кожа, которая может понимать тактильную информацию с помощью магнитометра. Кожа эта очень универсальна и легко заменяется, так как не имеет в себе никакой проводки.
▪️ TACTO - быстрый симулятор для тактильных сенсоров, основанных на зрении, с открытым исходным кодом.
Все эти инновации помогают добиться прогресса в разработке более мягких и безопасных роботов, способных понимать мир через прикосновения. Также новые легкодоступные сенсоры и открытый исходный код открывают сферу тактильного восприятия для большего числа исследователей.
Ох этот новый дивный мир, друзья мои! Жду когда робот будет полноценным помощником по дому, а не то, что эти тупые робопылесосы.
Facebook
Teaching robots to perceive, understand, and interact through touch
We’re outlining our progress in developing the touch-sensing ecosystem -- hardware, simulators, libraries, benchmarks, and data sets — necessary for building AI systems that can understand and interact through touch.
Media is too big
VIEW IN TELEGRAM
А вот и короткое видео к посту выше. Сорри за шакальное качество.
Наткнулся на твиттер-тред, где известный профессор (86k цитирований) по вычислительной биологии просто уничтожает критикой алгоритмы для уменьшения размерности, такие как t-SNE и UMAP, и призыввет их не использовать. Чувак приводит аргументы, почему они не работают, и примеры их фейлов на биологических данных (как на картинке выше, демонстрирующей фейлы UMAP).
Если хотите получше разобраться в алгоритмах для dimensionality reduction и в их плюсах и минусах, то могу порекомендовать видео Neighbour embeddings for scientific visualization by Dmitry Kobak.
От себя добавлю, я довольно много крутил t-SNE и колпулся в его имплементации (респект Диме Ульянову за его чудесную имплементацию Multicore-TSNE). И это правда, что, меняя параметры алгоритма и рандом сид, можно получить график желаемого вида, где будет кластеризовано то, что вам хочется.
Если хотите получше разобраться в алгоритмах для dimensionality reduction и в их плюсах и минусах, то могу порекомендовать видео Neighbour embeddings for scientific visualization by Dmitry Kobak.
От себя добавлю, я довольно много крутил t-SNE и колпулся в его имплементации (респект Диме Ульянову за его чудесную имплементацию Multicore-TSNE). И это правда, что, меняя параметры алгоритма и рандом сид, можно получить график желаемого вида, где будет кластеризовано то, что вам хочется.
Forwarded from Denis Sexy IT 🤖
Как и обещал тут, продолжаю тестировать нейронки на персонажах советских мультфильмов. Сейчас решил попробовать вот эту, которая покажет, как бы выглядели Незнайка и остальные, будь они в каком-нибудь Пиксаровском мультике.
Между прочим, капитан Зеленый явный косплейщик Базз Лайтера 🌚
Головные уборы я нафотошопил, потому что могу ✨
Между прочим, капитан Зеленый явный косплейщик Базз Лайтера 🌚
Головные уборы я нафотошопил, потому что могу ✨
Сбер выпустил свою имплементацию сети DALL-E для русского языка, ruDALL-E.
DALL-E - это очень мощная сетка для генерации изображения по текстовому описанию, представленная OpenAI в начале года. Как и в случае ruGPT-3, репродукция не полностью повторяет оригинал, но старания ребят из Сбера заслуживают похвалы, ведь OpenaAI так и не опубликовали свой исходный код. Оригинальная модель DALL-E имеет 12 миллиардами параметров, а вариант от Сбера всего 1.2 миллиарда. Жаль, нет кода для тренировки.
Результаты генерации кайфовые. Смотрите, что генерится по запросу "Лучшая картина Васи Ложкина"!
Вообще Сбер приятно удивляет своими инициативами по воспроизведению статей от OpenAI. Прибыли это, конечно, не приносит, да и научных публикаций тоже, но, думаю, помогает позитивно пиарить свой бренд и проще хайрить новых людей.
⚡️Код ruDALL-E
⚡️Колаб ноутбук для поиграться
⚡️А если хотите получше разобраться в оригинальной архитектуре DALL-E, то вот вам отличный блог пост.
DALL-E - это очень мощная сетка для генерации изображения по текстовому описанию, представленная OpenAI в начале года. Как и в случае ruGPT-3, репродукция не полностью повторяет оригинал, но старания ребят из Сбера заслуживают похвалы, ведь OpenaAI так и не опубликовали свой исходный код. Оригинальная модель DALL-E имеет 12 миллиардами параметров, а вариант от Сбера всего 1.2 миллиарда. Жаль, нет кода для тренировки.
Результаты генерации кайфовые. Смотрите, что генерится по запросу "Лучшая картина Васи Ложкина"!
Вообще Сбер приятно удивляет своими инициативами по воспроизведению статей от OpenAI. Прибыли это, конечно, не приносит, да и научных публикаций тоже, но, думаю, помогает позитивно пиарить свой бренд и проще хайрить новых людей.
⚡️Код ruDALL-E
⚡️Колаб ноутбук для поиграться
⚡️А если хотите получше разобраться в оригинальной архитектуре DALL-E, то вот вам отличный блог пост.
This media is not supported in your browser
VIEW IN TELEGRAM
Гугел выкатил новый метод для автоматического выбора и группировки задач, которые нужно тренировать вместе в одной нейронке для улучшения точности на каждой отдельной задаче.
Подробнее в блогпосте.
Подробнее в блогпосте.
Ухх, бля. Это не AI, но выращивание мяса из клеток в промышленных масштабах взбудоражит даже вегана!
Завод Upside Foods уже производит 25 тонн искусственного мяса в год, и в планах увеличить отгрузку мяса до 400 тонн в год. При этом доя работы завода нужно всего 50 кожаных мешков.
Поразительно, как из полного скепсиса в 2015, когда была основана Upside Foods, первая компания задумавшая производить синтетическое мясо из клеток животных, и до 25 тонн в год прошло не так много времени.
Подсмотрел у @techsparks
Сама новость https://www.foodbusinessnews.net/articles/19980-upside-foods-opens-cultivated-meat-production-facility
Завод Upside Foods уже производит 25 тонн искусственного мяса в год, и в планах увеличить отгрузку мяса до 400 тонн в год. При этом доя работы завода нужно всего 50 кожаных мешков.
Поразительно, как из полного скепсиса в 2015, когда была основана Upside Foods, первая компания задумавшая производить синтетическое мясо из клеток животных, и до 25 тонн в год прошло не так много времени.
Подсмотрел у @techsparks
Сама новость https://www.foodbusinessnews.net/articles/19980-upside-foods-opens-cultivated-meat-production-facility
This media is not supported in your browser
VIEW IN TELEGRAM
Новая работа о Panoptic 3D Scene Reconstruction
от Нисснера (известный чувак из Technical University Munich)
Понимание трехмерных сцен из одного изображения имеет фундаментальное значение для широкого спектра задач, таких как робототехника, планирование движения или дополненная реальность. Существующие работы в 3D-восприятии из одного изображения, как правило, сосредоточены только на геометрической реконструкции, а в этой работе решаются три задачи сразу: реконструкция геометрии, семантическая сегментация и instance сегментация (это когда для каждого стула в кадре будет своя маска, вместо одной общей маски на все стулья, как в случае семантической сегментации).
По одной RGB картинке они предсказывают 2D фичи и глубину, затем переводят фичи 3D пространство с помощью предсказанной глубины, по которым одновременно предсказывают геометрию, сегментируют отдельные объекты и предсказывают их семантические классы.
2.5 min Youtube video | Arxiv
от Нисснера (известный чувак из Technical University Munich)
Понимание трехмерных сцен из одного изображения имеет фундаментальное значение для широкого спектра задач, таких как робототехника, планирование движения или дополненная реальность. Существующие работы в 3D-восприятии из одного изображения, как правило, сосредоточены только на геометрической реконструкции, а в этой работе решаются три задачи сразу: реконструкция геометрии, семантическая сегментация и instance сегментация (это когда для каждого стула в кадре будет своя маска, вместо одной общей маски на все стулья, как в случае семантической сегментации).
По одной RGB картинке они предсказывают 2D фичи и глубину, затем переводят фичи 3D пространство с помощью предсказанной глубины, по которым одновременно предсказывают геометрию, сегментируют отдельные объекты и предсказывают их семантические классы.
2.5 min Youtube video | Arxiv
Forwarded from ExMuffin
This media is not supported in your browser
VIEW IN TELEGRAM
✍️ Text2PixelAnimation 👾
Всегда восхищался пиксельартом и поэтому, в свое время, был очень рад появлению нейросети, которая создавала его по текстовому описанию. Ранее я публиковал Колаб, где можно было поиграться с генерацией картинок. Теперь настала пора генерировать видео. Колаб опубликовал автор канала @pathetic_low_freq. Я, как обычно, чуть пересобрал, добавив текст на любом языке и простые настройки. Запаситесь временем, ибо его потребуется не мало. Прикрепленное видео я генерировал чуть больше 3 часов с текстовым описанием «Горящий огонь».
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2PixelAnimation.ipynb
Всегда восхищался пиксельартом и поэтому, в свое время, был очень рад появлению нейросети, которая создавала его по текстовому описанию. Ранее я публиковал Колаб, где можно было поиграться с генерацией картинок. Теперь настала пора генерировать видео. Колаб опубликовал автор канала @pathetic_low_freq. Я, как обычно, чуть пересобрал, добавив текст на любом языке и простые настройки. Запаситесь временем, ибо его потребуется не мало. Прикрепленное видео я генерировал чуть больше 3 часов с текстовым описанием «Горящий огонь».
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2PixelAnimation.ipynb
Снизу – генерация с помощью ruDALL-E.
Выглядит эффектно. Но, кажется, модели не хватает какой-то регуляризации либо праеров, чтобы генерировать более реалистичные картинки.
Издалека кажется круто, приблизишь – кашка.
Выглядит эффектно. Но, кажется, модели не хватает какой-то регуляризации либо праеров, чтобы генерировать более реалистичные картинки.
Издалека кажется круто, приблизишь – кашка.