Я про вас не забыл, но с переездами пока сложно что-то написать осмысленное. Думаю что выйду на нормальный режим уже завтра. Пока посмотрите TED Talk Джеффа Дина (главный по AI в Google): AI isn't as smart as you think — but it could be
Ted
Jeff Dean: AI isn't as smart as you think -- but it could be
What is AI, really? Jeff Dean, the head of Google's AI efforts, explains the underlying technology that enables artificial intelligence to do all sorts of things, from understanding language to diagnosing disease -- and presents a roadmap for building better…
Forwarded from Denis Sexy IT 🤖
This media is not supported in your browser
VIEW IN TELEGRAM
Опубликовали код этой нейронки которая делает 3D-сцену по фотографиям, го играться:
https://github.com/darglein/ADOP
✨
https://github.com/darglein/ADOP
✨
Forwarded from Мишин Лернинг 🇺🇦🇮🇱
🥑 DALL-E ждали? Всем ruDALL-E!
Высшая точка генерации по текстовому описанию: DALL-E, по факту это GPT, обученная генерировать картинки по текстовому запросу.
При обучении таких моделей большие изображения (256x256 или 512х512) сжимаются при помощи энкодеров dVAE или VQGAN до 32x32 последовательности визуальных токенов. GPT теперь может работать как и текстовыми, так и с визуальными токенами, как с одной последовательность (длинной строкой).
Потом GPT-like архитектура принимает текстовое описание и учится генерировать эти визуальные токены, которые потом “проявляются” в высоком разрешении при помощи декодеров dVAE или VQGAN.
Запустить колаб и получить свою генерацию очень просто! Достаточно прейти по ссылке и, вписав что-то свое в поле текст (вместо text = 'изображение радуги на фоне ночного города’), выбрать Runtime -> Run all (среда выполнения -> выполнить все).
🔮colab 💻Git
Высшая точка генерации по текстовому описанию: DALL-E, по факту это GPT, обученная генерировать картинки по текстовому запросу.
При обучении таких моделей большие изображения (256x256 или 512х512) сжимаются при помощи энкодеров dVAE или VQGAN до 32x32 последовательности визуальных токенов. GPT теперь может работать как и текстовыми, так и с визуальными токенами, как с одной последовательность (длинной строкой).
Потом GPT-like архитектура принимает текстовое описание и учится генерировать эти визуальные токены, которые потом “проявляются” в высоком разрешении при помощи декодеров dVAE или VQGAN.
Запустить колаб и получить свою генерацию очень просто! Достаточно прейти по ссылке и, вписав что-то свое в поле текст (вместо text = 'изображение радуги на фоне ночного города’), выбрать Runtime -> Run all (среда выполнения -> выполнить все).
🔮colab 💻Git
Feature extraction in torchvision
В обновлении torchvision (популярная надстройка к PyTorch) появились зачатки функционала Explainable AI (#XAI, запоминайте сокращение, будем его слышать все чаще и чаще).
Теперь, с помощью функции «из коробки», можно строить карты активации нейронов для сверточных сетей (не то что бы раньше было нельзя, но стало сильно удобнее).
🔭 Разбор и туториал
#explainability #images
В обновлении torchvision (популярная надстройка к PyTorch) появились зачатки функционала Explainable AI (#XAI, запоминайте сокращение, будем его слышать все чаще и чаще).
Теперь, с помощью функции «из коробки», можно строить карты активации нейронов для сверточных сетей (не то что бы раньше было нельзя, но стало сильно удобнее).
🔭 Разбор и туториал
#explainability #images
Forwarded from эйай ньюз
Наткнулся на твиттер-тред, где известный профессор (86k цитирований) по вычислительной биологии просто уничтожает критикой алгоритмы для уменьшения размерности, такие как t-SNE и UMAP, и призыввет их не использовать. Чувак приводит аргументы, почему они не работают, и примеры их фейлов на биологических данных (как на картинке выше, демонстрирующей фейлы UMAP).
Если хотите получше разобраться в алгоритмах для dimensionality reduction и в их плюсах и минусах, то могу порекомендовать видео Neighbour embeddings for scientific visualization by Dmitry Kobak.
От себя добавлю, я довольно много крутил t-SNE и колпулся в его имплементации (респект Диме Ульянову за его чудесную имплементацию Multicore-TSNE). И это правда, что, меняя параметры алгоритма и рандом сид, можно получить график желаемого вида, где будет кластеризовано то, что вам хочется.
Если хотите получше разобраться в алгоритмах для dimensionality reduction и в их плюсах и минусах, то могу порекомендовать видео Neighbour embeddings for scientific visualization by Dmitry Kobak.
От себя добавлю, я довольно много крутил t-SNE и колпулся в его имплементации (респект Диме Ульянову за его чудесную имплементацию Multicore-TSNE). И это правда, что, меняя параметры алгоритма и рандом сид, можно получить график желаемого вида, где будет кластеризовано то, что вам хочется.
Image Manipulation with Only Pretrained StyleGAN
StyleGAN позволяет манипулировать и редактировать изображения благодаря своему обширному латентному пространству.
В данной работе, авторы показывают, что с помощью предварительно обученного StyleGAN вместе с некоторыми операциями, без какой-либо дополнительной архитектуры, можно смешивать изображения, генерировать панорамы, применять стили и много другое. Look mum, no clip!
💻 Colab
📎 Статья
🖥 Код
#gan #images
StyleGAN позволяет манипулировать и редактировать изображения благодаря своему обширному латентному пространству.
В данной работе, авторы показывают, что с помощью предварительно обученного StyleGAN вместе с некоторыми операциями, без какой-либо дополнительной архитектуры, можно смешивать изображения, генерировать панорамы, применять стили и много другое. Look mum, no clip!
💻 Colab
📎 Статья
🖥 Код
#gan #images
NitroFE (Nitro Feature Engineering)
NitroFE - это конструктор функций на языке Python, который предоставляет множество модулей, предназначенных для внутреннего сохранения прошлых зависимых значений для обеспечения непрерывных расчетов.
Умеет работать с:
⏰ Time based features
🏔 Indicator based features
💘 Moving average based features
🖥 Код
#features
NitroFE - это конструктор функций на языке Python, который предоставляет множество модулей, предназначенных для внутреннего сохранения прошлых зависимых значений для обеспечения непрерывных расчетов.
Умеет работать с:
⏰ Time based features
🏔 Indicator based features
💘 Moving average based features
🖥 Код
#features
Forwarded from Denis Sexy IT 🤖
Новое ПО под названием «enerscape» сможет предсказать передвижения крупных животных, минимизируя их контакты с людьми. Вряд ли бы вы хотели, чтобы ваш маршрут пересекался с медвежьими и волчьими тропами.
Традиционно, все карты передвижений основаны на долгосрочных исследованиях данных, которые поступают с животных с датчиками, а составление таких карт отнимает много времени и слишком дорогое. А если радиосвязь в районе отсутствует, то маячок вообще бесполезен.
Enerscape поможет сделать такие карты легко и не дорого, да и и каких-то вводных данных она требует по минимуму. Вся суть в методологии — энергия, котороя животное затрачивает на свой маршрут, рассчитывается на основе его веса и общего поведения при передвижении. Затем эти затраты энергии интегрируются в топографическую информацию о местности и создаются так называемые «энергетические ландшафтные карты» как для отдельных особей, так и для разных групп животных.
ПО было протестировано в Италии в региональном парке Сиренте Велино, где обитает находящийся под угрозой исчезновения бурый медведь. Используя enerscape исследователи обнаружили, что медведи выбирают пути, требующие меньше энергетических затрат (умные медведи 🐻). А эти пути часто пересекаются с населенными пунктами, где столкновения с людьми заканчиваются фатально. Программа определила конфликтные и защитные зоны и проверила, достаточно ли хорошо связаны между собой элементы ландшафта, чтобы медведи могли беспрепятственно по нему перемещаться.
Благодаря тому, что enerscape написана на зыке «R», она может обрабатывать информацию из различных типов экосистем, поэтому учёные надеятся, что таких карт будет в разы больше – с ними легко работать.
На картинке пример создания такой карты, где в исходных данных, основанных на топографии, показывается какое количество калорий необходимо потратить, чтобы пройти по определенному участку местности (нижняя картинка).
Ну, взвешивать по фото, как мы знаем, уже решенная задача, так что алгоритм внезапно клевый.
Традиционно, все карты передвижений основаны на долгосрочных исследованиях данных, которые поступают с животных с датчиками, а составление таких карт отнимает много времени и слишком дорогое. А если радиосвязь в районе отсутствует, то маячок вообще бесполезен.
Enerscape поможет сделать такие карты легко и не дорого, да и и каких-то вводных данных она требует по минимуму. Вся суть в методологии — энергия, котороя животное затрачивает на свой маршрут, рассчитывается на основе его веса и общего поведения при передвижении. Затем эти затраты энергии интегрируются в топографическую информацию о местности и создаются так называемые «энергетические ландшафтные карты» как для отдельных особей, так и для разных групп животных.
ПО было протестировано в Италии в региональном парке Сиренте Велино, где обитает находящийся под угрозой исчезновения бурый медведь. Используя enerscape исследователи обнаружили, что медведи выбирают пути, требующие меньше энергетических затрат (умные медведи 🐻). А эти пути часто пересекаются с населенными пунктами, где столкновения с людьми заканчиваются фатально. Программа определила конфликтные и защитные зоны и проверила, достаточно ли хорошо связаны между собой элементы ландшафта, чтобы медведи могли беспрепятственно по нему перемещаться.
Благодаря тому, что enerscape написана на зыке «R», она может обрабатывать информацию из различных типов экосистем, поэтому учёные надеятся, что таких карт будет в разы больше – с ними легко работать.
На картинке пример создания такой карты, где в исходных данных, основанных на топографии, показывается какое количество калорий необходимо потратить, чтобы пройти по определенному участку местности (нижняя картинка).
Ну, взвешивать по фото, как мы знаем, уже решенная задача, так что алгоритм внезапно клевый.
DeepMind регистрирует компанию по разработке лекарств
CEO DeepMind объявил о создании новой компании Alphabet - Isomorphic Labs - коммерческого предприятия с целью переосмыслить весь процесс открытия лекарств с нуля, используя подход, основанный на искусственном интеллекте, и, в конечном итоге, смоделировать и понять некоторые фундаментальные механизмы жизни.
«Сейчас мы переживаем захватывающий момент истории, когда эти техники и методы [машинное обучение] становятся достаточно мощными и сложными, чтобы их можно было применять для решения реальных проблем, включая научные открытия. Одно из самых важных применений ИИ, которое я могу себе представить, - это область биологических и медицинских исследований, и я страстно желал заняться этой областью в течение многих лет. Сейчас настало время продвигать эту область в темпе и с целевым вниманием и ресурсами, которые предоставит Isomorphic Labs.»
🕵🏻♂️ Интервью
CEO DeepMind объявил о создании новой компании Alphabet - Isomorphic Labs - коммерческого предприятия с целью переосмыслить весь процесс открытия лекарств с нуля, используя подход, основанный на искусственном интеллекте, и, в конечном итоге, смоделировать и понять некоторые фундаментальные механизмы жизни.
«Сейчас мы переживаем захватывающий момент истории, когда эти техники и методы [машинное обучение] становятся достаточно мощными и сложными, чтобы их можно было применять для решения реальных проблем, включая научные открытия. Одно из самых важных применений ИИ, которое я могу себе представить, - это область биологических и медицинских исследований, и я страстно желал заняться этой областью в течение многих лет. Сейчас настало время продвигать эту область в темпе и с целевым вниманием и ресурсами, которые предоставит Isomorphic Labs.»
🕵🏻♂️ Интервью
TorchDrug
Разработка лекарств - это долгий и дорогостоящий процесс, в среднем на него уходит 10 лет и 2,5 миллиарда долларов. Машинное обучение можно использовать для сокращения времени и стоимости разработки лекарств, делая прогнозы о биомедицинских таргетах на основе больших данных. Платформу машинного обучения TorchDrug была создана для именно такой разработке.
В целом мы уже писали про TorchDrug раньше, но появился повод. Во-первых библиотека значительно обновилась, а во-вторых вышел лонг-рид.
🖥 Код
🔭 Блог-пост
#ScientificML #medicine
Разработка лекарств - это долгий и дорогостоящий процесс, в среднем на него уходит 10 лет и 2,5 миллиарда долларов. Машинное обучение можно использовать для сокращения времени и стоимости разработки лекарств, делая прогнозы о биомедицинских таргетах на основе больших данных. Платформу машинного обучения TorchDrug была создана для именно такой разработке.
В целом мы уже писали про TorchDrug раньше, но появился повод. Во-первых библиотека значительно обновилась, а во-вторых вышел лонг-рид.
🖥 Код
🔭 Блог-пост
#ScientificML #medicine
Forwarded from Sberloga (Alexander C)
🚀 @SBERLOGA онлайн доклад по биоинформатике и анонс предложений о возможном сотрудничестве :
👨🔬 Ирина Починок, Jastyn Anne Pöpplau (University Medical Center Hamburg-Eppendorf) "Combining transcriptomics and electrophysiological recordings of L2/3 pyramidal neurons in the GE-Mouse-Model of schizophrenia."
⌚️ Понедельник 8 ноября, 18.00 по Москве
В наших предыдущих исследованиях мы показали что пирамидальные нейроны в слоях II/III префронтальной коры играют ключевую роль в формировании дисфункций в мышиной модели психических расстройств. В этом проекте мы зарегистрировали электрофизиологическую активность в слоях II/III префронтальной коры этой модели в неонатальном возрасте при одновременной оптогенетической стимуляции пирамидальных нейронов II/III слоя. После записи активности ткань головного мозга мышей препарировалась и ядра пирамидальных нейронов слоя II/III, экспрессирующие флуоресценцию, были отсортированы с помощью FACS с последующей очисткой РНК и секвенированием (20 mio reads, single end, unstrandet, 80 bp, illumina next gen).
Мы хотим идентифицировать (семейство) генов, которые коррелируют с электрофизиологическими особенностями популяции экспрессирующих флуоресценцию нейронов. Кроме того, мы хотим определить, изменяются ли профили экспрессии (семейства) генов (тех, которые коррелируют с электрофизиологическими особенностями) в мышиной модели психических расстройств.
Возможное сотрудничество:
Мы ищем человека для анализа результатов РНК секвенирования. Предлагаем сотрудничество/участие в публикации или можем оформить как фриланс/контракт.
Аффилиация:
University Medical Center Hamburg-Eppendorf, Center for Molecular Neurobiology, Institute of Developmental Neurophysiology (http://www.opatzlab.com/, https://twitter.com/HanganuOpatzLab).
Мы в Гамбурге, Германия.
Контакты:
Irina Pochinok (irina.pochinok@zmnh.uni-hamburg.de),
Jastyn Anne Pöpplau (jastyn.poepplau@zmnh.uni-hamburg.de)
Ссылка на зум будет доступна через тг чат https://t.me/sberlogabio ближе к началу
👨🔬 Ирина Починок, Jastyn Anne Pöpplau (University Medical Center Hamburg-Eppendorf) "Combining transcriptomics and electrophysiological recordings of L2/3 pyramidal neurons in the GE-Mouse-Model of schizophrenia."
⌚️ Понедельник 8 ноября, 18.00 по Москве
В наших предыдущих исследованиях мы показали что пирамидальные нейроны в слоях II/III префронтальной коры играют ключевую роль в формировании дисфункций в мышиной модели психических расстройств. В этом проекте мы зарегистрировали электрофизиологическую активность в слоях II/III префронтальной коры этой модели в неонатальном возрасте при одновременной оптогенетической стимуляции пирамидальных нейронов II/III слоя. После записи активности ткань головного мозга мышей препарировалась и ядра пирамидальных нейронов слоя II/III, экспрессирующие флуоресценцию, были отсортированы с помощью FACS с последующей очисткой РНК и секвенированием (20 mio reads, single end, unstrandet, 80 bp, illumina next gen).
Мы хотим идентифицировать (семейство) генов, которые коррелируют с электрофизиологическими особенностями популяции экспрессирующих флуоресценцию нейронов. Кроме того, мы хотим определить, изменяются ли профили экспрессии (семейства) генов (тех, которые коррелируют с электрофизиологическими особенностями) в мышиной модели психических расстройств.
Возможное сотрудничество:
Мы ищем человека для анализа результатов РНК секвенирования. Предлагаем сотрудничество/участие в публикации или можем оформить как фриланс/контракт.
Аффилиация:
University Medical Center Hamburg-Eppendorf, Center for Molecular Neurobiology, Institute of Developmental Neurophysiology (http://www.opatzlab.com/, https://twitter.com/HanganuOpatzLab).
Мы в Гамбурге, Германия.
Контакты:
Irina Pochinok (irina.pochinok@zmnh.uni-hamburg.de),
Jastyn Anne Pöpplau (jastyn.poepplau@zmnh.uni-hamburg.de)
Ссылка на зум будет доступна через тг чат https://t.me/sberlogabio ближе к началу
This media is not supported in your browser
VIEW IN TELEGRAM
EditGAN: High-Precision Semantic Image Editing
NVidia продолжает наступать на пятки компании Adobe, предложив EditGAN. Этот метод, позволяет пользователям редактировать изображения.
EditGAN может манипулировать изображениями с беспрецедентным уровнем детализации и свободы, сохраняя при этом полное качество изображения.
EditGAN - это первая система редактирования изображений на основе GAN, которая одновременно (i) обеспечивает очень высокую точность редактирования, (ii) требует очень мало аннотированных обучающих данных (и не полагается на внешние классификаторы), (iii) может работать интерактивно в реальном времени, (iv) обеспечивает простую композицию нескольких правок, (v) и работает на реальных встроенных, сгенерированных GAN и даже внедоменных изображениях.
код обещают soon
🖥 Проект
📎 Статья
#GAN #editing #images
NVidia продолжает наступать на пятки компании Adobe, предложив EditGAN. Этот метод, позволяет пользователям редактировать изображения.
EditGAN может манипулировать изображениями с беспрецедентным уровнем детализации и свободы, сохраняя при этом полное качество изображения.
EditGAN - это первая система редактирования изображений на основе GAN, которая одновременно (i) обеспечивает очень высокую точность редактирования, (ii) требует очень мало аннотированных обучающих данных (и не полагается на внешние классификаторы), (iii) может работать интерактивно в реальном времени, (iv) обеспечивает простую композицию нескольких правок, (v) и работает на реальных встроенных, сгенерированных GAN и даже внедоменных изображениях.
код обещают soon
🖥 Проект
📎 Статья
#GAN #editing #images
SustainBench
SustainBench - это коллекция из 15 эталонных задач по 7 целям устойчивого развития (SDG), включая задачи, касающиеся экономического развития, сельского хозяйства, здравоохранения, образования, водоснабжения и санитарии, действий по защите климата и жизни на земле. Целями SustainBench являются:
🚷 снизить входные барьеры для сообщества машинного обучения, чтобы внести свой вклад в измерение и достижение SGD;
📈 предоставить стандартные эталоны для оценки моделей машинного обучения на задачах по целому ряду SDG
📎 Статья
🗂 Датасет
#datasets #ScientificML
SustainBench - это коллекция из 15 эталонных задач по 7 целям устойчивого развития (SDG), включая задачи, касающиеся экономического развития, сельского хозяйства, здравоохранения, образования, водоснабжения и санитарии, действий по защите климата и жизни на земле. Целями SustainBench являются:
🚷 снизить входные барьеры для сообщества машинного обучения, чтобы внести свой вклад в измерение и достижение SGD;
📈 предоставить стандартные эталоны для оценки моделей машинного обучения на задачах по целому ряду SDG
📎 Статья
🗂 Датасет
#datasets #ScientificML
This media is not supported in your browser
VIEW IN TELEGRAM
ProsePainter
Создавайте образы, рисуя словами.
ProsePainter сочетает в себе рисование руками с оптимизацией изображения в реальном времени с помощью машинного обучения. Просто скажите, что вы хотите, и выделите нужную область.
🖥 Код
#CLIP #images #multimodal
Создавайте образы, рисуя словами.
ProsePainter сочетает в себе рисование руками с оптимизацией изображения в реальном времени с помощью машинного обучения. Просто скажите, что вы хотите, и выделите нужную область.
🖥 Код
#CLIP #images #multimodal
FS-Mol
Microsoft выпустил датасет молекул для обучения в режиме few-shot (это когда обученной модели показывают несколько примеров чего от неё хотят и просят предсказать на новом).
Данные представляют из себя молекулярные соединения с измерениями активности против различных белковых мишеней.
К данным предлагаются ещё и обученные модельки, что бы было с чем сравнивать.
🗂 Датасет
#ScientificML #datasets
Microsoft выпустил датасет молекул для обучения в режиме few-shot (это когда обученной модели показывают несколько примеров чего от неё хотят и просят предсказать на новом).
Данные представляют из себя молекулярные соединения с измерениями активности против различных белковых мишеней.
К данным предлагаются ещё и обученные модельки, что бы было с чем сравнивать.
🗂 Датасет
#ScientificML #datasets
Masked Autoencoders Are Scalable Vision Learners
Ещё одна идея, которая казалось бы была на поверхности, and yet… Берём картиночный автоэнкодер, делим картинку на патчи, прячем их в случайном порядке, и просим декодер восстановить изображение (в режиме self-supervised).
Авторы (Facebook/Meta AI), обнаружили, что скрытие большой части входного изображения, например, 75%, дает нетривиальную и осмысленную задачу для self-supervised обучения. Оказалось, что в такой формулировке, автоэнкодер обучается в ~3 раза быстрее (чем если бы мы учили на изображениях без масок).
Более того, оказалось, что если к такому обученному автоэнкодеру прикрутить голову на классификацию (например), то она будет показывать SOTA результаты. Так же, авторы показывают, что при масштабировании датасета, результаты только улучшаются.
📎 Статья
🖥 Код (не официальный)
#SSL #autoencoders #images
Ещё одна идея, которая казалось бы была на поверхности, and yet… Берём картиночный автоэнкодер, делим картинку на патчи, прячем их в случайном порядке, и просим декодер восстановить изображение (в режиме self-supervised).
Авторы (Facebook/Meta AI), обнаружили, что скрытие большой части входного изображения, например, 75%, дает нетривиальную и осмысленную задачу для self-supervised обучения. Оказалось, что в такой формулировке, автоэнкодер обучается в ~3 раза быстрее (чем если бы мы учили на изображениях без масок).
Более того, оказалось, что если к такому обученному автоэнкодеру прикрутить голову на классификацию (например), то она будет показывать SOTA результаты. Так же, авторы показывают, что при масштабировании датасета, результаты только улучшаются.
📎 Статья
🖥 Код (не официальный)
#SSL #autoencoders #images
Awesome ML-ops. Нашёл репо со ссылками на (примерно) все инструменты существующие в этой области.
GitHub
GitHub - kelvins/awesome-mlops: :sunglasses: A curated list of awesome MLOps tools
:sunglasses: A curated list of awesome MLOps tools - kelvins/awesome-mlops
Мозг обладает удивительной способностью обрабатывать визуальную информацию. Люди могут бросить один взгляд на сложную сцену и сразу же быть в состоянии описать увиденное простым языком.
В основе этой способности лежат сложные вычисления, выполняемые зрительной корой. Для того чтобы полностью понять, что это за вычисления, необходимо выяснить, как семантически значимая информация представлена в активациях нейронов зрения.
Исследователи из DeepMind разработали нейросеть β-VAE. Она относится к новому типу интерпретируемых сетей - disentanglement networks. β-VAE учится, предсказывая свои собственные входы; для успешного обучения ей требуется визуальный опыт, аналогичный тому, с которым сталкиваются младенцы; а ее усвоенное скрытое представление похоже на свойства присущие зрительному мозгу.
В своей работе, авторы заметили, что нейроны, обнаруженные с помощью β-VAE, ведут себя как аналогичное по размеру подмножество настоящих нейронов в мозге приматов.
🔭 Блог-пост
#ScientificML
В основе этой способности лежат сложные вычисления, выполняемые зрительной корой. Для того чтобы полностью понять, что это за вычисления, необходимо выяснить, как семантически значимая информация представлена в активациях нейронов зрения.
Исследователи из DeepMind разработали нейросеть β-VAE. Она относится к новому типу интерпретируемых сетей - disentanglement networks. β-VAE учится, предсказывая свои собственные входы; для успешного обучения ей требуется визуальный опыт, аналогичный тому, с которым сталкиваются младенцы; а ее усвоенное скрытое представление похоже на свойства присущие зрительному мозгу.
В своей работе, авторы заметили, что нейроны, обнаруженные с помощью β-VAE, ведут себя как аналогичное по размеру подмножество настоящих нейронов в мозге приматов.
🔭 Блог-пост
#ScientificML