FS-Mol
Microsoft выпустил датасет молекул для обучения в режиме few-shot (это когда обученной модели показывают несколько примеров чего от неё хотят и просят предсказать на новом).
Данные представляют из себя молекулярные соединения с измерениями активности против различных белковых мишеней.
К данным предлагаются ещё и обученные модельки, что бы было с чем сравнивать.
🗂 Датасет
#ScientificML #datasets
Microsoft выпустил датасет молекул для обучения в режиме few-shot (это когда обученной модели показывают несколько примеров чего от неё хотят и просят предсказать на новом).
Данные представляют из себя молекулярные соединения с измерениями активности против различных белковых мишеней.
К данным предлагаются ещё и обученные модельки, что бы было с чем сравнивать.
🗂 Датасет
#ScientificML #datasets
Masked Autoencoders Are Scalable Vision Learners
Ещё одна идея, которая казалось бы была на поверхности, and yet… Берём картиночный автоэнкодер, делим картинку на патчи, прячем их в случайном порядке, и просим декодер восстановить изображение (в режиме self-supervised).
Авторы (Facebook/Meta AI), обнаружили, что скрытие большой части входного изображения, например, 75%, дает нетривиальную и осмысленную задачу для self-supervised обучения. Оказалось, что в такой формулировке, автоэнкодер обучается в ~3 раза быстрее (чем если бы мы учили на изображениях без масок).
Более того, оказалось, что если к такому обученному автоэнкодеру прикрутить голову на классификацию (например), то она будет показывать SOTA результаты. Так же, авторы показывают, что при масштабировании датасета, результаты только улучшаются.
📎 Статья
🖥 Код (не официальный)
#SSL #autoencoders #images
Ещё одна идея, которая казалось бы была на поверхности, and yet… Берём картиночный автоэнкодер, делим картинку на патчи, прячем их в случайном порядке, и просим декодер восстановить изображение (в режиме self-supervised).
Авторы (Facebook/Meta AI), обнаружили, что скрытие большой части входного изображения, например, 75%, дает нетривиальную и осмысленную задачу для self-supervised обучения. Оказалось, что в такой формулировке, автоэнкодер обучается в ~3 раза быстрее (чем если бы мы учили на изображениях без масок).
Более того, оказалось, что если к такому обученному автоэнкодеру прикрутить голову на классификацию (например), то она будет показывать SOTA результаты. Так же, авторы показывают, что при масштабировании датасета, результаты только улучшаются.
📎 Статья
🖥 Код (не официальный)
#SSL #autoencoders #images
Awesome ML-ops. Нашёл репо со ссылками на (примерно) все инструменты существующие в этой области.
GitHub
GitHub - kelvins/awesome-mlops: :sunglasses: A curated list of awesome MLOps tools
:sunglasses: A curated list of awesome MLOps tools - kelvins/awesome-mlops
Мозг обладает удивительной способностью обрабатывать визуальную информацию. Люди могут бросить один взгляд на сложную сцену и сразу же быть в состоянии описать увиденное простым языком.
В основе этой способности лежат сложные вычисления, выполняемые зрительной корой. Для того чтобы полностью понять, что это за вычисления, необходимо выяснить, как семантически значимая информация представлена в активациях нейронов зрения.
Исследователи из DeepMind разработали нейросеть β-VAE. Она относится к новому типу интерпретируемых сетей - disentanglement networks. β-VAE учится, предсказывая свои собственные входы; для успешного обучения ей требуется визуальный опыт, аналогичный тому, с которым сталкиваются младенцы; а ее усвоенное скрытое представление похоже на свойства присущие зрительному мозгу.
В своей работе, авторы заметили, что нейроны, обнаруженные с помощью β-VAE, ведут себя как аналогичное по размеру подмножество настоящих нейронов в мозге приматов.
🔭 Блог-пост
#ScientificML
В основе этой способности лежат сложные вычисления, выполняемые зрительной корой. Для того чтобы полностью понять, что это за вычисления, необходимо выяснить, как семантически значимая информация представлена в активациях нейронов зрения.
Исследователи из DeepMind разработали нейросеть β-VAE. Она относится к новому типу интерпретируемых сетей - disentanglement networks. β-VAE учится, предсказывая свои собственные входы; для успешного обучения ей требуется визуальный опыт, аналогичный тому, с которым сталкиваются младенцы; а ее усвоенное скрытое представление похоже на свойства присущие зрительному мозгу.
В своей работе, авторы заметили, что нейроны, обнаруженные с помощью β-VAE, ведут себя как аналогичное по размеру подмножество настоящих нейронов в мозге приматов.
🔭 Блог-пост
#ScientificML
Benchmarking deep generative models for diverse antibody sequence design
Дизайн новых и разнообразных белков, соответствующих заданной структуре, остается важной нерешенной задачей. В последнее время глубокие генеративные модели, которые обучаются только на основе последовательностей или на основе последовательностей и структур совместно, показали впечатляющие результаты в решении этой задачи.
Исследователи из IBM рассматривают три недавно предложенные глубокие генеративные схемы для проектирования белков: (AR) авторегрессионная генеративная модель на основе последовательности, (GVP) графовая нейронная сеть на основе точной структуры и Fold2Seq.
Авторы сравнили эти модели на задаче вычислительного дизайна последовательностей антител, которая требует проектирования последовательностей с высоким разнообразием для функциональной привязки. Модель Fold2Seq превосходит две другие базовые модели по разнообразию конструируемых последовательностей.
📎 Статья
#ScientificML #biology #generative
Дизайн новых и разнообразных белков, соответствующих заданной структуре, остается важной нерешенной задачей. В последнее время глубокие генеративные модели, которые обучаются только на основе последовательностей или на основе последовательностей и структур совместно, показали впечатляющие результаты в решении этой задачи.
Исследователи из IBM рассматривают три недавно предложенные глубокие генеративные схемы для проектирования белков: (AR) авторегрессионная генеративная модель на основе последовательности, (GVP) графовая нейронная сеть на основе точной структуры и Fold2Seq.
Авторы сравнили эти модели на задаче вычислительного дизайна последовательностей антител, которая требует проектирования последовательностей с высоким разнообразием для функциональной привязки. Модель Fold2Seq превосходит две другие базовые модели по разнообразию конструируемых последовательностей.
📎 Статья
#ScientificML #biology #generative
SDSS Galaxies
Набор данных из 306 006 галактик, координаты которых взяты из Sloan Digital Sky Survey Data Release. Изображения галактик получены с помощью спектроскопического прибора Dark Energy Spectroscopic Instrument.
🗂 Данные
📎 Статья
#ScientificML #astronomy #datasets
Набор данных из 306 006 галактик, координаты которых взяты из Sloan Digital Sky Survey Data Release. Изображения галактик получены с помощью спектроскопического прибора Dark Energy Spectroscopic Instrument.
🗂 Данные
📎 Статья
#ScientificML #astronomy #datasets
This media is not supported in your browser
VIEW IN TELEGRAM
MetNet-2. Глубокое обучение для 12 часового прогноза осадков.
Прогнозирование погоды обычно опирается на традиционные методы, основанные на физике и использующие крупнейшие в мире суперкомпьютеры (об этом очень хорошо написано у Вастрика). Такие методы ограничены высокими вычислительными требованиями и чувствительны к приближениям физических законов, на которых они основаны.
Глубокое обучение предлагает новый подход к вычислению прогнозов (как например в недавней работе от DeepMind). Модели глубокого обучения не включают в себя явные физические законы, а учатся предсказывать погодные условия непосредственно на основе наблюдаемых данных и способны вычислять прогнозы быстрее, чем методы, основанные на физике.
В новой работе, Google AI демонстрирует нейросеть для прогнозирования осадков на следующие 12 часов (с пространственным разрешением в 1 км и временным разрешением в 2 минуты).
📎 Статья
🔭 Блог-пост
#ScientificML #earthscience #meteorology
Прогнозирование погоды обычно опирается на традиционные методы, основанные на физике и использующие крупнейшие в мире суперкомпьютеры (об этом очень хорошо написано у Вастрика). Такие методы ограничены высокими вычислительными требованиями и чувствительны к приближениям физических законов, на которых они основаны.
Глубокое обучение предлагает новый подход к вычислению прогнозов (как например в недавней работе от DeepMind). Модели глубокого обучения не включают в себя явные физические законы, а учатся предсказывать погодные условия непосредственно на основе наблюдаемых данных и способны вычислять прогнозы быстрее, чем методы, основанные на физике.
В новой работе, Google AI демонстрирует нейросеть для прогнозирования осадков на следующие 12 часов (с пространственным разрешением в 1 км и временным разрешением в 2 минуты).
📎 Статья
🔭 Блог-пост
#ScientificML #earthscience #meteorology
Многие алгоритмы машинного обучения, как supervised, так и self-supervised, используют метрики расстояния. В этой чудесной шпаргалке подробно рассмотрены основные 9.
Знание того, когда использовать ту или иную меру расстояния, может помочь вам пройти путь от плохого классификатора до точной модели.
🔭 Блог-пост
#basics #training
Знание того, когда использовать ту или иную меру расстояния, может помочь вам пройти путь от плохого классификатора до точной модели.
🔭 Блог-пост
#basics #training
Forwarded from Denis Sexy IT 🤖
Похоже, опенсорсное ПО по изучению структуры белков начинает приносить свои плоды — коллаборация учёных получила данные о том, как трёхмерные структуры белков собираются вместе, образуя многобелковый комплекс. Дальше будет сложно, но мне кажется один фиг интересно.
Вот тут можете освежить в памяти инфу, я писал об нейронке AlphaFold2 от DeepMind, которая достаточно точно предсказывает структур молекулы белка, исходя из определенного набора аминокислот. Новое же исследование как бы немного переступает этот шаг и говорит сразу о том, как эти молекулы объединяются в сложные структуры, что очень круто.
Например, комплекс, создающий копии наших хромосом обычно состоит из более чем десятка белков, объединенные структуры которых требуют тщательной координации их химических изменений. А для того чтобы собрать эти и другие комплексы вместе, необходимо правильно сложить составляющие их белки в нужные трехмерные формы. AlphaFold и RoseTTAFold как раз этим и занимаются, но после того, как складывание завершено, белки должны взаимодействовать друг с другом, правильно соединяться (например «+» заряд на одном белке соответствует «-» заряду на его партнёре).
Метод нейронок оказался полезным при сборке многобелковых структур — RoseTTAFold, например, частично разбивает аминокислотную последовательность белка на более мелкие части и считает каждую из них, прежде чем собрать конструктор. При этом обнаружили, что если подать RoseTTAFold кусочки двух разных белков, она с радостью скушает инфу и соберет оба белка, учитывая их ориентацию и расстояние между ними.
Еще крутой особенностью алгоритмов является то, что их прогнозы опираются на эволюцию — например мутации, когда «+» в белке А мутирует и не может взаимодействовать с «-» в белке Б, алгоритм просчитывает даже варианты, если «-» белка Б тоже будет мутировать и компенсирует проблему, потому что не все аминокислоты могут образовывать спиральные структуры.
Круто осознавать, что вот только в июле появившиеся нейронки уже дают какие-то полезные данные, а ведь прошло меньше чем пол года. И это еще один шаг навстречу лечения разных серьезных заболеваний с помощью таких вот моделей 🧬
Вот тут можете освежить в памяти инфу, я писал об нейронке AlphaFold2 от DeepMind, которая достаточно точно предсказывает структур молекулы белка, исходя из определенного набора аминокислот. Новое же исследование как бы немного переступает этот шаг и говорит сразу о том, как эти молекулы объединяются в сложные структуры, что очень круто.
Например, комплекс, создающий копии наших хромосом обычно состоит из более чем десятка белков, объединенные структуры которых требуют тщательной координации их химических изменений. А для того чтобы собрать эти и другие комплексы вместе, необходимо правильно сложить составляющие их белки в нужные трехмерные формы. AlphaFold и RoseTTAFold как раз этим и занимаются, но после того, как складывание завершено, белки должны взаимодействовать друг с другом, правильно соединяться (например «+» заряд на одном белке соответствует «-» заряду на его партнёре).
Метод нейронок оказался полезным при сборке многобелковых структур — RoseTTAFold, например, частично разбивает аминокислотную последовательность белка на более мелкие части и считает каждую из них, прежде чем собрать конструктор. При этом обнаружили, что если подать RoseTTAFold кусочки двух разных белков, она с радостью скушает инфу и соберет оба белка, учитывая их ориентацию и расстояние между ними.
Еще крутой особенностью алгоритмов является то, что их прогнозы опираются на эволюцию — например мутации, когда «+» в белке А мутирует и не может взаимодействовать с «-» в белке Б, алгоритм просчитывает даже варианты, если «-» белка Б тоже будет мутировать и компенсирует проблему, потому что не все аминокислоты могут образовывать спиральные структуры.
Круто осознавать, что вот только в июле появившиеся нейронки уже дают какие-то полезные данные, а ведь прошло меньше чем пол года. И это еще один шаг навстречу лечения разных серьезных заболеваний с помощью таких вот моделей 🧬
Ars Technica
Open-sourcing of protein-structure software is already paying off
The big trade-off is between computational intensity and the size of the complex.
TorchGeo - PyTorch‘овая библиотека от Microsoft, аналогичная torchvision. В ней есть наборы данных, преобразования, семплеры и предварительно обученные модели, специфичные для geospatial (ГИС) данных.
🖥 Код
📎 Статья
#earthscience #geo #ScientificML #library
🖥 Код
📎 Статья
#earthscience #geo #ScientificML #library
Forwarded from Sberloga (Alexander C)
🚀 @SBERLOGA онлайн семинар по биоинформатике:
👨🔬 Всеволод Макеев (ИОГен РАН): «Различные задачи геномики, решающиеся с помощью задачи разладки»
⌚️ Пятница 19 Ноября, 18.00 (Moscow time)
Абстракт будет позднее.
О докладчике:
Всеволод Юрьевич Макеев - член-корреспондент РАН, заведующий отделом ИОГен РАН
Ссылка на зум будет доступна в чате: https://t.me/sberlogabio ближе к началу доклада.
👨🔬 Всеволод Макеев (ИОГен РАН): «Различные задачи геномики, решающиеся с помощью задачи разладки»
⌚️ Пятница 19 Ноября, 18.00 (Moscow time)
Абстракт будет позднее.
О докладчике:
Всеволод Юрьевич Макеев - член-корреспондент РАН, заведующий отделом ИОГен РАН
Ссылка на зум будет доступна в чате: https://t.me/sberlogabio ближе к началу доклада.
Wikipedia
Макеев, Всеволод Юрьевич
Всеволод Юрьевич Макеев (род. 19 августа 1967 года) — российский учёный-биофизик, специалист в области системной биологии, вычислительной генетики и биоинформатики, член-корреспондент РАН (2016).
⚠️OpenAI GPT-3 в доступе!⚠️
Это не учебная тревога и не реклама!
Скорее расчехляйте свои VPN и вперёд играть с GPT-3 и Codex. Там довольно много токенов дают бесплатно, пока не попросят денег.
Подключатся тут
UPD: Codex ещё в закрытой beta
Это не учебная тревога и не реклама!
Скорее расчехляйте свои VPN и вперёд играть с GPT-3 и Codex. Там довольно много токенов дают бесплатно, пока не попросят денег.
Подключатся тут
UPD: Codex ещё в закрытой beta
На Марсе сделали геологическое открытие с помощью ML.
Единственные образцы марсианских пород на Земле - это метеориты, выброшенные с поверхности Марса в результате столкновения с астероидами. Местонахождение и геологический контекст мест падения в настоящее время неизвестны. Определение мест столкновений необходимо для раскрытия взаимосвязи между эволюцией марсианских недр и их поверхности.
Авторы статьи в Nature адаптировали алгоритм обнаружения кратеров (довольно простенькая вариация YOLO), который позволил определить первичные и вторичные кратеры. Оказалось, что несколько кратеров, расположенных в вулканической провинции Тарсис, являются наиболее вероятным источником нескольких найденных на Земле марсианских метеоритов выброшенных 1.1 млн лет назад.
Получается, что, пользуясь похожими методами, можно установить геологические свойства другой планеты и без дорогостоящих и долгосрочных миссий по возврату образцов с Марса (а ещё лучше не без, а вместе).
☄️ Статья
#ScientificML #earthscience
Единственные образцы марсианских пород на Земле - это метеориты, выброшенные с поверхности Марса в результате столкновения с астероидами. Местонахождение и геологический контекст мест падения в настоящее время неизвестны. Определение мест столкновений необходимо для раскрытия взаимосвязи между эволюцией марсианских недр и их поверхности.
Авторы статьи в Nature адаптировали алгоритм обнаружения кратеров (довольно простенькая вариация YOLO), который позволил определить первичные и вторичные кратеры. Оказалось, что несколько кратеров, расположенных в вулканической провинции Тарсис, являются наиболее вероятным источником нескольких найденных на Земле марсианских метеоритов выброшенных 1.1 млн лет назад.
Получается, что, пользуясь похожими методами, можно установить геологические свойства другой планеты и без дорогостоящих и долгосрочных миссий по возврату образцов с Марса (а ещё лучше не без, а вместе).
☄️ Статья
#ScientificML #earthscience
Machine Learning for Clouds and Climate
Алгоритмы машинного обучения являются мощными инструментами для построения моделей облаков и климата. Часто, это модели более точно соответствуют быстро увеличивающимся объемам данных о Земли, чем обычно используемые полуэмпирические модели.
В статье рассматриваются инструменты ML, включая интерпретируемые и физически управляемые ML, и объясняется, как они могут быть применены к облачным процессам в климатической системе, включая радиацию, микрофизику, конвекцию, а также обнаружение, классификацию, эмуляцию и количественную оценку неопределенности облаков.
📎 Статья
#ScientificML #earthscience #meteo
Алгоритмы машинного обучения являются мощными инструментами для построения моделей облаков и климата. Часто, это модели более точно соответствуют быстро увеличивающимся объемам данных о Земли, чем обычно используемые полуэмпирические модели.
В статье рассматриваются инструменты ML, включая интерпретируемые и физически управляемые ML, и объясняется, как они могут быть применены к облачным процессам в климатической системе, включая радиацию, микрофизику, конвекцию, а также обнаружение, классификацию, эмуляцию и количественную оценку неопределенности облаков.
📎 Статья
#ScientificML #earthscience #meteo
Подборка каналов для любителей науки, AI/ML и цифровых технологий — для тех, кто хочет держать руку на пульсе инноваций и делать будущее сегодня. Enjoy!
@sberloga — сообщество энтузиастов дата сайнс, биоинформатики, родившееся в Сбере, но открытое для всех
@biology_logic — качественные научно-популярные статьи о самом интересном в биологии
@pcr_news — информационный портал о молекулярной диагностике и смежных областях науки и медицины
@start_ds — канал с материалами для подготовки к собеседованиям в области Data Science и не только
@AI_meetups — митапы и прочие важные ивенты про AI, ML, DS, etc
@botka_chronics — интересная математика в машинном обучении и обработке изображений
@smart_lab_news — новости нанобиотеха: различные научные события, конкурсы, конференции и др.
@chemical_medicine — независимый канал о медицине, химии, фармакологии и мировом рынке биотехнологий от специалистов по медицинской химии.
@neuronovosti — новости нейронаук и нейротехнологий. Самые свежие новости нейротематики в вашем телефоне
@medicalksu — канал о цифровом здравоохранении и инновациях в медицине. Новости и ссылки на статьи о телемедицине, технологиях AI/ML, девайсах для врачей и пациентов и digital-проектах фармы.
#этополюбви
@sberloga — сообщество энтузиастов дата сайнс, биоинформатики, родившееся в Сбере, но открытое для всех
@biology_logic — качественные научно-популярные статьи о самом интересном в биологии
@pcr_news — информационный портал о молекулярной диагностике и смежных областях науки и медицины
@start_ds — канал с материалами для подготовки к собеседованиям в области Data Science и не только
@AI_meetups — митапы и прочие важные ивенты про AI, ML, DS, etc
@botka_chronics — интересная математика в машинном обучении и обработке изображений
@smart_lab_news — новости нанобиотеха: различные научные события, конкурсы, конференции и др.
@chemical_medicine — независимый канал о медицине, химии, фармакологии и мировом рынке биотехнологий от специалистов по медицинской химии.
@neuronovosti — новости нейронаук и нейротехнологий. Самые свежие новости нейротематики в вашем телефоне
@medicalksu — канал о цифровом здравоохранении и инновациях в медицине. Новости и ссылки на статьи о телемедицине, технологиях AI/ML, девайсах для врачей и пациентов и digital-проектах фармы.
#этополюбви
XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale
XLS-R - модель для обучения межъязыковым репрезентациям устной речи, основанная на wav2vec 2.0. Авторы из MetaAI (Facebook) обучили модель с
2B параметров на почти полумиллионе часов общедоступных аудиозаписей речи на 128 языках.
По аналогии с задачей моделирования языка по маске в BERT, XLS-R обучается контекстуализированным представлениям речи путем случайной маскировки векторов признаков перед передачей их в self-supervised transformer (т.е. диаграмма слева внизу).
XLS-R демонстрирует впечатляющие улучшения по сравнению с предыдущими SOTA в распознавании речи, переводе речи и идентификации диктора/языка.
📎 Статья
🔭 Блог-пост
🖥 Код
🤗 Демо
#SSL #sound #audio #speech
XLS-R - модель для обучения межъязыковым репрезентациям устной речи, основанная на wav2vec 2.0. Авторы из MetaAI (Facebook) обучили модель с
2B параметров на почти полумиллионе часов общедоступных аудиозаписей речи на 128 языках.
По аналогии с задачей моделирования языка по маске в BERT, XLS-R обучается контекстуализированным представлениям речи путем случайной маскировки векторов признаков перед передачей их в self-supervised transformer (т.е. диаграмма слева внизу).
XLS-R демонстрирует впечатляющие улучшения по сравнению с предыдущими SOTA в распознавании речи, переводе речи и идентификации диктора/языка.
📎 Статья
🔭 Блог-пост
🖥 Код
🤗 Демо
#SSL #sound #audio #speech
Forwarded from Мишин Лернинг 🇺🇦🇮🇱
🧬 OpenFold: Точное воспроизведение AlphaFold 2 от DeepMind на PyTorch
Про нейросеть AlphaFold от DeepMind, способную предсказать третичную структуру белка по последовательности dna, я писал тут и тут.
Сегодня стала доступна PyTorch имплементация OpenFold.
OpenFold тщательно воспроизводит (почти) все функции исходного кода. Единственным исключением является ансамбль моделей, который плохо показал себя в тестировании у самих DeepMind, и поддержка которого будет прекращена.
OpenFold дает возможность инференса с исходными весами AlphaFold 2 на JAX.
🧠 В отличие от открытого кода DeepMind, OpenFold также можно обучать: файнтюнить или даже продолжать полноценный трейн на новых сетах.
Его можно тренировать, используя DeepSpeed, со смешанной точностью. А в будущем будет добавлена поддержка и bfloat16.
💻 git 🔮colab
Про нейросеть AlphaFold от DeepMind, способную предсказать третичную структуру белка по последовательности dna, я писал тут и тут.
Сегодня стала доступна PyTorch имплементация OpenFold.
OpenFold тщательно воспроизводит (почти) все функции исходного кода. Единственным исключением является ансамбль моделей, который плохо показал себя в тестировании у самих DeepMind, и поддержка которого будет прекращена.
OpenFold дает возможность инференса с исходными весами AlphaFold 2 на JAX.
🧠 В отличие от открытого кода DeepMind, OpenFold также можно обучать: файнтюнить или даже продолжать полноценный трейн на новых сетах.
Его можно тренировать, используя DeepSpeed, со смешанной точностью. А в будущем будет добавлена поддержка и bfloat16.
💻 git 🔮colab
Bits and Bytes (Facebook AI)
Bitsandbytes - это легковесная обертка вокруг пользовательских функций CUDA, в частности, 8-битных оптимизаторов и функций квантования.
Основные фишки:
⚡️ 8-битные оптимизаторы: Adam, AdamW, RMSProp, LARS, LAMB (экономит 75% памяти!!!)
🙌 Стабильный слой эмбединга: Улучшенная стабильность за счет лучшей инициализации и нормализации
🌗 8-битное квантование: Квантильная, линейная и динамическая квантизация
⚡️ Быстрая оценка квантилей: В 100 раз быстрее, чем другие алгоритмы
Я ждал пока библиотека пройдёт тест временем, и очевидно, что она его прошла. Так что вперед - обновлять свои оптимизаторы.
🖥 Код
📎 Статья
📼 Видео
#training #optimizers
Bitsandbytes - это легковесная обертка вокруг пользовательских функций CUDA, в частности, 8-битных оптимизаторов и функций квантования.
Основные фишки:
⚡️ 8-битные оптимизаторы: Adam, AdamW, RMSProp, LARS, LAMB (экономит 75% памяти!!!)
🙌 Стабильный слой эмбединга: Улучшенная стабильность за счет лучшей инициализации и нормализации
🌗 8-битное квантование: Квантильная, линейная и динамическая квантизация
⚡️ Быстрая оценка квантилей: В 100 раз быстрее, чем другие алгоритмы
Я ждал пока библиотека пройдёт тест временем, и очевидно, что она его прошла. Так что вперед - обновлять свои оптимизаторы.
🖥 Код
📎 Статья
📼 Видео
#training #optimizers
Forwarded from DLStories
Хироаки Китано — глава лаборатории Sony по computer science — заявил о намерениях создать ИИ, который сможет получить Нобелевскую премию. Звучит неплохо, да?
#ai_inside
Китано организует конкурс Nobel Turing Challenge, в котором для победы нужно будет создать ИИ, который представит миру научное открытие. Конкурс будет идти до 2050 года.
Зачем это все?
Китано считает, что ИИ пора выйти на новый уровень. До сих пор нейросети не изобретали ничего нового — они лишь учились решать конкретные задачи (играть в Го, распознавать лица) или копировать действия людей (рисовать реалистичные, но похожие на обучающий датасет картины). По мнению Китано, пора научить ИИ изобретать что-то действительно новое, мыслить "все коробки". Чтобы мотивировать ученых скорее построить такой ИИ, Китано и организует конкурс.
Возможно, считает Китано, не получится сразу создать ИИ, который сам сможет сделать новое открытие. Скорее всего, это будет гибрид человека и машины: ИИ будет обрабатывать большие массивы данных и предлагать ученым самые вероятные гипотезы и эксперименты, а ученые будут оценивать эти гипотезы на адекватность и проверять их. Возможно, ИИ сможет предложить гипотезу, до которой человек бы сам не додумался.
На пути создания такого ИИ есть много препятствий: во-первых, нужно придумать, как научить ИИ "выходить за рамки" того, на чем он обучался, и предлагать действительно новые идеи, а не просто переформулировать старые. Это и есть главный challenge, который Китано ставит перед миром, и над решением которого исследователи ИИ бьются много лет.
Во-вторых, любая теория должна быть подтверждена теоретически и экспериментально, чтобы считаться научным открытием. Нужно придумать, как научить ИИ "объяснять" свой ход мыслей и обосновывать предлагаемые теории. Невозможность интерпретировать ход мыслей нейросетей, к слову — еще одна большая проблема, над которой ученые безуспешно (пока что) борются.
Как считаете, получится у кого-то выиграть конкурс к 2050 году?)
#ai_inside
Китано организует конкурс Nobel Turing Challenge, в котором для победы нужно будет создать ИИ, который представит миру научное открытие. Конкурс будет идти до 2050 года.
Зачем это все?
Китано считает, что ИИ пора выйти на новый уровень. До сих пор нейросети не изобретали ничего нового — они лишь учились решать конкретные задачи (играть в Го, распознавать лица) или копировать действия людей (рисовать реалистичные, но похожие на обучающий датасет картины). По мнению Китано, пора научить ИИ изобретать что-то действительно новое, мыслить "все коробки". Чтобы мотивировать ученых скорее построить такой ИИ, Китано и организует конкурс.
Возможно, считает Китано, не получится сразу создать ИИ, который сам сможет сделать новое открытие. Скорее всего, это будет гибрид человека и машины: ИИ будет обрабатывать большие массивы данных и предлагать ученым самые вероятные гипотезы и эксперименты, а ученые будут оценивать эти гипотезы на адекватность и проверять их. Возможно, ИИ сможет предложить гипотезу, до которой человек бы сам не додумался.
На пути создания такого ИИ есть много препятствий: во-первых, нужно придумать, как научить ИИ "выходить за рамки" того, на чем он обучался, и предлагать действительно новые идеи, а не просто переформулировать старые. Это и есть главный challenge, который Китано ставит перед миром, и над решением которого исследователи ИИ бьются много лет.
Во-вторых, любая теория должна быть подтверждена теоретически и экспериментально, чтобы считаться научным открытием. Нужно придумать, как научить ИИ "объяснять" свой ход мыслей и обосновывать предлагаемые теории. Невозможность интерпретировать ход мыслей нейросетей, к слову — еще одна большая проблема, над которой ученые безуспешно (пока что) борются.
Как считаете, получится у кого-то выиграть конкурс к 2050 году?)
Engadget
Sony's head of AI research wants to build robots that can win a Nobel Prize
Dr. Hiroaki Kitano, CEO of Sony Computer Science Laboratories seeks to launch the Nobel Turing Challenge and develop a AI smart enough to win itself a Nobel Prize by 2050.