Forwarded from эйай ньюз
Китайцы очень любят делать объёмные обзоры той или иной подобласти машинного обучения с перечислением основных работ и главными прорывными идеями. Статей выходит очень много каждый день, и невозможно все прочесть. Поэтому такие обзоры ценны (если качественно написаны, конечно, что довольно редко).
Недавно вышла очень неплохая статья-обзор различных вариантов Трансформеров с фокусом на моделировании языка (NLP). Это мастр-рид для всех, кто начинает работать с NLP и интересуется Трансформерами. В статье рассматриваются базовые принципы работы self-attention и такие подробности современных вариантов Трансформеров как модификации архитектуры, претрейнинг и их приложения.
Статья: A Survey of Transformers.
Недавно вышла очень неплохая статья-обзор различных вариантов Трансформеров с фокусом на моделировании языка (NLP). Это мастр-рид для всех, кто начинает работать с NLP и интересуется Трансформерами. В статье рассматриваются базовые принципы работы self-attention и такие подробности современных вариантов Трансформеров как модификации архитектуры, претрейнинг и их приложения.
Статья: A Survey of Transformers.
Блог известный, но тут еще ссылку на него не кидали вродь.
Статьи интересные и дают вопросы "на понимание".
https://dyakonov.org/
#resources
Статьи интересные и дают вопросы "на понимание".
https://dyakonov.org/
#resources
Анализ малых данных
КвазиНаучный блог Александра Дьяконова
Майкрософтовские задачки по питону.
Вообще их GPT-3 решает, но какие-то можно на отборочном использовать
#Отборочные
Вообще их GPT-3 решает, но какие-то можно на отборочном использовать
#Отборочные
mybinder.org
GitHub: microsoft/PythonProgrammingPuzzles/main
Click to run this interactive environment. From the Binder Project: Reproducible, sharable, interactive computing environments.
Хороший гитхаб и блог на медиум.
Например, он там разбирает модифицию LIME для интерпретации моделей. И много чего еще интересного
GitHub
Medium
#resources
Например, он там разбирает модифицию LIME для интерпретации моделей. И много чего еще интересного
GitHub
Medium
#resources
GitHub
GitHub - dipanjanS/practical-machine-learning-with-python: Master the essential skills needed to recognize and solve complex real…
Master the essential skills needed to recognize and solve complex real-world problems with Machine Learning and Deep Learning by leveraging the highly popular Python Machine Learning Eco-system. - ...
был очень хороший доклад. Когда появится на канале сберлоги на ютубе - надо будет скинуть сюда. Куча примеров из науки. Для лекций по разным конволюциям, сегментации, детекции, interpetation
Forwarded from Sberloga (Alexander C)
🚀 Онлайн DS доклад от @SBERLOGA
👨🔬 Анвар Курмуков (Сбер Институт Искусственного Интеллекта, ВШЭ, ИППИ) "Проблемы Deep learning/Computer Vision при анализе медицинских изображений."
⌚️ Четверг 17 июня, 19.00 по Москве
Данные медицинской визуализации такие как компьютерная томография (КТ) и магнитно-резонансная томография (МРТ) используются для диагностики и лечения целого ряда патологий (различные поражения легких, опухоли органов, переломы и др.). Для автоматической обработки таких изображений используются методы компьютерного зрения и глубинные нейронные сети. В докладе будут рассмотрены ключевые проблемы, с которыми приходится бороться при построении алгоритмов автоматической разметки, связанные с особенностями:
- данных (малые размеры выборок, трехмерность, множество различных источников данных и др.)
- формулировок задач (сегментация, локализация/key points, классификация)
- клинических требований (устойчивость к доменным сдвигам, консистентность/интерпретируемость предсказаний и др.)
Ссылка на зум будет доступна через тг чат t.me/sberlogadataclub ближе к началу доклада.
👨🔬 Анвар Курмуков (Сбер Институт Искусственного Интеллекта, ВШЭ, ИППИ) "Проблемы Deep learning/Computer Vision при анализе медицинских изображений."
⌚️ Четверг 17 июня, 19.00 по Москве
Данные медицинской визуализации такие как компьютерная томография (КТ) и магнитно-резонансная томография (МРТ) используются для диагностики и лечения целого ряда патологий (различные поражения легких, опухоли органов, переломы и др.). Для автоматической обработки таких изображений используются методы компьютерного зрения и глубинные нейронные сети. В докладе будут рассмотрены ключевые проблемы, с которыми приходится бороться при построении алгоритмов автоматической разметки, связанные с особенностями:
- данных (малые размеры выборок, трехмерность, множество различных источников данных и др.)
- формулировок задач (сегментация, локализация/key points, классификация)
- клинических требований (устойчивость к доменным сдвигам, консистентность/интерпретируемость предсказаний и др.)
Ссылка на зум будет доступна через тг чат t.me/sberlogadataclub ближе к началу доклада.
Forwarded from TechSparks
В каждой шутке есть доля не только шутки ;))
Наконец выложили в открытый доступ прекрасный проект «Балабоба»: в нем нейросеть Яндекса из семейства YaLM не просто продолжает заданное вами начала текста — но и окрашивает его в выбранный стиль.
Как всегда с хорошими генеративными текстами — иногда уморительно, иногда тревожно.
«Этот пост не целиком написан нейросетью, хотя: - частично он является правдой.
- я старался подбирать факты, чтобы пост был интересен.
Поэтому я буду благодарен за комментарии и ваши вопросы по теме.
PS: Я не являюсь автором этих слов.»
Играйтесь, друзья, пока игрушка свежа ;))
https://yandex.ru/lab/yalm
Наконец выложили в открытый доступ прекрасный проект «Балабоба»: в нем нейросеть Яндекса из семейства YaLM не просто продолжает заданное вами начала текста — но и окрашивает его в выбранный стиль.
Как всегда с хорошими генеративными текстами — иногда уморительно, иногда тревожно.
«Этот пост не целиком написан нейросетью, хотя: - частично он является правдой.
- я старался подбирать факты, чтобы пост был интересен.
Поэтому я буду благодарен за комментарии и ваши вопросы по теме.
PS: Я не являюсь автором этих слов.»
Играйтесь, друзья, пока игрушка свежа ;))
https://yandex.ru/lab/yalm
Балабоба
Балабоба на заслуженном отдыхе
Мы с ребятами из EleutherAI зарелизили text-to-image сетку CogView на колаб.
Prompt можно писать на любом языке (он под капотом переводится на китайский все равно)
#Text2Image #Generative
Prompt можно писать на любом языке (он под капотом переводится на китайский все равно)
#Text2Image #Generative
Google
CogView-Inference.ipynb
Colaboratory notebook
Using pretrained language models for biomedical knowledge graph completion.
GitHub
#ScientificML #biology
GitHub
#ScientificML #biology
GitHub
GitHub - rahuln/lm-bio-kgc: Using pretrained language models for biomedical knowledge graph completion.
Using pretrained language models for biomedical knowledge graph completion. - GitHub - rahuln/lm-bio-kgc: Using pretrained language models for biomedical knowledge graph completion.
Forwarded from Жалкие низкочастотники
Напишу немного про проклятье размерности. Это термин, которым, в частности, называют странности многомерных пространств, от которых человеческая интуиция начинает давать сбои.
Один популярный пример выглядит так: возьмём квадрат на плоскости и впишем в него круг. Ясно, что круг закроет большую часть площади квадрата. Дальше, возьмём куб и впишем в него шар. Опять же, шар займёт большую часть объёма куба. Но вот в четырёхмерном случае гиперсфера займёт меньше трети объёма гиперкуба, а при дальнейшем повышении размерности отношение их объёмов сходится к нулю. При этом евклидово расстояние от центра n-мерного куба до любого из его
Другой пример — гипотеза Борсука о возможности разбиения n-мерного тела диаметром 1 на n+1 тел диаметром меньше 1. Она доказана для
Всё это обычно выглядит как игры разума, не отягощённого бытовыми мелочами, однако бум нейросетей принес нам популярность всяких многомерных эмбеддингов и представлений — слов, текстов или картинок, и там такие пакости случаются регулярно. Недавно, в одной из задач мне пришлось столкнуться с такой штукой:
Возьмём, скажем, 100-мерное пространство и выберем в нём равномерно случайно из единичного гиперкуба 42 точки. Пронумеруем их в некотором случайном, но фиксированном порядке, от 1 до 42. Какова вероятность, что в нашем пространстве найдётся такая ось, в проекции на которую наши точки выстроятся в нужном порядке? Ответ: больше 99%. Кому интересно, можете посмотреть мой скрипт на питоне, которым это эмпирически можно проверить (работает довольно долго, решает системы линейных неравенств, пересекая полупространства для каждой пары точек).
Один популярный пример выглядит так: возьмём квадрат на плоскости и впишем в него круг. Ясно, что круг закроет большую часть площади квадрата. Дальше, возьмём куб и впишем в него шар. Опять же, шар займёт большую часть объёма куба. Но вот в четырёхмерном случае гиперсфера займёт меньше трети объёма гиперкуба, а при дальнейшем повышении размерности отношение их объёмов сходится к нулю. При этом евклидово расстояние от центра n-мерного куба до любого из его
2^n
углов растёт как sqrt(n)
, т.е. неограниченно; а основной объём пространства (т.е., например, основная часть равномерно случайно взятых точек) внутри такого куба оказывается на расстоянии от центра с матожиданием sqrt(n/3)
и с убывающей к нулю дисперсией. Короче, n-мерный куб — это очень странное место, с кучей углов и пустым центром.Другой пример — гипотеза Борсука о возможности разбиения n-мерного тела диаметром 1 на n+1 тел диаметром меньше 1. Она доказана для
n<=3
и опровергнута для n>=64
. Посредине — томящая неизвестность.Всё это обычно выглядит как игры разума, не отягощённого бытовыми мелочами, однако бум нейросетей принес нам популярность всяких многомерных эмбеддингов и представлений — слов, текстов или картинок, и там такие пакости случаются регулярно. Недавно, в одной из задач мне пришлось столкнуться с такой штукой:
Возьмём, скажем, 100-мерное пространство и выберем в нём равномерно случайно из единичного гиперкуба 42 точки. Пронумеруем их в некотором случайном, но фиксированном порядке, от 1 до 42. Какова вероятность, что в нашем пространстве найдётся такая ось, в проекции на которую наши точки выстроятся в нужном порядке? Ответ: больше 99%. Кому интересно, можете посмотреть мой скрипт на питоне, которым это эмпирически можно проверить (работает довольно долго, решает системы линейных неравенств, пересекая полупространства для каждой пары точек).
Я ещё не скоро доберусь это почитать. Но очевидно что это новая веха.
Twitter пост
#Segmentation #images
Twitter пост
#Segmentation #images
Twitter
Mark
I am delighted to share that we have open-sourced our project with @GoogleAI : A modern #TensorFlow library with state-of-the-art models for various segmentation tasks: Semantic Segmentation, Panoptic Segmentation, Video Panoptic Segmentation and Depth Prediction!…