Нас часто спрашивают, можем ли мы поделиться какими-то данными для развития опенсорс или научных проектов 🤔

Обычно это затруднительно, но сегодня делимся классной новостью — Яндекс опубликовал уникальный датасет для развития рекомендательных систем — читайте об этом в посте ниже🔥

Если у вас возникли вопросы или появились предложения по использованию датасета или кейсам его применения в ваших проектах — пишите в комментариях ⬇️

🎧 Учёные Яндекса разработали и выложили в опенсорс Yambda — один из крупнейших в мире датасетов для развития рекомендательных систем. Рассказываем, что это такое и для чего нужно.

Что это за датасет?

В Yambda (YAndex Music Billion-interactions DAtaset) вошли пять миллиардов обезличенных — не содержащих никакой персональной информации — событий. Все они связаны с действиями на Яндекс Музыке и в «Моей волне»: прослушивания, лайки, дизлайки и некоторые характеристики треков.

Зачем нужны такие датасеты?

Учёные с их помощью могут исследовать и улучшать рекомендательные системы — не только стриминговые, но и любые другие, так как в их основе лежат общие алгоритмы. А разработчики из других компаний смогут использовать Yambda для оценки эффективности своих собственных рекомендательных алгоритмов.

Всё вместе это позволит лучше понимать поведение пользователей и делать рекомендации точнее. Примерно так же было с визуальным датасетом ImageNet, который дал мощный толчок развитию компьютерного зрения.

Раньше таких данных в опенсорсе не было?

Коммерческие компании редко публикуют свои датасеты из-за их бизнес-ценности, а то, что можно найти в опенсорсе, — устарело или имеет небольшой объём. Например, популярный датасет Spotify Million Playlists содержит всего миллион плейлистов — гораздо меньше, чем нужно для обучения современных алгоритмов.

Чем датасет полезен для вузов и лабораторий?

У вузов и лабораторий нет своих коммерческих продуктов, а значит, и пользовательских данных. Открытый доступ к качественным большим данным открывает новые возможности для научных исследований и привлекает к области внимание молодых учёных, заинтересованных в применении машинного обучения для решения актуальных задач.

Подписывайтесь 👉 @techno_yandex

Погружаемся в Цифровую индустрию промышленной России 🟢

На этой неделе мы выступаем на конференции ЦИПР, где собрались ведущие эксперты и лидеры рынка, чтобы обсудить ключевые аспекты цифровой трансформации общества и экономики!

💿 От Центра технологий для общества выступит с докладом Анна Лемякина вместе с коллегами из крупных технологических и промышленных компаний. В рамках сессии ЦИПР.Бизнес они прочитают лекцию «Цифровая трансформация промышленности. Роль ЮНИДО и передовых технологий в глобальном развитии».

➡️Послушать эти и другие выступления можно в прямом эфире и в записи на сайте конференции.

А если вы на этой неделе тоже в Нижнем Новогороде, то обязательно заглядывайте на стенд Яндекса, который мы с коллегами подготовили для конференции!

⚪️Подписывайтесь: @ycsocialtech

🟫 Как нейросеть помогает клиническим исследователям?

Недавно мы рассказывали о новом проекте Центра технологий для общества, который мы создали овместно с командой НМИЦ онкологии им. Н.Н. Петрова и компанией Raft. Это решение, которое помогает автоматизировать процессы классификации документов, их проверки, оформления и даже содержания!

Если вам интересно узнать подробнее о пайплайне машинной обработки документов, сложностях и ограничениях, а также об архитектуре решения рассказали в статье на Хабре.

📎 Читать статью

Переходите, чтобы узнать, как мы с коллегами создавали новый проект! А если остались вопросы, задавайте их здесь или в комментариях к статье.

⚪️Подписывайтесь: @ycsocialtech

Подкаст «Совсем не страшно»: о технологиях, которые приносят пользу.

Наши друзья из благотворительного фонда Спина Бифида выпустили новый эпизод подкаста, где подробно рассказали о патологии расщепления позвоночника и способах коррекции этого заболевания у младенцев.

💻 Одним из гостей выпуска стал Евгений Попов, менеджер по развитию бизнеса в здравоохранении Yandex Cloud. Он рассказал о том, как врачи и ML-инженеры создали нейросеть для диагностики этой редкой и опасной патологии еще на стадии беременности.

Вместе с доктором медицинских наук Кириллом Костюковым Евгений ответил на вопросы о новом приложении:

➡️Быстро ли удалось найти общий язык врачам и разработчикам
➡️Почему обучить модель на снимках УЗИ с редкой патологией сложнее
➡️Как диагностика нейросети поможет докторам по всей России

🎧 Слушайте эпизод на Яндекс Музыке

⚪️Подписывайтесь: @ycsocialtech

⚡️Открыт приём заявок на Yandex ML Prize

До 22 июня можно подать заявку на научно-образовательную премию Yandex ML Prize. Она вручается при поддержке Школы анализа данных и Центра технологий для общества Yandex Cloud за вклад в развитие ML.

Яндекс поддерживает преподавателей: именно они передают студентам свои знания, учат тому, что сами умеют, вдохновляют становиться крутыми специалистами и профессионально развиваться. Это большой вклад в технологии и наше общее будущее!

Премия вручается в трех номинациях:

➡️ «Преподаватели». Те, кто от 3 лет ведет занятия в вузах и научных центрах, создает востребованные курсы по ML и ИИ (включая междисциплинарные программы).

➡️ «Начинающие преподаватели». Молодые спецы с опытом 1–3 года, которые активно внедряют в работу современные форматы и поддерживают студентов в проектной работе.

➡️ «Руководители образовательных программ». Минимум с одним выпуском: те, кто привлекает лучших преподавателей и помогает студентам осваивать передовые технологии.

🔥 Победители получат денежные призы и гранты на использование Yandex Cloud для создания курсов, проведения исследований, организации хакатонов и поддержки проектной деятельности студентов. Награждение пройдет осенью.

Номинируйте на премию знакомых преподавателей, себя и рассказывайте друзьям на сайте премии!

⭐ «Страж» — система для автоматического обнаружения и классификации переменных звёзд

Студенты-магистранты МФТИ вместе со своим научным руководителем разработали при поддержке Центра технологий для общества Yandex Cloud уникальную систему «Страж». Она автоматически анализирует данные телескопов и классифицирует переменные звёзды с точностью до 87%!

➡️Почему это важно?

Телескопы по всему миру генерируют огромные объёмы данных — от 15 ТБ и больше каждую ночь. Традиционными методами справиться с таким потоком наблюдений быстро невозможно, что приводит к потере времени и ценных научных данных. «Страж» решает эту проблему, оперативно обрабатывая данные и классифицируя объекты с высокой точностью.

➡️Как работает «Страж»?

Система использует передовые нейросети ConvLSTM и WaveNet для анализа FITS-файлов, фотоизображений и временных рядов. Она позволяет определить типы звёзд и свериться с крупнейшими мировыми каталогами Gaia DR3 и VSX. Это помогает выявить новые объекты, которые ранее могли быть не замечены.

➡️Что дальше?

Команда планирует расширить возможности системы для обнаружения потенциально опасных астероидов и комет, что сделает её важным инструментом для мониторинга космических угроз.

💫 Подробнее о новом проекте рассказали в статье на Хабре.

Исходный код проекта уже выложили в опенсорс на GitHub, чтобы ученые по всему миру могли использовать решение 🔥

⚪️Подписывайтесь: @ycsocialtech

🔵 Центр технологий для общества Yandex Cloud на ПМЭФ!

Петербургский экономический форум — это значимое событие в мире бизнеса и экономики, которое привлекает внимание как российских, так и международных экспертов. Но вы это и сами наверняка знаете 😉

В этом году Центр технологий для общества Yandex Cloud примет участие в ПМЭФ. Анна Лемякина — директор по национальным стратегическим проектам — и другие спикеры из ведущих компаний России проведут дискуссию на тему «Ломать, пробовать, создавать: на чём строится опыт?»

📌В ходе паблик-тока эксперты обсудят, как формируется релевантный опыт, почему важно уметь быстро принимать и создавать новые идеи, и как преодолеть страх ошибиться при создании нового.

21 июня, 10:00, павильон G, конференц-зал G6

Заглядывайте, если будете в этот день на форуме!

⚪️Подписывайтесь: @ycsocialtech