Поиск вспышек на красных карликах с помощью машинного обучения 🟠

Международная команда астрофизиков и аналитиков данных SNAD при поддержке Центра технологий для общества Yandex Cloud запустила проект по изучению красных карликов — самых многочисленных звёзд в Галактике, возле которых могут находиться экзопланеты с благоприятными условиями для жизни.

Рассказываем, зачем это нужно и как работает технология. ⤵️

⏺Красных карликов невозможно увидеть невооружённым глазом. Учёные обнаруживают их благодаря вспышкам, которые длятся от пары минут до нескольких часов. Чтобы быстро фиксировать такие вспышки, астрофизики обучили свою модель с помощью сервиса ML-разработки Yandex DataSphere. Для этого они использовали датасет из 93 млн изображений.

⏺Благодаря исследованию вспышек на красных карликах учёные лучше понимают строение звёзд, физику плазмы, эволюцию магнитного поля и фундаментальные астрофизические процессы. Это помогает прогнозировать процессы на других звёздах, таких как Солнце.

⏺Данные для исследования собрали с помощью телескопов ZTF и TESS, которые регистрируют изменения яркости миллиардов астрономических объектов. Это позволяет искать красных карликов по характерным кривым блеска.

⏺Алгоритмы машинного обучения Random Forest, Isolation Forest и CatBoost используются в связке с телескопами для автоматического обнаружения вспышек. Затем учёные проверяют найденные события с помощью свёрточных нейронных сетей, таких как модель Rocket. Кроме того, они используют функцию Базина для моделирования кривых блеска вспышек.

Этот проект реализован астрофизиками SNAD при поддержке нашего Центра технологий для общества Yandex Cloud.

⏺Сервисы Yandex DataSphere и Object Storage смогли выстроить последовательность машинного обучения, которая помогла искать вспышки среди миллиардов наблюдений. Время на обучение моделей сократилось с двух недель до пары дней.

⏺За несколько дней учёные из SNAD обнаружили более 1000 вспышек на красных карликах — обычно на подобные исследования требуются месяцы. А ещё астрофизики собрали 500 миллиардов строк данных по кривым блеска — это самый большой каталог в мире.

Кстати, завтра, 13 октября в 13:25, состоится подробная лекция на эту тему.
Встречаемся в Шуваловском корпусе МГУ, в B5 аудитории. Вход свободный.

В новом подкасте Яндекс Образования обсудили с коллегами облачные технологии, ШАД (Школу анализа данных) и подготовку талантливых студентов. А ещё поговорили о том, как наша команда реализует социально значимые проекты в области образования и науки, здравоохранения, экологии и культуры.

➡️Посмотреть подкаст можно тут, а послушать здесь.

Как прошёл наш облачный вебинар ☁️

Вчера, 15 октября, прошёл вебинар о применении технологий Yandex Cloud в образовательном процессе.

В ходе трансляции мы обсуждали, как эффективно обучать студентов IT-специальностей с использованием облачных технологий. Также поговорили про интеграцию облачных сервисов в учебные программы.

Темы и спикеры:

🔡«Для чего нужно облако в обучении студентов и как найти применение для него»
Даниил Ефимов, менеджер проектов в образовании и науке Yandex Cloud;

🔡«От кустарных скриптов до высот процессирования данных с Yandex Cloud»
Армен Бекларян, кандидат технических наук, доцент факультета компьютерных наук;

🔡«Используем сервисы Yandex Cloud в курсе по облачным технологиям»
Алексей Свистунов, старший преподаватель Института информационных технологий, математики и механики.

Трансляция получилась полезной и информативной. Запись можно найти вот тут, а презентацию посмотреть здесь.

Если появятся вопросы, оставляйте их в комментариях к посту. Мы со спикерами постараемся на всё ответить. А пока… ждём ваших реакций и до встречи на новых вебинарах!

🔥 Кто рано встает – Open Talks застает!

Особый выпуск для тебя с особым гостем ➡️ Алексей Долотов — CPO Yandex Cloud ML & AI. Один из ведущих специалистов, развивающих технологии AI, GPT и машинного обучения в компании Яндекс.

Встречу проведет Павел Подкорытов, cofounder AI Talent Hub, founder Napoleon IT.

Тема: Будущее искусственного интеллекта в современном мире.

📌 Дата и время: 21 октября в 10:00
📌 Формат: онлайн

До Open Talks Special 🪫
После Open Talks Special 🔋

Узнай из первых уст, как ИИ меняет наш мир и задай свой вопрос эксперту!

Регистрация

📆 Добавь в календарь, чтобы не забыть:
Google-календарь
iCal

#OpenTalks #NapoleonIT #ITMO

Приходите на Open Talks Алексея Долотова, CPO Yandex Cloud ML & AI, одного из ведущих специалистов, развивающих технологии AI, GPT и машинного обучения в Яндексе.

Встреча пройдет в онлайн-формате 21 октября в 10:00 в рамках партнёрства с Центром технологий для общества. 📎

Дайджест самых интересных новостей

Собрали топ-пять актуальных новостей на наш взгляд: от научных разработок до долгожданного чемпионата Yandex Cup. Читайте ниже ⚡️

🔡В Великобритании и Сингапуре провели исследования, с помощью которых разработали прогностическую модель для ранней диагностики деменции.

Модель учитывает результаты когнитивных тестов и данные МРТ и показывает точность 81,66% в прогнозировании развития болезни на ранних стадиях.

🔡Учёные из Японии, Франции и США совместно с IBM Research обнаружили 303 новых геоглифов, датируемых примерно 200 годом до н.э., на плато Наска в Перу.

Для анализа изображений исследователи применили систему компьютерного зрения. Находки могут помочь в изучении перехода культуры Паракас к культуре Наска.

🔡По данным Forbes, многие компании закрывают водородные проекты, хотя ещё 10 лет назад H2 рассматривали в качестве ключевого носителя энергии, необходимого для отказа от ископаемого топлива.

🔡Открыта регистрация на чемпионат по программированию Yandex Cup. Принять участие могут программисты любого уровня. Двадцати лучшим финалистам по каждому направлению предложат пройти отбор в Яндекс по упрощённой схеме.

🔡В Томске открылись инсталляции художника Василия Кононова-Гредина в рамках проекта «Болотоведение. Совместное исследование художников и ученых».

#дайджест

Конструктор отчётов в DataLens: как это работает 🔗

В сервисе бизнес-аналитики DataLens появился конструктор отчётов. С его помощью можно создавать многостраничные документы, которые легко конвертировать в PDF для дальнейшей печати и красивых презентаций.

На страницы отчётов можно добавлять элементы, которые делают информацию более наглядной и лёгкой для восприятия: чарты, текстовые блоки, заголовки и изображения.

Так, используя публичные данные, мы создали отчёт об эффективности российских вузов. В нём мы учли результаты приёмных кампаний, средний проходной балл абитуриентов и другие показатели. Это позволило составить рейтинги вузов по количеству студентов и преподавателей, а также выделить учебные заведения с бо́льшим числом молодых учёных.

Материалы прикрепили в комментарии.

Для кого полезен этот инструмент?

🔡Для аналитиков, которые работают с данными и создают отчёты;
🔡Для научных сотрудников, которые хотят визуализировать результаты исследований;
🔡Для студентов, которые пишут дипломные и курсовые проекты.

О том, как составлять отчёты, мы подробно рассказываем здесь.

Также конструктор отчётов будет полезен тем, кто хочет структурировать и визуализировать информацию, например, для презентации.

Остались вопросы?

Не стесняйтесь задавать их в комментариях под постом. Мы постараемся на всё ответить! 👍

23 октября — международный день снежного барса 🐯

Ирбис занесен в Красную книгу как редкий и малочисленный вид. Сегодня, в день снежного барса рассказываем о проекте нашего центра в Казахстане, который помогает учёным исследовать этого скрытного хищника, чтобы сохранить и увеличить его популяцию.

В августе 2024 года Yandex Qazaqstan совместно со студентами Казахстанско-Британского технического университета создали нейросеть, которая по фото определяет ранее незамеченных особей. Модель работает на базе облачной платформы Yandex Cloud и помогает отслеживать перемещение барсов и определять, когда и у каких животных появилось потомство.

Фотографии для обучения предоставляет Институт зоологии Республики Казахстан и работающий на его основе Центр мониторинга снежного барса. Научные сотрудники также помогают с разметкой изображений: чтобы нейросеть научилась определять животное, ей нужно показать тысячи его фотографий.

В коротком ролике показано, как нейросеть распознает барса на видео с фотоловушки. И ещё немного подробностей о проекте можно найти в этом материале 🌛

Недавно поделились тем, как обучаем нейросеть федеративным способом. Мы опробовали этот подход на практике вместе с ИСП РАН и Сеченовским Университетом Минздрава России.

Подробнее о проекте читайте в статье.

О том, почему проект федеративного обучения так важен, перспективен и технологичен, прокомментировала Валерия Викторовна Кузоватова, директор департамента отраслевых, партнёрских и технологических проектов Сеченовского Университета. ⬇️

Результаты конкурса трёх станций мини 💜

В честь запуска канала мы разыграли три мини-станции Алиса. Определить счастливчиков нам любезно помог бот:

Женя
Коньогонь
🄼𝔸🅡ⓐtͦtͦ

Поздравляем победителей! Ребята, мы свяжемся с вами в ближайшее время.

А ещё — благодарим всех за участие! Оставайтесь, здесь будет ещё больше крутых постов, анонсов и интерактивов.

Скоро запускаем новый конкурс, приуроченный к большому мероприятию, в котором мы принимаем участие — YaC/e, поэтому следите за обновлениями!

Студенты создали приложение на инфраструктуре Yandex Cloud⚡️

Студенты второго курса РАНХиГС создали приложение Intern: оно помогает выпускникам находить стажировки в ведущих компаниях России и участвовать в карьерных мероприятиях.

Чтобы приложение работало без сбоев и отвечало требованиям по хранению данных в России, разработчики использовали инфраструктуру Yandex Cloud. Благодаря сотрудничеству Яндекса с университетом доступ к серверным ресурсам был предоставлен команде бесплатно.

Технологии Yandex Cloud позволили ускорить работу приложения и повысить уровень его надёжности. Сейчас Intern имеет высокую производительность, готов к масштабированию и быстрому росту пользователей.

Кроме того, благодаря инфраструктуре Yandex Cloud на удалённом сервере удалось разместить программу, с помощью которой пользователи могут генерировать резюме в формате PDF.

Команда уже выпустила приложение для Android, а пользователи iOS могут скачать Intern по ссылке. Все актуальные новости по развитию проекта публикуются в телеграмм-канале.

Подписывайтесь, делитесь приложением с теми, кому оно может помочь на старте карьеры, и, конечно, поддержите ребят реакциями! 🤍

Новые модели YandexGPT 4 уже в Yandex Cloud! 🧠

Новые большие языковые модели доступны в двух версиях: Pro для сложных задач и Lite для случаев, когда важнее скорость ответа. По качеству ответов YandexGPT 4 Pro выигрывает прошлому поколению нейросетей в 70% случаев, а версия Lite отвечает не хуже самой мощной модели Яндекса прошлого поколения.

Уже сейчас YandexGPT 4 Pro в Yandex Cloud может обрабатывать в 4 раза более длинные запросы. Также появятся и новые инструменты для бизнеса: ИИ смогут строить цепочки рассуждений, чтобы решать задачи пошагово, а также работать с внешними приложениями.

Ранее мы провели вебинар, на котором эксперты рассказали о применении YandexGPT в образовании и науке. Вместе с представителями Высшей школы экономики и Сеченовского университета, мы поделились уникальным опытом использования таких инструментов в научных и образовательных проектах.

На вебинаре:
🔡посмотрели, как интегрировать ИИ в работу образовательных и научных организаций;
🔡разобрали реальные кейсы из опыта специалистов Высшей школы экономики и Сеченовского университета;
🔡обсудили стоимость использования и эффективность нейросетей.

Предлагаем вам посмотреть вебинар, ознакомиться с подробностями в нашем блоге и узнать больше о возможностях YandexGPT 4.

Применение методов машинного обучения для поиска вспышек на красных карликах 🔭

Анастасия Лаврухина из Государственного астрономического института им. Штенберга рассказала о применении методов машинного обучения для поиска вспышек на красных карликах. Эти звезды, являясь самыми многочисленными в галактике, играют ключевую роль в исследованиях обитаемости экзопланет и помогают лучше понимать солнечные процессы.

Обзорный телескоп ZTF, который собирает до 1,5 терабайта данных за ночь, и методы машинного обучения позволили классифицировать и подтвердить 1196 вспышек из 5000 кандидатов. Это исследование предоставило самую крупную выборку вспышек красных карликов на основе наземных наблюдений.

С полным материалом можете ознакомиться по ссылке (таймкод: 2:54:38) 🔗