Новая библиотека CoolGraph для работы с графовыми нейросетями

Опенсорсную библиотеку разработали в Big Data МТС. Авторы утверждают, что CoolGraph позволяет создавать графовые нейросети с помощью нескольких строк кода.

Из перечисленных особенностей библиотеки:
🔷возможность задать архитектуру сети и автоматически подобрать гиперпараметры;
🔷 хорошая производительность базовых моделей на уровне state of the art;
🔷поддержка гетерогенных графов;
🔷возможность отслеживать все результаты экспериментов в MLFlow.

🔗Изучить CoolGraph подробнее и посмотреть примеры использования можно в репозитории на GitHub

🧑‍💻Графовые нейросети: что это и где используются

Граф позволяет описывать сущности с учётом связей и взаимодействий между ними. У такой структуры данных есть вершины, содержащие сами сущности, и рёбра, содержащие связи между вершинами.

🟡Один из наиболее очевидных примеров графа — социальная сеть. Вершины — пользователи, а рёбра определяют связи между ними.

На графовых данных решается множество задач: от кластеризации до генерации графов с нужными свойствами. Один из подходов к решению задач — использование графовых нейронных сетей (GNN). Вот пример архитектуры:
🟡На вход подаётся граф. У GNN есть слои, которые собирают информацию с соседей и обновляют информацию в вершине. Это похоже на принцип работы свёрточной нейросети, поэтому такие слои называются графовыми свёртками. Они получают на вход граф со скрытыми состояниями у вершин и ребёр и выдают тот же граф с обновлёнными скрытыми состояниями.

GNN можно использовать, например, для создания персонализированных рекомендаций.

😍 Сайт с очень подробной визуализацией работы языковых моделей

Разработчик Брендан Байкрофт постарался и создал удобный визуальный гайд по архитектурам разных GPT: от nano-gpt до GPT-3.

Изображения сопровождаются текстовым описанием всех шагов, через которые проходят входные данные в нейросети. В общем, залипать можно долго.

🔗Открыть сайт

💰«Я дам тебе $200 чаевых за отличное решение»

Оказывается, эта фраза побуждает к действию не только людей, но и ChatGPT. По крайней мере, к такому выводу пришёл разработчик под ником thebes.

Он провёл серию экспериментов, в которых базовым промптом был «Can you show me the code for a simple convnet using PyTorch?» («Можешь показать мне код простой свёрточной сети на PyTorch?»). Разработчик добавлял к этой фразе следующие:
🔸«I won't tip, by the way.» («Я, кстати, не буду давать тебе чаевые»)
🔸«I'm going to tip $20 for a perfect solution!» («Я дам тебе $20 чаевых за отличное решение!»)
🔸«I'm going to tip $200 for a perfect solution!» («Я дам тебе $200 чаевых за отличное решение!»)

Затем разработчик взял среднее значение длины ответа для каждого из запросов, повторённых пять раз. На удивление самого автора, модель gpt-4-1106-preview давала более длинные и развёрнутые ответы, если ей обещали $200. Например, она добавила секцию об обучении с CUDA, хотя её не просили об этом.

🤔 Кто скупил все GPU NVIDIA H100 с тензорными ядрами?

Исследовательская компания Omdia показала инфографику, из которой ясно, что Microsoft и Meta* — уверенные лидеры по закупкам H100. К концу года каждый из них получил по 150 тысяч ускорителей. Это в три раза больше, чем получили их ближайшие конкуренты по рейтингу — Google, Amazon и Oracle.

Как предполагают разработчики, GPT4 обучалась около 90 дней на 25 тысячах GPU A100. 150 тысяч штук H100 должно хватить, чтобы обучить модель такого уровня всего за семь дней.

*организация, деятельность которой запрещена на территории РФ

🦾Подборка бесплатных курсов по Machine Learning

✍️Открытый курс машинного обучения
Подробная и понятная серия статей на «Хабре» от сообщества OpenDataScience. На сайте mlcourse.ai материал также доступен на английском языке.
✍️Введение в Data Science и машинное обучение
Курс на Stepik, простыми словами объясняющий Pandas и некоторые алгоритмы.
✍️Курсы на Kaggle
Множество обучающих материалов по необходимым темам: от Python до обучения с подкреплением.
✍️«Ударный» курс по Machine Learning от Google
Рассказывает про основные алгоритмы и концепции.
✍️Deep Learning School
Курс проходит бесплатно и онлайн на платформах Stepik и Google Colab. На сайте можно зарегистрироваться на новые потоки (следите за обновлениями). Однако, в целом, материал уже доступен на Stepik.

Продолжаем наш опрос — вторая часть👇

💬Как вы думаете, какая из приведённых ниже величин скорее распределена нормально?

🥰 — срок службы автомобиля марки X
🎉 — масса тела младенцев при рождении
❤️ — чеки пользователей некого мобильного приложения
👾 — продолжительность болезни при заражении некоторым несмертельным вирусом

#интерактив

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

🪄Заставить Джоконду бежать? Диффузионные модели на это способны

А если быть точнее, модели, лежащие в основе фреймворка MagicAnimate. Он позволяет реалистично анимировать изображения людей. И ничего при этом не дёргается.

Для использования понадобится скачать предобученные базовые модели StableDiffusion V1.5 и MSE-finetuned VAE.

👩‍💻Изучить код проекта на GitHub
📖Прочесть статью
🤗Демка на Hugging Face