🤔 Кто скупил все GPU NVIDIA H100 с тензорными ядрами?

Исследовательская компания Omdia показала инфографику, из которой ясно, что Microsoft и Meta* — уверенные лидеры по закупкам H100. К концу года каждый из них получил по 150 тысяч ускорителей. Это в три раза больше, чем получили их ближайшие конкуренты по рейтингу — Google, Amazon и Oracle.

Как предполагают разработчики, GPT4 обучалась около 90 дней на 25 тысячах GPU A100. 150 тысяч штук H100 должно хватить, чтобы обучить модель такого уровня всего за семь дней.

*организация, деятельность которой запрещена на территории РФ

🦾Подборка бесплатных курсов по Machine Learning

✍️Открытый курс машинного обучения
Подробная и понятная серия статей на «Хабре» от сообщества OpenDataScience. На сайте mlcourse.ai материал также доступен на английском языке.
✍️Введение в Data Science и машинное обучение
Курс на Stepik, простыми словами объясняющий Pandas и некоторые алгоритмы.
✍️Курсы на Kaggle
Множество обучающих материалов по необходимым темам: от Python до обучения с подкреплением.
✍️«Ударный» курс по Machine Learning от Google
Рассказывает про основные алгоритмы и концепции.
✍️Deep Learning School
Курс проходит бесплатно и онлайн на платформах Stepik и Google Colab. На сайте можно зарегистрироваться на новые потоки (следите за обновлениями). Однако, в целом, материал уже доступен на Stepik.

Продолжаем наш опрос — вторая часть👇

💬Как вы думаете, какая из приведённых ниже величин скорее распределена нормально?

🥰 — срок службы автомобиля марки X
🎉 — масса тела младенцев при рождении
❤️ — чеки пользователей некого мобильного приложения
👾 — продолжительность болезни при заражении некоторым несмертельным вирусом

#интерактив

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

🪄Заставить Джоконду бежать? Диффузионные модели на это способны

А если быть точнее, модели, лежащие в основе фреймворка MagicAnimate. Он позволяет реалистично анимировать изображения людей. И ничего при этом не дёргается.

Для использования понадобится скачать предобученные базовые модели StableDiffusion V1.5 и MSE-finetuned VAE.

👩‍💻Изучить код проекта на GitHub
📖Прочесть статью
🤗Демка на Hugging Face

Чем градиентный бустинг на деревьях отличается от случайного леса?

Здесь достаточно вспомнить базовые принципы построения этих двух алгоритмов.

🌲Градиентный бустинг:
Комбинирует предсказания нескольких базовых моделей, в данном случае решающих деревьев. Эти базовые модели строятся последовательно, и каждая новая учится исправлять ошибки предыдущих.
🌲Случайный лес:
Использует совокупность деревьев решений, построенных параллельно на случайно выбранных подмножествах обучающего набора данных. Конечный результат получается путём усреднения или выбора большинства среди предсказаний всех деревьев.

#вопросы_с_собеседований

Google представила свою крупнейшую ИИ-модель — Gemini

⭐Модель является мультимодальной — может работать и с текстом, и с изображениями, и с видео, и с аудио.

⭐Google заявляет, что Gemini превосходит людей-экспертов в задачах MMLU (Massive Multitask Language Understanding).

⭐Доступна в трёх версиях: Ultra (самая большая для сложных задач), Pro и Nano. У последней есть нативная поддержка в смартфоне Pixel 8 Pro.

⭐Google делает акцент на том, что Gemini может хорошо генерировать код на Python, Java, C++ и Go.

⭐Google Bard начал использовать Gemini Pro. Доступность расширяется постепенно: Google обещает поддержку обновлённого чат-бота на английском языке в более чем 170 странах и территориях. В будущем появится и поддержка других языков.

👩‍💻С 13 декабря разработчики смогут получить доступ к Gemini Pro через Gemini API в Google AI Studio или Google Cloud Vertex AI.

🔗Читать о новинках подробнее в блоге Google

🍏«PyTorch для MacBook»: Apple выпустила собственный фреймворк для ML на Apple Silicon

MLX должен быть прост в использовании, если вы уже знакомы с самыми популярными библиотеками для машинного обучения. Вот основные особенности фреймворка:

▫️Под капотом Python API и интерфейсы, похожие на PyTorch.
▫️Ленивые вычисления.
▫️Унифицированная память, в которой хранятся массивы. Операции с ними могут выполняться на любом из поддерживаемых типов устройств без перемещения данных.
▫️Встроенные функции для автоматического дифференцирования, автоматической векторизации и оптимизации вычислительного графа.

👩‍💻Репозиторий MLX на GitHub

💬Итак, настало время узнать: PyTorch или TensorFlow

Есть мнение, что единственная причина использовать TensorFlow — вас заставили это делать. Но вдруг у вас другая точка зрения? Расскажите, чем пользуетесь чаще, что больше по душе.

❤️ — PyTorch
👍 — TensorFlow

Пишите свои соображения в комментарии👇

#интерактив

✏️Очередная хитрость по работе с LLM

Исследователи продолжают изучать поведение собственных больших языковых моделей. На этот раз создатели Claude 2.1 из Anthropic выяснили, что достаточно добавить в промпт одну фразу, чтобы повысить качество ответа с 27% до 98%.

Дело в том, что модель может неохотно давать ответы на базе отдельных предложений в документе, особенно если эти предложения как-то искажены или неуместны. Это следствие того, что Claude 2.1 специально обучили не генерировать недостаточно аргументированные ответы. Поэтому, чтобы исправить такое поведение, нужно добавить в промпт следующее:

✍️«Assistant: Here is the most relevant sentence in the context:» («Ассистент: Вот самое релевантное предложение из контекста:»)