🧑‍💻 3-Minute Data Science

Это YouTube-канал Томаса Нильда (Thomas Nield), автора книги Essential Math for Data Science. В коротких роликах, которые были вдохновлены 3Blue1Brown, он разбирает разные концепции статистики и машинного обучения. Например:

▪️P-значение, нулевая и альтернативная гипотезы
▪️Простая нейронная сеть
▪️Логистическая регрессия
▪️Нормальное распределение

🩵 Гайд по соревнованиям на Kaggle

Kaggle — отличная площадка для того, что отточить навыки или применить теорию на практике. Тут есть несколько видов соревнований:

🔹Getting Started
Как следует из названия, начинать джуниору следует с таких соревнований. За них не полагается никаких наград, но зато они предлагают понятные датасеты.
▫️Titanic: Machine Learning from Disaster
▫️Housing Prices: Advanced Regression Techniques
▫️Digit Recognizer

🔹Playground
Такие соревнования лишь на одну ступень сложнее, чем те, что находятся под тэгом Getting Started.
▫️Dogs versus Cats
▫️Leaf Classification
▫️New York City Taxi Trip Duration

🔹Research
Соревнования такого типа решают более экспериментальные задачи. Например, в одном из них нужно классифицировать находящихся под угрозой вымирания китов по снимкам.
▫️Right Whale Recognition
▫️Google Landmark Retrieval Challenge
▫️Large Scale Hierarchical Text Classification

🔹Featured
Этот тип соревнований — тот самый, за которым опытные ML-щики приходят на платформу. Это серьёзные задачи, решения которых оплачиваются. Вот некоторые из текущих соревнований:
▫️LMSYS — Chatbot Arena Human Preference Predictions
▫️Leash Bio — Predict New Medicines with BELKA
▫️BirdCLEF 2024

🍓Подборка лучших статей «Библиотеки программиста» за май: сохраняй в заметки, чтобы не пропустить #самыйсок

✉️❌ Как завалить собеседование, даже не начав его: 8 ошибок в сопроводительных письмах
🐍🆕 Змея сбросила старую кожу: что нового в Python 3.13
⭐️🎤 Как не облажаться с докладом на IT-конференции
📊 Где изучать Data Science в 2024 году?
💻🚀🏰 Как мы создали ИИ-стартап на хакатоне выходного дня в Германии
🖥️🔤 Транскрибация видео и создание субтитров с помощью Whisper, FFmpeg и Python
📈 Стать аналитиком Big Data: пошаговое руководство 2024
💻🚀💊 «Доктор Хаус»: ИИ-диагност в вашем телефоне. Передаём стартап в хорошие руки
👨‍🎓️ 33 лучших вуза России для будущих программистов 2024-2025
💸📊 На сколько просели зарплаты в ИТ в 2024 году?
📖 ТОП-10 книг о том, как правильно построить карьеру в IT
🤯 Как простая задачка поставила в тупик программистов (и как они из него выбрались)
🏆👁️ Топовая задачка на Stack Overflow: как найти k пропущенных чисел в потоке данных

👍 Внезапно: OpenAI выпустила статью с открытым исходным кодом

Эта статья рассматривает проблему интерпретируемости больших языковых моделей. Исследователи разработали способы анализа внутренних представлений LLM, чтобы понять, как они обрабатывают информацию. Так, авторы смогли выделить 16 миллионов интерпретируемых паттернов.

В частности, исследователи используют разреженный автоэнкодер, как и их коллеги из Anthropic.

🔗 Вот ссылка на саму статью
🔗 Это ссылка на репозиторий с кодом использрвания автоэнкодеров для GPT-2 small
🔗 А это ссылка на визуализатор фичей

❔Когда кончатся данные для обучения LLM?

Исследователи из Epoch AI оценили объём общедоступных текстовых данных, созданных человеком. Они пришли к выводу, что общий эффективный запас составляет около 300 триллионов токенов. Эта оценка включает в себя только данные достаточно высокого качества, которые можно было бы использовать для обучения.

🤔Авторы также рассчитали, когда эти данные будут полностью использованы. По их оценкам, запас будет полностью израсходован в какой-то момент между 2026 и 2032 годами.

🔗 Ссылка на статью на arxiv.org

✍️Что такое проблема «умирающего» ReLU?

Это понятие касается ситуации, когда в ходе обучения некоторые нейроны, использующие функцию активации ReLU, оказываются деактивированными. Это означает, что такие нейроны на выходе всегда выдают ноль.

Это происходит, когда веса, связанные с нейроном, обновляются таким образом, что для всех входных данных во время обучения всегда получаются отрицательные значения. Поскольку функция ReLU переводит отрицательные значения в ноль, нейрон фактически становится неактивным, и его градиент становится равным нулю. В результате веса, связанные с этим нейроном, больше не обновляются.

Среди причин такого поведения могут быть плохая инициализация весов, отсутствие нормализации данных и др.

#вопросы_с_собеседований

🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈

🛠️ Справочник по применению GPU в машинном обучении

На «Хабре» опубликовали перевод статьи Тима Детмерса «Выбор графического процессора для глубокого обучения: мой опыт и советы».

Статья рассказывает о:
▪️том, чем различаются CPU и GPU,
▪️тензорных ядрах,
▪️пропускной способности памяти и иерархии памяти GPU, а также о том, как они связаны с производительностью глубокого обучения.
▪️о некоторых распространённых заблуждениях.

🔗 Ссылка на статью-перевод
🔗 Ссылка на оригинальную статью