🤖 Попробуйте построить модель машинного обучения, которая будет угадывать, ответ от какой модели машинного обучения предпочтёт человек

Такое соревнование вчера запустилось на Kaggle. Оно базируется на датасете из диалогов людей с чат-ботами на сайте Chatbot Arena. Там можно выбрать две LLM (большие языковые модели), писать для них промпты и выбирать лучшие ответы.

Задача участников соревнования — определить, ответы чьей модели больше понравятся пользователям. По задумке авторов, это должно помочь улучшать LLM и делать их более полезными для людей.

👉 Страница соревнования на Kaggle

🐍💪 ТОП-5 вопросов повышенной сложности на собеседовании по Python

Метаклассы, дескрипторы, модификаторы доступа — звучит сложно? В новой статье разбираем 5 вопросов, которые часто задают на собеседованиях по Python.

🔗 Читать статью
🔗 Зеркало

👀 Бесплатный курс по компьютерному зрению на Hugging Face

Сообщество Hugging Face запустило новый Community Computer Vision Course. В нём можно найти следующие темы:

▫️Основы компьютерного зрения;
▫️Свёрточные нейронные сети;
▫️Визуальные трансформеры;
▫️Генеративные модели;
▫️Обработка видео;
▫️Машинное 3D-зрение, визуализация сцен и реконструкция;
▫️Zero-shot зрение (позволяет компьютерам распределять объекты по классам, которые они раньше не видели);
▫️Этические аспекты компьютерного зрения.

🔗 Ссылка на курс

🚀 Файн-тюнинг GPT-модели для классификации спама с точностью до 96%

Об этом расскажет новая глава в учебнике Build a Large Language Model (From Scratch). Jupyter-ноутбук с кодом опубликовали в официальном репозитории.

🔗 Ссылка на главу

✍️ Регуляризация в машинном обучении

Регуляризация — это техника для уменьшения переобучения (overfitting), то есть ситуации, когда модель слишком хороша на обучающем датасете, но плохо работает на новых данных.

Регуляризация добавляет дополнительное ограничение на вектор весов. Мы рассмотрим два основных способа это сделать.

🔹 L1-регуляризация (Lasso)

Добавляет к функции потерь штраф, пропорциональный абсолютному значению весов модели. У метода есть полезная особенность: он может привести к тому, что у признаков, которые не оказывают большого влияния на ответ, вес в результате оптимизации получается равным нулю. Благодаря этому можно удобно удалять ненужные признаки.

🔹L2-регуляризация (Ridge)

Добавляет к функции потерь штраф, пропорциональный квадрату величины весов. Этот метод тоже уменьшает размер весов, но не обнуляет их.

🐍👾 Best-of Machine Learning with Python

Это репозиторий с 920 библиотеками и фреймворками на Python для машинного обучения. Все проекты ранжированы по качеству. Репозиторий можно использовать как источник инструментов под различные нужды, в частности:

▫️для непосредственно машинного обучения;
▫️для визуализации данных;
▫️для работы с финансовыми, медицинскими и другими особыми данными;
▫️для оптического распознавания символов;
▫️для поиска ближайших элементов в больших наборах данных, основываясь на их векторных представлениях.

🔗 Ссылка на репозиторий

✨ Attention, Please!: визуализированный гайд по механизму внимания в трансформерах

Механизм внимания, или Attention, — одна из важнейших частей архитектуры Transformer. До её появления использовались рекуррентные нейронные сети (RNN), у которых несколько проблем: в них сложно параллелить задачи, а также часто возникает проблема затухающих или взрывающихся градиентов, что усложняет обучение моделей с очень длинными входными последовательностями.

Механизм attention решает эти проблемы. Как именно, читайте в статье 👈

🧑‍💻 OpenAI объявила о коллаборации со Stack Overflow

Главным плодом сотрудничества OpenAI и Stack Overflow стал доступ к OverflowAPI. Оно позволяет пользоваться наборами данных Stack Overflow, на которых можно обучать и донастраивать большие языковые модели.

✅ Кроме того, OpenAI будет отображать данные партнёрской платформы напрямую в ChatGPT. Это означает, что чат-бот может начать генерировать более точный код и лучше отвечать на технические вопросы.

🧑‍💻 Подборка материалов для подготовки к live coding собеседованию на позицию Data Scientist

🔹Репозиторий с планом подготовки к алгоритмическому интервью
Разработчик составил минимально необходимый план для любого уровня подготовки. Репозиторий включает в себя ссылки на ресурсы для практики, ссылки на курсы, статьи и книги.

🔹Основы Python
Бесплатный хэндбук по основам языка от Яндекса.

🔹«Самоучитель по Python для начинающих»
Это наш текстовый курс, состоящий из 25 частей. Включает в себя, в том числе, основы работы с NumPy и Pandas.

🔹Интерактивный тренажер по SQL
Это курс на Stepik, который направлен на то, чтобы научить создавать базы данных и реализовывать запросы к ним на языке SQL.

🔹SQL Tutorial
Большой гайд на английском языке с теорией и практикой.

🔹Annotated Research Paper Implementations
Коллекция реализаций нейросетевых архитектур на PyTorch с комментариями (Transformers, StyleGAN, Stable Diffusion и др.).

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

🧠 «Нейросетевой словарик» для начинающих

Перечислим основные термины и понятия, которые важны для понимания процесса обучения нейросети.

🔸 Веса (Weights) — параметры модели, которые определяют силу связи между входами и выходами нейронов. В процессе обучения эти веса корректируются для минимизации ошибки.

🔸 Эпоха (Epoch) — так называют одну итерацию, за которую модель обновляет веса у всего обучающего набора данных целиком.

🔸 Функция потерь (Loss function) — используется для оценки того, насколько результаты модели хорошо согласуются с реальными значениями.

🔸 Кросс-энтропия (Cross-entropy loss) — функция потерь, которая применяется в задаче бинарной классификации. Измеряет разницу между двумя вероятностными распределениями: предсказанным и истинным.

🔸Метод обратного распространения ошибки (Backpropagation) — позволяет минимизировать функцию потерь путём коррекции весов. Вычисляет производную по каждому весу 𝑤 с использованием цепного правила.

🔸 Скорость обучения (Learning rate) — параметр, определяющий величину шага обновления весов во время обучения. Слишком большая скорость может привести к нестабильному обучению, а слишком маленькая — к замедлению процесса и застреванию в локальных минимумах.

🔥 Вышла AlphaFold 3

Это новое поколение революционной модели, которая способна предсказывать пространственную структуру и взаимодействия белков. AlphaFold 3 как минимум на 50% лучше предыдущей версии в предсказаниях взаимодействий белков с другими молекулами.

❓Как это работает

AlphaFold 3 на вход подают список молекул, а на выход модель отдаёт их объединённую 3D-структуру. Она может моделировать крупные биомолекулы, такие как белки, ДНК и РНК, а также маленькие, лиганды, к которым относятся многие лекарства.

В основе модели лежит архитектура Evoformer. После обработки входных данных AlphaFold 3 компонует прогнозы с использованием диффузионной сети, подобной тем, что применяются в генераторах изображений. Процесс диффузии начинается с облака атомов и постепенно сходится к окончательной молекулярной структуре.

🚀 Исследователи надеются, что AlphaFold 3 поможет в открытии новых лекарств. Учёные могут получить доступ к большинству возможностей модели бесплатно через AlphaFold Server.

⚡ Исследователи представили новую архитектуру xLSTM

xLSTM расшифровывается как Extended Long Short-Term Memory. Как можно догадаться, это улучшение для традиционных LSTM сетей.

xLSTM внедряет:

🔸Экспоненциальный гейтинг.
🔸Новую структуру памяти: теперь она состоит из sLSTM и mLSTM. Первая включает механизм смешивания памяти. Вторая использует матрицы, чтобы лучше хранить информацию и параллелить обучение.

В статье утверждается, что xLSTM превосходит стандартные LSTM и трансформеры за счёт улучшенной архитектуры и способности эффективно работать с последовательностями большой длины.

🔗 Читать исследовательскую статью

🧑‍💻 Deep Learning Models

Репозиторий с коллекцией моделей и архитектур глубокого обучения. Все они представлены в Jupyter Notebook.

Репо охватывает модели:

▫️Перцептрон;
▫️Многослойный перцептрон;
▫️Свёрточные нейронные сети (AlexNet, LeNet и др.);
▫️Transformers;
▫️Генеративно-состязательные сети (GAN);
▫️Графовые нейронные сети.

🔗 Ссылка на репозиторий

🥑 Подборка лучших статей «Библиотеки программиста» за апрель: сохраняй в заметки, чтобы не пропустить #самыйсок

🐍 Хэш-карты: незаменимый инструмент для Python-разработчика
🤖👾 Как злоумышленники взламывают LLM: 7 ключевых стратегий
🤖🛠️ 4 полезных инструмента для работы с ИИ: RAGFlow, The Pipe, UFO и SWE-agent
🐍❌ 10 основных ошибок начинающих Python-разработчиков
🤖💣 ИИ-ассистенты разработчика: скрытая угроза
🟰Математические основы генеративных нейронных сетей: что нужно знать для их изучения
🐍🤔 «Задумчивый» код: временная сложность операций со структурами данных в Python
🤖🖼️ Как работают визуальные трансформеры: магия превращения пикселей в знания