Machine learning Interview
24.4K subscribers
1.02K photos
67 videos
12 files
689 links
Разбираем вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейронным сетям, Python.

Вопросы - @notxxx1


@itchannels_telegram -🔥лучшие it каналы

РКН: clck.ru/3FmwRz
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
🌲 Supertree — инструмент для создания интерактивных визуализаций деревьев решений:

- Работает с Jupyter Notebooks, Jupyter Lab, Google Colab и другими средами, поддерживающими рендеринг HTML.

- Поддерживает возможность масштабирования дерева (зум).

- Позволяет разворачивать и сворачивать выбранные узлы для более удобного анализа.

https://github.com/mljar/supertree

@machinelearning_interview
📚 Справочник-шпаргалка по методологиям и паттернам на Python

Это обширный гайд на «Хабре», который расскажет о:

паттернах (порождающих, структурных, поведенческих);
разработке через тестирование (TDD);
разработке, основанной на описании поведения (BDD);
предметно-ориентированном проектировании (DDD).

🔗 Ссылка

@machinelearning_interview
Forwarded from Machinelearning
✔️ Книга+практика : Understanding Deep Learning

Книга “Understanding Deep Learning” посвящена идеям и принципам, лежащим в основе глубокого обучения. Подача материала построена таким образом, чтобы читатель мог понять материал настолько эффективно, насколько это возможно. Для читателей, желающих углубиться в изучение, в каждой главе приведены соответствующие задачи, записные книжки по Python и подробные справочные материалы.

В первой части книги представлены модели глубокого обучения и обсуждается, как их обучать, измерять их производительность и улучшать эту производительность.

В следующей части рассматриваются архитектуры, которые специализируются на изображениях, тексте и графических данных. Для свободного понимания этих двух глав требуется понимать принципы линейной алгебры, матанализа и теории вероятностей.

Последующие части книги посвящены генеративным моделям и методике обучения с подкреплением. Эти главы требуют больших знаний в области теории вероятностей и математического анализа.

В последней главе обсуждается этика искусственного интеллекта и призыв к практикующим инженерам задуматься о моральных последствиях своей работы.

Автор книги: Simon J. D. Prince - почетный профессор информатики в Университете Bath (Великобритания) , со-автор более 80 опубликованных исследований в области ML.
Научный сотрудник, специализирующийся на искусственном интеллекте и глубоком обучении, он руководил группами ресерча в Anthropics Technologies Ltd, Borealis AI и других компаниях.

Дополнительно, на отдельном сайте книги, читателям доступны:

🟢ответы на наиболее частые вопросы студентов;
🟢ipynb - ноутбуки для практических занятий по материалам книги;
🟢интерактивные иллюстрации по темам;
🟢презентации по каждой главе для преподавателей, которые захотят построить свое обучение на содержимом книги;
🟢большой список статей по 12 направлениям для продолжения обучения после прочтения книги: AI Theory, Transformers & LLMs, Unsupervised learning, Natural language processing, Computer vision и др.

▶️Дата последней актуализации книги : 28 августа 2024 года.


📌Стоимость: бесплатно


🟡Сайт книги
🖥Github


@ai_machinelearning_big_data

#AI #ML #Book
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🌟 Google представила инструмент для преобразования любой научной статьи в подкаст.

Illuminate – это сервис text-to-audio, который позволяет быстро ознакомиться с содержанием научных статей.

Сейчас инструмент доступен только по запросу – необходимо встать в очередь ожидания. Однако на сайте Illuminate уже есть подкасты по известным научным статьям в области искусственного интеллекта:

🎧 Attention is All You Need
🎧 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
🎧 On Limitations of the Transformer Architecture
🎧 MLP-Mixer: An all-MLP Architecture for Vision

https://illuminate.google.com/home

@machinelearning_interview
🛠 Какова роль у небольших моделей в эпоху LLM: Интересный Обзор

В этой работе рассматриваются взаимоотношения между LLM и малыми моделями, анализируется их потенциал в использовании вместе с большими моделями и иъ конкурентные преимущества.

📝https://arxiv.org/abs/2409.06857
👨🏽‍💻https://github.com/tigerchen52/role_of_small_models

@machinelearning_interview
Forwarded from Machinelearning
⚡️ OpenAI релизнули новую модель OpenAI o1, которая в разы мощнее GPT-4o.

Тот самый секретны проект, над которым так долго работала компания.

Доступ обещают дать уже сегодня.

@ai_machinelearning_big_data

#openai #chatgpt
🖥 SQL для Data Science: ключевые вопросы с собеседований по разным уровням

Подборка важных SQL вопросов для разных уровней👇

🔹 Начинающие (0-2 года):
▪️ В чем разница между WHERE и HAVING?
▪️ Какие виды JOIN существуют в SQL?

🔹 Опытные (2-5 лет):
▪️ Запрос для поиска второй по величине зарплаты.
▪️ Оконные функции в SQL, пример с ROW_NUMBER().

🔹 Эксперты (5+ лет):
▪️ Как оптимизировать медленный запрос?
▪️ Когда использовать кластеризованные и некластеризованные индексы?

🖥 Ссылка

@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 UNet 3+ Implementation in TensorFlow

В этой статье представлена реализация архитектуры UNet 3+ с помощью TensorFlow.

UNet 3+ расширяет классическую архитектуру UNet и UNet++.

В статье рассмотрен каждый блок архитектуры UNet 3+ и объяснено, как они работают и что способствует повышению производительности модели.

Понимание этих блоков позволит понять механизмы, лежащие в основе UNet 3+, и то, как она эффективно справляется с такими задачами, как сегментация изображений или другими задачами попиксельного предсказания.

https://idiotdeveloper.com/unet-3-plus-implementation-in-tensorflow/

@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
📌Open Source в ML/Data: исследование ИТМО

ИТМО представил анализ Open Source проектов в области машинного обучения и работы с данными в России. Вот ключевые моменты:
— Лидеры: Яндекс, Сбер, Т-банк.
— Решения российских разработчиков ориентируются на локальный и международный рынок.
— Исследователи насчитали 120 открытых решений от Яндекса.
— В топ-3 проектов компании попали CatBoost, YTsaurus, YDB.
— Среди свежих релизов: YaFSDP, Gravity UI, Diplodoc, DataLens.
— В список также попал ex-проект Яндекса — ClickHouse.

Исследование показало смену парадигмы: участники больше не считают, что опенсорс играет на руку конкурентам. Фокус смещается на коллективное развитие сферы через открытые проекты.

🟡Сайт исследования

@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
⚡️ Nemotron-Mini-4B-Instruct: инструктивная компактная модель от Nvidia

Nemotron-Mini-4B-Instruct - небольшая модель, полученная в результате файнтюна, обрезки (pruning), дистилляции и квантования модели Minitron-4B-Base.

Эта модель оптимизирована для roleplay-сценариев, RAG QA и вызова функций на английском языке.

Практическое применение модели ориентировано на интеграции в гейм-разработке, преимущественно - в экосистеме NVIDIA.

Модель обучалась в период февраль-август 2024 года.

При создании Nemotron-Mini-4B-Instruct использованы техники Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE).

▶️Технические характеристики:

🟢total params - 4B;
🟢embedding size - 3072;
🟢attention heads - 32;
🟢MLP intermediate dimension - 9216;
🟢input context - 4096.

Пример инференса в Transformers, шаблоны простого промпта и instruct- шаблон в карточке модели на Huggingface.

Есть неофициальные квантованные (imatrix) GGUF - версии модели в 8 разрядностях, от 3-bit (2.18 Gb) до 16-bit (8.39 Gb) для запуска в llama.cpp и LM Studio.


📌Лицензирование : NVIDIA Community Model License.


🟡Страница модели на NGC Catalog
🟡Модель
🟡GGUF
🟡Arxiv
🟡Demo


@ai_machinelearning_big_data

#AI #NVIDIA #LLM #ML #Nemotron
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🛠 Интересный проект: разработчик создал простую систему, которая помогает пройти собеседование, фактически отвечая за вас!

Алгоритм работает так: Whisper преобразует речь интервьюера в текст, передаёт его ChatGPT, который генерирует ответ. Затем вы просто читаете его с экрана.

Всё, что вам нужно — открывать рот и произносить готовые фразы🤣

GitHub

@machinelearning_interview
🖥 Python Training — хороший курс по Python для бизнес-аналитиков JPMorgan

Полезный курс сосредоточен на введении в вычисления и визуализацию данных в Python. Подходит для тех, кто не имеет опыта программирования.

Вот темы, которые охватывает курс:

▪️основы Python (в Jupyter);
▪️базовые вычисления и работа с данными (NumPy, Pandas);
▪️работа с API;
▪️визуализация данных (Matplotlib, Seaborn);
▪️лучшие практики Python.

🔗 Ссылка на курс

#курс #python

@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️ Задача: Предсказание дохода человека.

Вам известны все необходимые признаки, а данных достаточно.

После построения модели как вы определите, что она получилась хорошей?

Чтобы оценить, построенная модель для предсказания доходов человека получилась хорошей, нужно сделать следующее:

1. Выберите метрику качества модели: Для оценки точности модели используйте одну из следующих метрик: Mean Absolute Error (MAE), Mean Squared Error (MSE) или Root Mean Squared Error (RMSE). Эти метрики помогут понять, насколько точно модель предсказывает целевую переменную.

2. Разделите данные на обучающую и тестовую выборки: Используйте обучающую выборку для построения модели, а тестовую — для оценки её качества. Это поможет избежать переобучения, при котором модель хорошо работает на обучающих данных, но плохо на новых примерах.

3. Оцените модель на тестовых данных: Проверьте качество модели на тестовой выборке. Если значения метрик на обучающей и тестовой выборках не сильно различаются, это указывает на отсутствие переобучения и способность модели давать хорошие предсказания.

4. Примените кросс-валидацию: Дополнительно можно использовать кросс-валидацию для оценки стабильности модели. Это позволит убедиться, что модель демонстрирует хорошие результаты на различных подвыборках данных.

👇 Пишите свой вариант ответа в комментариях
.

@machinelearning_interview
🛠 Эксперименты с обучением моделей для нейроредактора в Яндекс Браузере

Команда разработки доработала предыдущее решение, что в итоге привело к созданию отдельного инструмента на основе языковой модели YandexGPT. Он помогает пользователям создавать тексты с нуля и улучшать готовые прямо в браузере — например, исправлять ошибки и переписывать в определенном стиле и формате.

Для офлайн-метрик использовалась диффалка, написанная на Go. Диффалка работает на основе алгоритма поиска наибольшей общей подпоследовательности (LCS): ищутся наидлиннейшие общие подпоследовательности между версиями текста. Это позволило подсчитывать количество ошибок, которые модель не исправляет, сравнивая вывод модели с текстом, отредактированным человеком, и проверять гипотезы о качестве, экономя время.

Эксперименты (переход к Encoder-Decoder, curriculum learning, предобучение) дали ускорение в 2 раза и +10% качества на открытых датасетах.

Раньше при нейроредактировании модель могла легко удалить или добавить лишние спецсимволы, что приводило к непредсказуемым результатам. Теперь, с внедрением полноценной поддержки Маркдауна, эта проблема устранена. Для обеспечения корректной обработки разметки применялся подход восстановления: прогон текста через модель, ручное восстановление пропавшей разметки и переобучение модели. В итоге достигнуто сохранение разметки 1:1 в модели исправления ошибок.

📝 Хабр

@machinelearning_interview
Forwarded from Machinelearning
🌟 CUTLASS Tutorial: Быстрое матричное умножение с WGMMA на GPU NVIDIA Hopper.

Большой, подробный и лаконичный туториал в 2-х частях по оптимизации матричного умножения на микроархитектуре Hopper (H100) с использованием библиотеки CUTLASS.

CUTLASS - это набор реализаций алгоритмов линейной алгебры (шаблонов) для использования на CUDA в задачах глубокого обучения, инженерных расчетах и научных исследованиях.

▶️Первая часть посвящена инструкции WGMMA (asynchronous warpgroup matrix-multiply and accumulate) - как она работает, какие ограничения имеет на размер и расположение данных в памяти и как использовать синхронизацию для правильного выполнения операций.

В этой части подробно рассматривается концепция «ядерных матриц» и «матричных дескрипторов», которые нужны для эффективной работы с WGMMA.

✔️ Вторая часть про умножение матриц(GEMM) и методы повышения эффективности GEMM-ядра путем конвейеризации. Рассматриваются две стратегии пайплайна : многоступенчатую и warp-specialization, с подробным описанием их концепции, применением CUTLASS для их построения и сравнивается производительность стратегий.

В конце туториала кратко описывается реализация конвейеризации в GEMM-ядрах для архитектуры Ampere.


@ai_machinelearning_big_data

#AI #ML #CUTLASS #Tutorial
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM