📰 Ускорение инференса ML-моделей без лишних трат

Не всегда для быстрой работы нейросетей нужен дорогой GPU — в некоторых случаях CPU может справиться не хуже.

В статье инженер объясняет, как можно ускорить RoBERTa и другие модели без перехода на видеокарты и потери качества.

Что вы узнаете в статье:

▶️ Почему инференс на CPU может быть эффективнее GPU и когда это действительно оправдано;

▶️ Как с помощью OpenVINO оптимизировать модель и встроить постпроцессинг прямо в неё;

▶️ Какие ошибки возникают при конвертации и как правильно объединить токенизацию, модель и pooling;

▶️ Как квантование и pruning ускоряют инференс без потери точности;

▶️ Какие инструменты стоит использовать, если CPU уже на пределе — от OpenVINO Model Server до Nvidia Triton.

Материал показывает, как добиться прироста скорости в 3–7 раз и снизить нагрузку без закупки нового оборудования.

➡ Читать статью

tags: #статья

➡ Data Scientist | Чат

📰 Обзор математики для начинающего ML-инженера

Математика — это фундамент машинного обучения. Без неё невозможно понять, как работают модели, почему они учатся и что происходит внутри нейросетей.

В статье собран системный обзор ключевых разделов высшей математики, необходимых для старта в ML, — без избыточной теории и с наглядными примерами.

Что вы узнаете в статье:

▶️ Какие разделы математики нужны ML-инженеру и зачем: линейная алгебра, анализ, статистика и оптимизация;

▶️ Как векторы, матрицы и тензоры лежат в основе нейросетей и методов снижения размерности;

▶️ Что нужно понимать про градиенты, производные и экстремумы функций;

▶️ Как вероятностные распределения и статистика объясняют обучение моделей;

▶️ Почему знание оптимизационных методов помогает быстрее понимать современные ML-архитектуры.

Материал подойдёт тем, кто хочет заложить прочный математический фундамент и перейти от интуитивного понимания машинного обучения к более осознанному.

➡ Читать статью

tags: #статья

➡ Data Scientist | Чат

📰 Как приручить LLM: подбор инфраструктуры для инференса

Запуск больших языковых моделей — это не только про код, но и про грамотную инфраструктуру.

В этой статье объясняется, как подобрать GPU и рассчитать VRAM так, чтобы инференс работал быстро, стабильно и без лишних затрат.

Что вы узнаете в статье:

▶️ Как рассчитать необходимый объём VRAM под выбранную модель и тип квантизации;

▶️ Почему GPU критичен для инференса и как определить оптимальную конфигурацию;

▶️ Как выбирать между A100, RTX 4090, A5000 и другими видеокартами;

▶️ Чем отличаются инференс-фреймворки Ollama, SGLang и vLLM на практике;

▶️ Как оценить производительность и стоимость в реальном кейсе на Qwen-32B.

Материал поможет выстроить основу для эффективного инференса и избежать ошибок, прежде чем переходить к автоматизации и тонкой настройке.

➡ Читать статью

tags: #статья

➡ Data Scientist | Чат

📰 Цукерберг переманил сооснователя Thinking Machines

Эндрю Таллок — имя, которое в ML-комьюнити давно на слуху. Бывший «Distinguished Engineer» в Meta, один из ключевых разработчиков PyTorch, позже — сотрудник OpenAI и сооснователь стартапа Миры Мурати Thinking Machines.

Теперь он снова возвращается под крыло Meta — по данным WSJ, сделка оценивается минимум в 2 миллиарда долларов плюс акции компании 🙃

Забавно, что всего пару месяцев назад Таллок уже отказывался от предложения Цукерберга «всего лишь» на полтора миллиарда.

Всех с первым днём рабочей недели 🙂

tags: #новости

➡ Data Scientist | Чат

🔖 Андрей Карпаты выложил в open source мини-клон ChatGPT — nanochat

Один из создателей GPT представил проект, позволяющий собрать и обучить собственного чат-бота с нуля всего за несколько часов на облачном GPU. В коде — около 8 000 строк, без лишних зависимостей и сложных надстроек.

Сам Карпаты называет nanochat «самым безумным проектом, который он когда-либо писал», ссылка на GitHub — здесь.

tags: #полезное

➡ Data Scientist | Чат

📰 Сможет ли языковая модель научиться читать биржевые графики? Эксперимент с LLM на данных Московской биржи

Автор проверил гипотезу: если превратить графики в текст — описывать тренды, уровни и объёмы — сможет ли LLM понять рынок без чисел и индикаторов.

Для теста использовалась DistilBERT, обученная на текстах и дообученная на данных Московской биржи.

Что вы узнаете в статье:

▶️ Как перевести котировки в текст и использовать их для обучения LLM;

▶️ Как построить рабочий ML-конвейер на Python, PyTorch и Docker;

▶️ Почему DistilBERT показала AUC ≈ 0.53 и что это говорит о «понимании» рынков моделями;

▶️ Какие тикеры оказались предсказуемыми, а где модель провалилась;

▶️ Что можно улучшить с помощью LLaMA, Mistral и дообучения на финансовых данных.

Будет интересно тем, кто хочет проверить реальные возможности LLM в анализе биржевых данных и запустить всё своими руками — код выложен на GitHub.

➡ Читать статью

tags: #статья

➡ Data Scientist | Чат

🔖 Стэнфорд запустил бесплатный курс по Deep Learning под руководством Эндрю Ына — основателя Coursera и одного из ключевых фигур в мире ИИ

Курс охватывает всё — от основ нейросетей и обучения с подкреплением до LLM, RAG, агентов и мультимодальных моделей.

Первую лекцию можно посмотреть здесь, а материалы и расписание лежат — тут.

tags: #полезное

➡ Data Scientist | Чат

📰 Краткая история машинного зрения: от статьи Селфриджа до первых патентов

Когда мы говорим о машинном зрении, чаще всего вспоминаем современные камеры, нейросети и OpenCV. Но всё началось гораздо раньше — с попытки объяснить, как машина может «видеть» мир так же, как человек.

В 1955 году Оливер Селфридж из MIT предложил первый алгоритм распознавания образов и, по сути, задал направление всей области. В статье рассказывается о том, как идеи 50-х превратились в технологии, которые сегодня лежат в основе компьютерного зрения и нейросетей.

➡ Читать статью

tags: #статья

➡ Data Scientist | Чат

📰 Matplotlib: полное руководство по визуализации данных

В статье представлено пошаговое руководство по работе с Matplotlib — одной из самых популярных библиотек для визуализации данных на Python.

Автор объясняет основы построения графиков, настройку внешнего вида и делится примерами кода, которые помогут быстро освоиться и применять визуализацию в своих проектах.

⛓ Читать статью

tags: #статья

➡ Data Scientist | Чат

📰 Черный ящик с мозгами внутри: простое введение в нейросети

В статье даётся базовое представление о том, как работают нейросети: что такое персептрон, как устроены слои, веса и процесс обучения.

Автор объясняет, как эти принципы используются для обработки данных и почему нейросети эффективно решают сложные задачи.

⛓ Читать статью

tags: #статья

➡ Data Scientist | Чат

🔖 Машинное обучение без воды — один учебник, вся математика

Огромный том, в котором собран весь фундамент ML: чистая теория, алгоритмы и математика без лишних слов. Идеально, если хотите глубоко понять, как всё работает.

Внутри:

— Анализ, линал и тервер для прочного фундамента;
— Оптимизация — от SGD до проксимальных методов;
— Линейные модели, SVM, деревья, бустинг, нейросети;
— Генеративка: MCMC, вариационные подходы, графовые модели, GAN;
— PCA, кластеризация, факторный анализ, обучение на многообразиях;
— Теория обобщающей способности моделей и неравенства концентрации.

Ссылка на учебник — здесь.

tags: #полезное

➡ Data Scientist | Чат

📰 Как написать простейшую нейросеть: простыми словами о сложном

В статье простыми шагами показано, как написать с нуля нейросеть, которая учится решать задачу XOR.

Автор объясняет всё без сложной математики: немного кода, запуск, результат и разбор, чтобы быстро понять, как это работает.

⛓ Читать статью

tags: #статья

➡ Data Scientist | Чат

➡ Data Scientist | Чат

🔖 Cursor выпустили часовой курс по нейросетям — бесплатно и по делу

За ~1 час разберут базу работы с LLM и продвинутые приёмы — как создавать собственных агентов, интегрировать разные модели и использовать секретные фишки рабочего процесса. Подойдёт тем, кто хочет быстро перейти от теории к практике.

Что внутри (кратко):

▶️ Основы разработки с нейросетями;
▶️ Создание и оркестрация агентов;
▶️ Работа с разными моделями и их интеграция;
▶️ Практические приёмы и «фишки» продуктивной разработки.

Пройти курс — тут.

tags: #полезное

➡ Data Scientist | Чат

🔖 Машинное обучение — всё, что нужно знать

В видео подробно рассказывается, как работает машинное обучение: от линейной регрессии и деревьев решений до нейросетей и обучения с подкреплением.

Автор показывает этапы построения ML-проекта, объясняет принципы обработки данных и помогает сформировать целостное понимание подходов и задач.

📱 Смотреть на YouTube

tags: #полезное

➡ Data Scientist | Чат

📰 Краткий курс машинного обучения: нейросеть для скоринговой модели

Машинное обучение уже давно стало инструментом не только для исследователей, но и для решения прикладных бизнес-задач.

В этой статье показано, как на практике перейти от классического скоринга к нейросети, способной точнее прогнозировать поведение клиентов.

Что вы узнаете в статье:

▶️ Как подготовить анкетные данные и провести корректный препроцессинг;

▶️ Как построить и обучить простую нейросеть для бинарной классификации;

▶️ Как сравнить качество моделей с помощью метрик accuracy, recall и F1;

▶️ Как интерпретировать веса обученной сети и использовать их в скоринговой формуле.

Подробный разбор для тех, кто хочет увидеть, как теоретические методы машинного обучения применяются в реальных продуктах.

⛓ Читать статью

tags: #статья

➡ Data Scientist | Чат