Data Science | Machinelearning [ru]
20K subscribers
690 photos
45 videos
29 files
3.57K links
Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM.

По вопросам рекламы или разработки - @g_abashkin

РКН: https://vk.cc/cJPGXD
Download Telegram
Ищем Data Scientist специалиста в команду RecSys в 2ГИС

Делаем рекомендательные сервисы для всех продуктов компании:
— рекомендации заведений на карте
— улучшение поиска по категориям
— персональные подборки для пользователей

Что будешь делать:
• Писать сервисы для команды рекомендательных систем;
• Разрабатывать системы мониторинга качества рекомендательных систем;
• Настраивать мониторинг и алертинг качества данных;
• Писать unit тесты (pytest), тесты для различных участков ML пайплайна, участвовать в код ревью.

Что важно:
• 3+ года опыта полного ML-цикла
• Сильный Python и SQL
• Классический ML + один из DL-фреймворков (torch / tensorflow / keras)
• Понимание RecSys: подходы, метрики, A/B-тесты
• Опыт с инструментами разработки и CI/CD

Удалёнка или офис. Аккредитованная IT-компания, белая зарплата, конференции, свобода в технологиях.
👉 Откликайся

Другие инженерные инсайты от 2ГИС → в Telegram-канале RnD
Галлюцинации LLM: где модель помогает, а где уверенно врёт

Большие языковые модели выглядят как всезнающие эксперты. Текст гладкий, уверенный, логичный. Ровно до тех пор, пока не выясняется, что все это были галлюцинации. Давай разберёмся, где галлюцинации — это ожидаемое поведение модели, а где они quietly превращаются в серьёзную проблему.

1. Где галлюцинации — это «нормально»

Модель не знает, она продолжает
LLM — это не база фактов, а сверхмощный автодополнитель. Её цель — сгенерировать правдоподобное продолжение, а не истину.

Недостаток или неоднозначность данных
Если вопрос редкий, свежий или нишевый, модель просто заполняет пробелы. Она не умеет сказать «я не знаю» без отдельного обучения.

Креативные задачи
В сторителлинге и брейншторме галлюцинации — это не баг, а фича. Проблемы начинаются, когда тот же режим включается в фактах и коде.

2. Где начинаются проблемы

Фактические вопросы
Чат-бот уверенно сообщает неверные даты, имена и события. И пользователь принимает это за правду.

Генерация кода

• Функции, которых не существует.
• API, которых никогда не было.
• Код выглядит правильно — пока не запускаешь.

Критические домены
Юриспруденция, медицина, финансы. Здесь «звучит убедительно» = потенциальная катастрофа.

Уверенный тон без знаний
Самое опасное — модель не сомневается. Она не краснеет, не делает пауз, не оговаривается.

3. Что реально снижает галлюцинации

RAG (привязка к данным)
Модель отвечает не «из головы», а по конкретным документам. Есть источник — меньше фантазий.

Дообучение и выравнивание
RLHF, domain fine-tuning, обучение говорить «я не уверен». Модель учат быть осторожной, а не болтливой.

Чёткие инструкции:
— отвечай только по контексту
— если не знаешь — скажи
— обоснуй каждый шаг

Иногда этого уже достаточно.

• Пост-проверки и правила
• Тесты для кода
• Проверка ссылок
• Фильтры на запрещённые паттерны

Попросить модель:
— проверить себя
— оценить уверенность
— пересмотреть ответ

4. Что отличает надёжную систему от «просто LLM»

— Модель не единственный источник истины
— Есть данные, проверки и ограничения
— Ошибка ловится до пользователя
— Уверенность ≠ корректность


Галлюцинации — это не «плохая модель». Это следствие того, что LLM всегда старается ответить. И если не обложить её контекстом, проверками и правилами, она будет стрелять в ногу ровно так же уверенно, как и рассуждать.

Data Science
17🐳2
Accuracy - худшая метрика в классификации

Accuracy - самая популярная метрика в ML.
И одновременно - самая опасная.

Звучит провокационно? Давай разберёмся.

Почему все любят Accuracy?

Формула максимально простая:

Accuracy =
(количество правильных предсказаний / общее количество объектов)


Если модель угадывает 90% объектов - кажется, что всё отлично.

Но есть одна проблема 👇


Когда Accuracy полностью врёт

Представим задачу:

👉 1000 клиентов
👉 950 — не уйдут (класс 0)
👉 50 — уйдут (класс 1)

Модель, которая всегда предсказывает «0», получит:

👉 950 правильных предсказаний
👉 Accuracy = 95%

95% — звучит круто. Но модель вообще не находит тех 50 клиентов, ради которых бизнес запускал проект. Она бесполезна.


Проблема №1 — дисбаланс классов

Accuracy не чувствительна к перекосу данных.

В задачах:

👉 Fraud detection
👉 Churn prediction
👉 Medical diagnosis

дисбаланс — это норма, а не исключение.

И accuracy начинает вводить в заблуждение.


Проблема №2 — разные ошибки стоят по-разному

В медицине:

👉 False Negative → пациент болен, модель сказала «здоров»
👉 False Positive → пациент здоров, модель сказала «болен»

Цена ошибок совершенно разная. Accuracy этого не учитывает.


Что использовать вместо Accuracy?

Зависит от задачи.

Если важен поиск редкого класса:

👉 Recall
👉 Precision
👉 F1-score

Если важен баланс:

👉 ROC-AUC
👉 PR-AUC

Если классы несбалансированы:

👉 Balanced Accuracy


Когда Accuracy всё-таки можно использовать?

👉 Когда классы сбалансированы
👉 Когда стоимость ошибок одинакова
👉 Когда это baseline

Во всех остальных случаях - это иллюзия качества.

Вывод

Accuracy - не плохая метрика.
Плохой - слепой выбор метрики.

Метрика должна соответствовать бизнес-задаче.
Иначе вы оптимизируете красивую цифру, а не реальную пользу.
18👍3👎3🔥2
Media is too big
VIEW IN TELEGRAM
Project Genie: Google даёт поиграться с генеративными мирами

Google запустили Project Genie — и это первая нормальная возможность для обычных пользователей потрогать Genie-3 руками. По сути, это генератор интерактивных миров: ты отдельно задаёшь промпт для окружения и для персонажа (или просто кидаешь картинку), сначала получаешь превью мира от Nano Banana, правишь детали, а уже потом «заходишь» внутрь. Фантазия вообще ничем не ограничена — можно, например, сделать мир “34th Street–Penn Station” и играть за “Discarded pack of cigarettes”, буквально управляя пачкой сигарет в метро. Плюс есть ремиксы: берёшь персонажа из одного мира, окружение из другого, или копаешься в галерее чужих миров и перекраиваешь их под себя. В итоге это выглядит как песочница между игрой, генеративным артом и прототипированием будущих виртуальных миров — залипнуть реально легко. Единственный минус: доступ пока только для подписчиков Ultra за $250, так что это скорее взгляд в будущее, чем массовый релиз.

Data Science
5
Forwarded from xCode Journal
This media is not supported in your browser
VIEW IN TELEGRAM
😎 Сеньор-разработчик перепрыгивает с созвона одной валютной удаленки на созвон другой валютной удаленки:

💥 xCode Journal
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12😁21
Transformer простыми словами

Если объяснить максимально просто:
Transformer — это модель, которая понимает контекст через механизм внимания.

Именно на ней построены современные LLM.

Проблема старых моделей

До Transformer были:
👉 RNN
👉 LSTM
👉 GRU

Они читали текст последовательно — слово за словом.

Проблемы:
👉 плохо запоминали длинный контекст
👉 обучались медленно
👉 не параллелились

Нужно было что-то принципиально другое.


Главная идея Transformer — Attention

Transformer не читает текст по порядку.

Он смотрит на всё предложение сразу
и решает, какие слова важны друг для друга.

Например:

«Я положил ноутбук на стол, потому что он был тяжёлый»

Что значит «он»?

Transformer вычисляет, к какому слову это относится,
через механизм внимания.
Это называется Self-Attention.


Что такое Self-Attention интуитивно

Представь, что каждое слово:
👉 смотрит на остальные слова
👉 решает, кому доверять больше
👉 взвешивает их влияние

Математически это:
👉 Query
👉 Key
👉 Value
👉 Softmax
👉 взвешенная сумма

Интуитивно — это просто умное распределение внимания.


Почему это революция

👉 модель видит весь контекст сразу
👉 можно обучать параллельно
👉 отлично работает с длинными последовательностями
👉 хорошо масштабируется

Именно поэтому после статьи
Attention Is All You Need
всё изменилось.


Из чего состоит Transformer

Если сильно упростить:
👉 Embedding
👉 Positional Encoding
👉 Multi-Head Attention
👉 Feed Forward Network
👉 Residual + LayerNorm

И всё это повторяется много раз слоями.


Почему LLM — это просто большой Transformer

Потому что если:
👉 увеличить количество слоёв
👉 увеличить размерность
👉 увеличить объём данных

получается модель, способная:
👉 писать код
👉 объяснять физику
👉 переводить языки
👉 вести диалог


В одном предложении

Transformer — это архитектура,
которая понимает текст через внимание ко всему контексту сразу.
21
Forwarded from xCode Journal
🤬 Google Chrome захламляет ПК нейросетями без вашего ведома

Браузер втихую загружает на систему локальную версию Gemini и скрыто запускает, когда надо. Если хотите освободить память:
— Вписываем в браузер адрес chrome://flags/;
— Находим параметр Optimization Guide On Device Model и отключаем его;
— Повторяем с пунктом Prompt API;
— Находим на диске по пути AppData/Local/Google/Chrome/User Data/OptGuideOnDeviceModel/ файл весом в 4 ГБ и удаляем его.


Не благодарите

✖️ xCode Journal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9👎41
Укротить машинное обучение — миссия выполнима 💪

В 2026 перед бизнесом стоит задача: окупить расходы на машинное обучение. Точно не обойтись без знаний по MLOps.

На помощь приходит мини-курс по машинному обучению от Академии Selectel.
Эксперты подробно рассказали:
- как работать с артефактами в MLOps,
- что нужно бизнесу от Feature Store,
- как работать с ML-моделями на open source-платформах.

🔝 Проходите уроки бесплатно по ссылке:

Хотите быть в курсе трендов и реальной практики машинного обучения? Присоединяйтесь к сообществу профессионалов: @mlpathway 👈

Эксперты Selectel поделятся тем, как развить надежную ИТ-инфраструктуру для ресурсоемких задач и инференса моделей.
3😁2
Forwarded from xCode Journal
😱 Человек больше не различает фото настоящих людей от сгенерированных

К такому выводу пришли австралийские исследователи. В эксперименте (125+ участников) людей просили определить, где реальное лицо, а где созданное ИИ. В результате точность оказалась близка к случайному угадыванию.

А все дело в том, что искусственные лица нередко кажутся более реальными — из-за симметрии и усреднённой привлекательности.

✖️ xCode Journal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21
Станьте Deep Learning Engineer с дипломом 👍

Голосовые помощники, распознавание лиц, рекомендации в приложениях, медицинская диагностика — нейросети используются уже во всех сферах бизнеса. Компании ищут DL-специалистов, чтобы точнее обучать и настраивать нейросети под свои запросы.
Освоить Deep Learning самостоятельно сложно, но ребята из Simulative нашли решение, где учёба становится понятной и структурированной, а все темы разбираются на практике 🔥

Simulative запускает программу профессиональной переподготовки «Инженер глубокого обучения нейросетей».

По итогам обучения вы получите:

🎓 Диплом гособразца

Официальный диплом о профессиональной переподготовке с квалификацией «Специалист по большим данным».

💯 Практика

Более 40 практических работ в формате симуляции реальной работы DL-инженера — всё пойдёт в портфолио.

🙌🏽 Онлайн обучение

Учитесь из любой точки мира, совмещая с работой, а доступ к материалам останется навсегда.

Курс подходит для специалистов любого уровня: новичок, аналитик, ML-инженер или выпускник — на программе опытные менторы помогут выстроить вашу персональную траекторию роста в Deep Learning.

Что вы освоите:
🟠Создание и обучение нейросетей с нуля
🟠Компьютерное зрение (Computer Vision)
🟠NLP (обработка текста)
🟠Генеративные модели
🟠MLOps и продакшн-подход

🕖 Старт обучения — 12 марта, количество мест на поток ограничено

Бронируйте место на курсе прямо сейчас и получите скидку 30%

😶ПОЛУЧИТЬ СКИДКУ НА КУРС
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from xCode Journal
😭 «Меньше 200 тыс. в Москве — лютейшая нищета»

Разраб создал проект Salary Tiers, который разбивает зарплаты по городам и выдает жестокую правду о том, на каком ты уровне жизни.

Смотрим и плачем здесь

✖️ xCode Journal
Please open Telegram to view this post
VIEW IN TELEGRAM
👎32😁14👍3👀1
Edge AI: видеокамеры с искусственным интеллектом

Введение в Edge AI
Edge AI — это технология, позволяющая обрабатывать данные непосредственно на устройствах, расположенных на периферии сети, таких как видеокамеры, без необходимости передачи информации в облако. Это обеспечивает более быструю обработку данных и снижает задержки, что критично для приложений реального времени.

Преимущества видеокамер с Edge AI
Внедрение искусственного интеллекта в видеокамеры позволяет анализировать видео в реальном времени, повышая эффективность систем видеонаблюдения. Это снижает нагрузку на центральные серверы и уменьшает затраты на передачу данных. Кроме того, такие камеры могут работать автономно, обеспечивая непрерывный мониторинг даже при отсутствии подключения к сети.

Применение в различных отраслях
Видеокамеры с Edge AI находят применение в различных сферах: от промышленности до здравоохранения. В промышленности они используются для контроля качества продукции и обеспечения безопасности на производственных площадках. В здравоохранении такие камеры помогают в мониторинге пациентов и обеспечении безопасности медицинских учреждений.

Технологические достижения
Современные видеокамеры с Edge AI оснащены мощными процессорами и специализированными нейронными сетями, что позволяет им выполнять сложные задачи машинного зрения непосредственно на устройстве. Это включает в себя распознавание лиц, обнаружение аномалий и анализ поведения в реальном времени.

Будущие перспективы
Ожидается, что к 2032 году рынок Edge AI достигнет 35,26 миллиарда долларов США, демонстрируя среднегодовой темп роста 12,35% с 2025 года. Это свидетельствует о растущем спросе на устройства с локальной обработкой данных и их интеграции в различные отрасли.

Факты
👉 К 2032 году рынок Edge AI достигнет 35,26 миллиарда долларов США с CAGR 12,35% с 2025 года
👉 Внедрение Edge AI в видеокамеры снижает задержки обработки данных и повышает эффективность систем видеонаблюдения

❗️Видеокамеры с Edge AI представляют собой значительный шаг вперед в области видеонаблюдения, обеспечивая быструю и эффективную обработку данных непосредственно на устройстве, что открывает новые возможности для различных отраслей.

Источники
Edge AI 2025: Тренды и кейсы внедрения искусственного интеллекта на периферии.
Edge AI в 2025 году: как локализованный интеллект открывает новые горизонты для бизнеса.
Видеонаблюдение с Edge AI: меньше затрат, больше возможностей.
5
Forwarded from xCode Journal
Media is too big
VIEW IN TELEGRAM
🦾 Превращаем любой репозиторий в интерактивный ГРАФ ЗНАНИЙ с GitNexus

GitNexus работает полностью в браузере — просто кидаешь ссылку на GitHub или загружаешь архив и получаешь наглядную карту: файлы, модули, зависимости и связи между ними. Плюс внутри есть ИИ-агент, который отвечает на все вопросы по проекту. Так что можно узнать, где используется функция, как связаны компоненты или за что отвечает конкретный модуль.

По сути, это быстрый способ разобраться в чужом (да и своем…) проекте.

✖️ xCode Journal
Please open Telegram to view this post
VIEW IN TELEGRAM
9👍4🔥3
DeepSeek V3.2 в Yandex AI Studio: теперь агенты реально умеют рассуждать

В Yandex AI Studio появилась модель, которая предназначена для решения сложных пошаговых задач. Агенты на базе этой модели могут сравнивать тендеры, разбирать инциденты, гонять автотесты, поднимать репозиторий и деплоить приложения.

Технически — это полноценный chain-of-thought + tool use, где сессия хранит длинный контекст и повторные обращения. Платформа оптимизирует кеширование и вызов инструментов, так что стоимость сессий падает почти в 4 раза.

Платформа SourceCraft уже интегрировала модель в своего кодового ассистента. ИИ теперь не просто completion — он orchestration.
👎6👍52🔥1
MBZUAI и G42 представили K2 Think — революционную модель рассуждения с открытым исходным кодом

Введение
Мохаммед бин Заидский университет искусственного интеллекта (MBZUAI) совместно с технологической компанией G42 объявили о выпуске K2 Think — передовой модели рассуждения с открытым исходным кодом, предназначенной для решения сложных задач в области искусственного интеллекта. Узнайте больше в официальном анонсе MBZUAI.

Технические характеристики и производительность
K2 Think содержит 32 миллиарда параметров, что значительно меньше по сравнению с другими флагманскими моделями, такими как GPT-4 и DeepSeek-V3.1, которые имеют более 200 миллиардов параметров. Несмотря на меньший размер, K2 Think демонстрирует сопоставимую производительность в задачах математического и научного рассуждения. Подробнее читайте в новости The National.

Инновационные подходы
Модель основана на шести ключевых инновациях, включая обучение с подкреплением с проверяемыми наградами и агентное планирование, позволяющее разбивать сложные задачи на более простые этапы. Подробности доступны в официальном анонсе G42.

Производительность и доступность
K2 Think будет доступна на платформе Cerebras, оптимизированной для высокоскоростного вывода, достигая скорости обработки до 2000 токенов в секунду. Узнайте больше о производительности в пресс-релизе от Cerebras.

Открытость и прозрачность
В отличие от большинства моделей, K2 Think полностью открыта: доступны данные обучения, веса параметров и программный код для развертывания и оптимизации. Это обеспечивает прозрачность и воспроизводимость для исследовательского сообщества. Детали можно найти в официальном анонсе G42.

Значение для ОАЭ
Выпуск K2 Think подчеркивает стремление ОАЭ к лидерству в области искусственного интеллекта, демонстрируя способность страны разрабатывать передовые технологии и делиться ими с мировым сообществом. Подробнее в официальном анонсе G42.

Факты
👉 K2 Think содержит 32 миллиарда параметров и сопоставима по производительности с моделями, имеющими более 200 миллиардов параметров. Источник: новость The National.
👉 Модель достигает скорости обработки до 2000 токенов в секунду на платформе Cerebras. Подробности в пресс-релизе от Cerebras.

❗️K2 Think представляет собой значительный шаг вперед в области моделей рассуждения, сочетая эффективность, производительность и открытость, что способствует развитию глобального сообщества искусственного интеллекта.

Источники
MBZUAI и G42 представили K2 Think. Новости о запуске K2 Think от MBZUAI. Cerebras о производительности K2 Think.
7
Как мы трансформер обучали ☄️

Рекомендательная система Авито помогает пользователям быстрее находить релевантные объявления. Ранее для рекомендаций с главной страницы (U2I) мы использовали подход на основе агрегации эмбеддингов объявлений.

Недавно протестировали трансформерную модель для рекомендаций U2I и получили отличный результат: +2,3% целевых действий покупателей на главной странице.

📌 Решили написать об этом статью, в которой рассказали, что именно делали:

➡️ какие данные использовали,
➡️ как обучали модель,
➡️ как использовали модель в проде.

Статья будет полезна тем, кому интересны особенности практического применения трансформеров в крупномасштабных рекомендательных системах.

Читать статью →
Please open Telegram to view this post
VIEW IN TELEGRAM