Cтатистика Байеса в ML для самых маленьких

#почитать

Байесовская статистика — это что-то вроде античного оракула в современном мире данных. Она не просто предсказывает будущее, она делает это с потрясающей уверенностью, опираясь на всё, что знает (или думает, что знает) о прошлом. Представьте себе модель машинного обучения, которая не довольствуется лишь холодными числами и вероятностями, полученными из текущих данных.

Она как опытный инвестор, который всегда держит в уме свой предыдущий опыт, но готов быстро адаптироваться, как только рынок (то есть данные) даёт ему новую информацию. Именно здесь в игру вступают априорные и апостериорные вероятности — два основных инструмента, при помощи которых Байесовский подход разворачивает свою магию.

Априорная вероятность — некий изначальный набор гипотез, который может быть основан на знаниях, догадках или статистике. Например, если вы обучаете модель для распознавания мошенничества в финансовых операциях, ваш априор может быть основан на данных предыдущих лет, когда мошенничество составляло, скажем, 5% от общего числа операций.

⏱Читать статью

Предиктивная аналитика надёжности оборудования

#почитать

Для насосного оборудования такие предсказания могут включать в себя оценку вибрации, температуры, давления, уровня жидкости и других критических параметров. Благодаря этому становится возможным планировать ремонты и замену деталей таким образом, чтобы минимизировать время простоя и затраты на обслуживание.

⏱Читать статью

▫️Как обрабатывать, фильтровать и генерировать текстовые данные для ML моделей

#посмотреть

DATAMeetup.

⏱Смотреть на YouTube ⏱️25 минут

Компьютерное зрение на С++: подключаем ML-библиотеки и обрабатываем результаты поиска объектов

#почитать

•Как подключить к проекту библиотеки машинного обучения PyTorch и NCNN.
•Как получить модели YOLOv5 и YOLOv4 для использования на мобильном устройстве.
•Как реализовать инференс моделей для обнаружения объектов.
•Как обработать результаты работы моделей YOLO, реализовав алгоритмы Non-Maximum-Suppression и Intersection-Over-Union.

⏱Читать статью

Почему оценить стоимость датасета не так просто, как кажется

#почитать

Представьте, что вы получили заказ на разметку датасета из 1,000 изображений. Вы берете 20 картинок из сета, проводите тесты и получаете примерную стоимость 1 изображения. В итоге вы оцениваете проект, основываясь на количестве изображений, и устанавливаете цену за каждое. Однако, когда данные приходят, оказывается, что на каждом изображении не один объект к разметке, как было на тестах, а десятки! В итоге вы тратите гораздо больше времени и средств, чем планировали в начале.

Как избежать таких распространенных ошибок и защитить свой бизнес от неожиданных затрат и задержек? Давайте обсудим, какие ошибки чаще всего возникают при оценке проектов по сбору и разметке данных для машинного обучения, и на что важно обращать внимание, чтобы гарантировать корректную оценку ваших проектов.

⏱Читать статью

Предвзятость русскоязычных LLM

#почитать

Как выглядит типичный день человека: его пол, возраст, профессия и типичный распорядок дня по мнению нейросетей от Яндекса, Сбера, Т‑Банка.

⏱Читать статью

Чем занимаются дата-сайентисты в Авито

#почитать

Статья будет интересна начинающим и мидл-дата-сайентистам, а также тем, кто только хочет войти в профессию и ищет образовательные программы.

⏱Читать статью

State Space Models. Mamba

#почитать

Ни для кого не секрет, что доминирующей на данный момент архитектурой в области Deep Learning являются трансформеры. Они произвели настоящий фурор и стали основой для самых известных LLM. На данный момент они используются почти во всех фундаментальных моделях, от тех, что с открытым исходным кодом, таких как Mistral, до закрытых, таких как ChatGPT. Однако, трансформеры не лишены некоторых недостатков. Сегодня мы разберём архитектуру под названием Mamba, которая претендует на то, чтобы стать соперником трансформеров и решить их уязвимости.

⏱Читать статью

ML-тренды рекомендательных технологий

#почитать

Главная задача рекомендательной системы — предоставить пользователю контент, фильм, трек, книгу, товар или информацию, которые могут заинтересовать его в данный момент. Сложность в том, что у нас нет явного запроса пользователя, как в поиске, есть только история его взаимодействий с объектами и наша надежда на то, что мы верно распознали его скрытые желания.

⏱Читать статью

LLaDA: The Diffusion Model That Could Redefine Language Generation

#почитать

How LLaDA works, why it matters, and how it could shape the next generation of LLMs.

⏱Читать статью

Как мы запустили автоматическую модерацию видео в объявлениях Авито

#почитать

В статье рассказываю, с какими трудностями мы столкнулись при модерации видео в условиях небольшого количества данных, и как их решили. Думаю, материал будет полезен всем, кто занимается похожими задачами в крупных продуктовых компаниях.

⏱Читать статью

Семь каверзных вопросов от преподавателей школы аналитиков данных МТС

#почитать

Вместе со своими коллегами — преподавателями в Школе аналитиков данных от МТС — подготовил семь каверзных вопросов, с которыми могут столкнуться начинающие специалисты в области Data Science, ML и Big Data.

⏱Читать статью

Может ли простейшая нейросеть найти математическую закономерность в данных

#почитать

В этой небольшой статье мы научим нейросеть решать задачу умножения перестановок длины 5 (группа S_5) и визуализируем результаты обучения с помощью методов проекции t-SNE (и понизим размерность PCA) и алгоритма UMAP. Мы убедимся в том, что даже элементарная модель может "неосознанно" провести бинарную классификацию перестановок. Однако с более тонкой задачей кластеризации по цикловой структуре модель будет испытывать затруднения.

⏱Читать статью

🪐 Новые вакансии AI/ML-инженеров


🚀 ML-инженер в ИИ-платформа, до 400 000 ₽
Подробнее ➡️
https://jobrocket.ru/job/ml-inzhener-ii-platforma-516edaf2

🚀 Python AI разработчик в Data World, oт 200 000 ₽
Подробнее ➡️
https://jobrocket.ru/job/python-ai-razrabotchik-data-world-972992ec

🚀 Python разработчик в iFellow, oт 230 000 ₽
Подробнее ➡️
https://jobrocket.ru/job/python-razrabotchik-ifellow-a4107c40

🚀 Python Developer в Викс.АИ, oт 100 000 ₽
Подробнее ➡️
https://jobrocket.ru/job/python-developer-viksai-2495a15e

🚀 Technical Solutions Engineer в GitMax, до 400 000 ₽
Подробнее ➡️
https://jobrocket.ru/job/technical-solutions-engineer-gitmax-081d60a4

🚀 ML Engineer в GeoStartup, 400 000 - 450 000 ₽
Подробнее ➡️
https://jobrocket.ru/job/ml-engineer-geostartup-b8147f8f

🚀 Аналитик данных / Data-инженер в Команда Искендерова, 60 000 - 200 000 ₽
Подробнее ➡️
https://jobrocket.ru/job/analitik-dannyh-data-inzhener-komanda-iskenderova-f10b7424

🚀 Research NLP Engineer в Сколтех, 150 000 - 250 000 ₽
Подробнее ➡️
https://jobrocket.ru/job/research-nlp-engineer-skolteh-1e9a0296

🚀 Продуктовый аналитик в МТС, oт 90 000 ₽
Подробнее ➡️
https://jobrocket.ru/job/produktovyj-analitik-mts-a790d3e1

🚀 AI/ML Developer (LLM & RAG), 120 000 - 150 000 ₽
Подробнее ➡️
https://jobrocket.ru/job/aiml-developer-llm-and-rag-nda-154b1e3f


Больше вакансий дата-инженеров здесь ⤵️
https://jobrocket.ru/?categories=aiml

В ожидании лучших 3D датасетов для ML

#почитать

Для одного из своих проектов, я погрузился в чтение методов генерации трехмерных сцен и анимированных моделей. Не слишком удивительным фактом оказалось, что подавляющее большинство из них опираются на одну и ту же идею переноса градиента из генератора плоских изображений в дифференцируемое трехмерное представление модели. Меня заинтересовал вопрос — неужели плоские изображения являются наилучшим промежуточным этапом для данной задачи и нет формата лучше, такие как облака точек или гауссианы? Мои поиски наборов данных и перспектив их массового появления я хотел бы описать в этой статье.

Прежде чем говорить о том, какие данные я ищу, нужно добавить немного мотивации. В задачах машинного обучения наборы данных можно разбить условно на те, которые получаются в результате целенаправленного сбора данных, либо те, что получаются в результате попыток обработки большого объема данных сгенерированных «в природе». «Горький урок», подтвержденный взлетом языковых и генеративных моделей для изображений, звука, голоса и видео говорит, что для общих задач в долгой перспективе большой объем легкодоступных данных оказывается более эффективным, чем сложные специализированные решения.

⏱Читать статью

Создание плагина для IntelliJ IDE с подключением GigaChat для проверки качества кода

#почитать

Разработка плагина началась с идеи объединить возможности искусственного интеллекта с инструментами для разработки, чтобы получать полезные рекомендации по коду непосредственно в среде разработки. Поскольку GigaChat способен не только понимать контекст, но и предоставлять рекомендации по улучшению кода, я решил, что интеграция его в IDE для автоматического анализа и проверки качества кода станет полезным инструментом для начинающих разработчиков точно.

Итак, для реализации идеи потребуется создать плагин для IDE, после запуска которого при выделении блока коде и нажатии комбинации клавиш "CTRL+ALT+A" GigaChat проанализировал бы код.

⏱Читать статью

Продуктовый матчинг на маркетплейсе: что происходит под капотом сравнения товаров

#почитать

Картинки – одна из основополагающих характеристик товара, которая помогает делать сопоставление. Часто именно изображение помогает принять финальное решение: являются ли два товара идентичными или нет. Значит, в матчере должна быть модель (или несколько), которые умеют хорошо различать изображения.

Прежде всего надо понять, в какой постановке мы будем дообучать модель для изображений. Постановка мультиклассовой классификации здесь не годится – ассортимент товаров исчисляется миллионами, и делать полносвязную классифицирующую “голову” таких размеров может разве что GPU-камикадзе.

Вторая проблема – огромное количество очень похожих товаров и, как следствие, очень похожих изображений.

⏱Читать статью

Автоэнкодеры простыми словами

#почитать

Итак, прежде всего, автоэнкодер — это тип нейронной сети, используемый для обучения без учителя. Но не любой, а такой, который может кодировать и декодировать данные, подобно ZIP-архиватору, который может сжимать и разжимать данные. В машинном обучении он используется для уменьшения размерности или сжатия данных, а также для удаления шума с изображений.

Однако он делает это умнее, чем ZIP-архиватор. Он способен понять самые важные особенности данных (так называемые латентные, или скрытые признаки) и запоминает их вместо всех данных, чтобы затем восстановить что-то близкое к оригиналу из приблизительного описания. На изображениях, например, он может запомнить очертания обьектов или относительное положение объектов друг к другу. Это позволяет добиться интересного сжатия с потерями.

⏱Читать статью