Data Scientist | IT
1.94K subscribers
650 photos
3 videos
1 file
706 links
Добро пожаловать в клуб.

Полезные материалы из мира DS & ML на регулярной основе.

По всем вопросам: @godinmedia
Download Telegram
Когда O(n) мешает отбирать резюме в Росатоме

#почитать

Женатые и замужние — в топе: пока вы не уходите глубоко в анализ, этот быстрый фактор повышает ранг. Чем точнее ваша модель, тем меньше его вес.

Английский — плохо: знание английского почему-то работало как антипаттерн, снижая релевантность.

ОГУРЕЦ: кто-то зачем-то написал это слово в резюме. Оно попало в словарь модели и получило большой вес.

Иксель — люди пишут Excel как угодно, и само слово в правильном написании оказалось снижающим оценку.

К резюме может быть приложено много мусора. Самый эпичный пример: авиабилет Москва — Челябинск вместо резюме.

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥1
Как устроено глубокое обучение нейросетей

#почитать

Глубокое обучение - Способ обучения моделей на большом количестве данных, используя множество слоёв. Каждый слой сети обрабатывает информацию, "взвешивая" её при помощи параметров (весов и смещений), оставляя признаки или отбрасывая, посредством функций активации. Обучение происходит через итеративную (повторяющуюся) корректировку весов: сначала вычисляются градиенты ошибки с помощью обратного распространения (backpropagation), а затем веса обновляются при помощи оптимизаторов (SGD, Adam и др.).

Эта статья не ответит на все вопросы, но мы пробежимся по всем основам глубокого машинного обучения, что бы создать примерную начальную картину без сильного углубления в детали.

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥1👌1
Почему для обучения нейросетей используют именно видеокарты

#почитать

Начнем с того, что центральный процессор и графический процессор фундаментально отличаются по своей архитектуре и предназначению. CPU разрабатывались как универсальные вычислительные устройства, предназначенные для последовательной обработки данных с высокой тактовой частотой и сложной логикой ветвления.

В отличие от CPU, графические процессоры были рассчитаны на рендеринг изображений, который по своей природе требует параллельной обработки большого количества пикселей. Эта особенность и определила ключевую архитектурную черту GPU — наличие тысяч относительно простых вычислительных ядер вместо нескольких сложных, как у CPU.

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥1👌1
Структурированная генерация в LLM

#почитать

сегодня я расскажу про такое направление в LLM, как структурированная генерация.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥1👌1
Что у меня за распределение

#почитать

Нужно уметь переводить эту нагрузку в количество людей на линии. Для этого мы реализовали симулятор колл-центра. Для работы симулятора нужно понимать, как распределены те или иные случайные величины, и иметь численные характеристики соответствия наблюдаемых значений теоретическим распределениям. Это называется задачей (критериями) согласия: к какому теоретическому распределению вероятностей принадлежит данная выборка.

«Используй Колмогорова — Смирнова, да и все тут», — скажут мне. В принципе, да, но нет. Мы пойдем чуть дальше и попытаемся разобраться, как все устроено и какие есть ограничения. Расскажу, почему нельзя просто так применять критерии согласия, к каким это приводит ошибкам и как с этим быть.

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥1👌1
This media is not supported in your browser
VIEW IN TELEGRAM
🪐 Новые вакансии AI/ML

🚀 ML engineer / Python Developer в Wisebits, до 400 000 ₽
Подробнее ➡️
https://jobrocket.ru/ru/job/ml-engineer-python-developer-wisebits-94cefda2

🚀 ML разработчик (Python / Computer Vision) в Система AI видеоаналитики, oт 350 000 ₽
Подробнее ➡️
https://jobrocket.ru/ru/job/ml-razrabotchik-python-computer-vision-sistema-ai-videoanalitiki-e434fec6

🚀 ML Engineer в Kolesa group, 200 000 - 300 000 ₽
Подробнее ➡️
https://jobrocket.ru/ru/job/ml-engineer-kolesa-group-7f755111

🚀 AI-инженер в Green Wave Palace, до 240 000 ₽
Подробнее ➡️
https://jobrocket.ru/ru/job/ai-inzhener-green-wave-palace-45fd8dc5

🚀 Tech Lead в AI-стартап, oт 580 000 ₽
Подробнее ➡️
https://jobrocket.ru/ru/job/tech-lead-nda-ai-startap-435bdb0d

🚀 ML Engineer в HealthTech, 150 000 - 300 000 ₽
Подробнее ➡️
https://jobrocket.ru/ru/job/ml-engineer-nda-healthtech-dee3a37d

🚀 ML Engineer в Vital Partners, до 450 000 ₽
Подробнее ➡️
https://jobrocket.ru/ru/job/ml-engineer-vital-partners-c474323b

🚀 Product Manager (AI / Travel), oт 250 000 ₽
Подробнее ➡️
https://jobrocket.ru/ru/job/product-manager-ai-travel-nda-travel-b7597e3c

🚀 Data Scientist в Крупная ритейл компания, 270 000 - 300 000 ₽
Подробнее ➡️
https://jobrocket.ru/ru/job/data-scientist-krupnaya-ritejl-kompaniya-9f03c6c8

🚀 Нейрокреатор, oт 50 000 ₽
Подробнее ➡️
https://jobrocket.ru/ru/job/nejrokreator-nejrokreator-14e28203

Больше AI-вакансий здесь ⤵️
https://jobrocket.ru/ru?page=1&categories=aiml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥1👌1
fit() для новичков

#почитать

Эта статья для тех, кто только-только погружается в машинное обучение и ещё не до конца понимает, что скрывается за интересным вызовом model.fit(). Вы, возможно, уже настраивали ноутбуки, пробовали разные датасеты и, может, даже словили пару неожиданных ошибок — и это нормально.

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥1😁1
Геометрия ландшафта потерь и «понимание» нейросети

#почитать

Когда нейросеть обучается, ее функция потерь образует сложный ландшафт в пространстве параметров – с вершинами (области высокой ошибки) и долинами (области низкой ошибки). Свойства этого ландшафта – его кривизна, форма минимальных долин, спектр матрицы Гессе и пр. – могут многое рассказать о том, насколько модель усвоила закономерности данных. Идея состоит в том, что не все минимумы одинаковы: одни могут быть «плоскими» (широкими и неглубокими), другие «острыми» (узкими и крутыми). Считается, что геометрия такого минимума связана с тем, как хорошо модель обобщает знания за пределы обучающих примеров и насколько «осмысленно» (семантически обоснованно) она их усвоила. В данном обзоре мы рассмотрим, как характеристики ландшафта потерь служат индикаторами обобщающей способности, интерпретируемости, адаптивности модели и ее чувствительности к семантике данных, а также какие количественные метрики предложены для измерения этих свойств.

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4👍1👌1
Что бы я сделал, если бы сегодня начинал учить Data Science / ML

#почитать

Эта статья — не очередной «гайд по ML для новичков». Это мой личный взгляд на то, как бы я подошёл к обучению, если бы начинал с нуля уже сегодня, учитывая свой опыт работы в крупных компаниях, проваленные проекты, ошибки и победы.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥1👌1
Станьте Deep Learning Engineer с дипломом 👍

Голосовые помощники, распознавание лиц, рекомендации в приложениях, медицинская диагностика — нейросети используются уже во всех сферах бизнеса. Компании ищут DL-специалистов, чтобы точнее обучать и настраивать нейросети под свои запросы.
Освоить Deep Learning самостоятельно сложно, но ребята из Simulative нашли решение, где учёба становится понятной и структурированной, а все темы разбираются на практике 🔥

Simulative запускает программу профессиональной переподготовки «Инженер глубокого обучения нейросетей».

По итогам обучения вы получите:

🎓 Диплом гособразца

Официальный диплом о профессиональной переподготовке с квалификацией «Специалист по большим данным».

💯 Практика

Более 40 практических работ в формате симуляции реальной работы DL-инженера — всё пойдёт в портфолио.

🙌🏽 Онлайн обучение

Учитесь из любой точки мира, совмещая с работой, а доступ к материалам останется навсегда.

Курс подходит для специалистов любого уровня: новичок, аналитик, ML-инженер или выпускник — на программе опытные менторы помогут выстроить вашу персональную траекторию роста в Deep Learning.

Что вы освоите:
🟠Создание и обучение нейросетей с нуля
🟠Компьютерное зрение (Computer Vision)
🟠NLP (обработка текста)
🟠Генеративные модели
🟠MLOps и продакшн-подход

🕖 Старт обучения — 12 марта, количество мест на поток ограничено

Бронируйте место на курсе прямо сейчас и получите скидку 30%

😶ПОЛУЧИТЬ СКИДКУ НА КУРС
Please open Telegram to view this post
VIEW IN TELEGRAM
🙏5🤓2👍1
🛠
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥2👌1
Я дал 100 AI-агентам равный бюджет — они изобрели кредиты под 15%

#почитать

Дал 100 AI-агентам по 1000 токенов и одну цель — набрать максимум очков. Не программировал ни торговлю, ни кредиты, ни специализацию. Через двое суток агент №23 попросил у агента №91 займ под 15%. К 72-му часу — три банкира, 12 банкротов и коэффициент Джини 0.71. Внутри — код на Python, логи, распределение ресурсов. И честный разбор того в чем я до сих пор не уверен.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
😁7👍1🔥1
🌐Как я стала аналитиком данных и потратила на это 0 рублей

#посмотреть

История Даши

Смотреть на Ютубе ⏱️30 минут
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4👍1👌1
Лапка в Лапку: как мы пытаемся снизить возвраты животных из приютов с помощью NLP

#почитать

Четыре года я была волонтёром в приюте для животных. Это не про красивые фотографии с пушистыми котиками - это про ежедневный уход, уборку, лечение, адаптацию и работу с людьми. Самое тяжёлое - видеть стресс у «вернувшихся» животных. Ещё вчера у них был человек, дом, надежда, а сегодня снова клетка, шум и тревожное ожидание. Некоторые так и не находят семью. Самое страшное для животного - прожить жизнь и так и не получить собственного дома хотя бы на один день.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥2👌1
Инфуры. Методы достижения AGI

#почитать

Я написал нейронку, апроксимирующую правила игры жизнь наблюдая за динамикой системы изнутри, и видимо человеческий мозг работает так же...

В этой статье я хочу поделится своим взглядом на математически-информационную природу разума, а так же предложить свою систему терминов и понятий в контексте теории вычислимой вселенной, чтобы выделить перспективные методы создания реального AGI.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👍1
«Я всё сломал за выходные»: как мы учим LLM писать в стиле конкретного СМИ

#почитать

про техническую задачу, с которой мы столкнулись: как заставить LLM писать текст так, чтобы его нельзя было отличить от написанного конкретной редакцией. Не «хороший текст», не «грамотный текст», а такой, который звучит как этот конкретный городской портал или этот Telegram-канал.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Метрики для задач NLP. Часть 2. Генерация текста: BLEU, ROUGE, METEOR, BERTScore

#почитать

В этой статье будет рассказано о популярных метриках оценки для задач генерации текста: BLEU, ROUGE, METEOR, BERTScore. Рассказ будет сопровождаться визуализацией, примерами и кодом на Python.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1
Станьте Deep Learning Engineer с дипломом 👍

Голосовые помощники, распознавание лиц, рекомендации в приложениях, медицинская диагностика — нейросети используются уже во всех сферах бизнеса. Компании ищут DL-специалистов, чтобы точнее обучать и настраивать нейросети под свои запросы.
Освоить Deep Learning самостоятельно сложно, но ребята из Simulative нашли решение, где учёба становится понятной и структурированной, а все темы разбираются на практике 🔥

Simulative запускает программу профессиональной переподготовки «Инженер глубокого обучения нейросетей».

По итогам обучения вы получите:

🎓 Диплом гособразца

Официальный диплом о профессиональной переподготовке с квалификацией «Специалист по большим данным».

💯 Практика

Более 40 практических работ в формате симуляции реальной работы DL-инженера — всё пойдёт в портфолио.

🙌🏽 Онлайн обучение

Учитесь из любой точки мира, совмещая с работой, а доступ к материалам останется навсегда.

Курс подходит для специалистов любого уровня: новичок, аналитик, ML-инженер или выпускник — на программе опытные менторы помогут выстроить вашу персональную траекторию роста в Deep Learning.

Что вы освоите:
🟠Создание и обучение нейросетей с нуля
🟠Компьютерное зрение (Computer Vision)
🟠NLP (обработка текста)
🟠Генеративные модели
🟠MLOps и продакшн-подход

🕖 Скорее записывайтесь, количество мест на поток ограничено!

Бронируйте место на курсе прямо сейчас и получите скидку 30%

😶ПОЛУЧИТЬ СКИДКУ НА КУРС
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1👌1
Топ-6 бесплатных AI-сервисов для генерации 3D-моделей

#почитать

Вспомните, сколько времени раньше уходило на то, чтобы просто разобраться в интерфейсе Blender или Maya. Еще несколько лет назад мир три де графики казался закрытым клубом для избранных: нужно было годами изучать топологию сетки, возиться с развертками и часами ждать рендера одной сцены. Сегодня этот порог входа практически исчез. Искусственный интеллект добрался до полигонов и текстур, превращая процесс моделирования из тяжелого ремесла в увлекательный диалог с машиной.

Мы решили проверить, насколько далеко зашли технологии, и устроили тест драйв современным алгоритмам. Чтобы задача не казалась скучной, мы выбрали самую ностальгическую тему: попробуем воссоздать в объеме героев мультфильмов нашего детства. Это отличный способ увидеть, как нейросети справляются с узнаваемыми образами и насколько точно они передают детали, которые мы помним с малых лет.

В этом обзоре вы найдете пять сервисов, которые позволяют генерировать модели здесь и сейчас. Главный критерий отбора: честный бесплатный доступ. Мы специально искали площадки, которые не требуют привязки карты и не прячут результат за бесконечными подписками. Только чистые технологии и немного магии генерации.

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1👌1
Почему антифрод-системы блокируют ваши покупки, но пропускают мошенников на миллиарды

#почитать

Почему ваша банковская карта может быть заблокирована, когда вы покупаете кофе в другом городе, хотя мошенники умудряются отмывать миллиарды? В этой статье мы подробно рассмотрим, как работают системы защиты от мошенничества, объясним, что такое компромисс между прецизионностью (точностью) и полнотой на понятном примере, проанализируем потерю $3,1 миллиарда у TD Bank и поговорим о том, как банки и киберзлоумышленники соревнуются, используя Adversarial AI (враждебный искусственный интеллект).

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Как использовать AI для анализа метаданных в СУБД и BI: практика применения LLM и RAG 🤖

Во многих компаниях data catalog уже внедрен, но не работает как инструмент. Метаданные устаревают, доверие к данным падает, аналитики продолжают искать информацию вручную, а команда DWH остается перегруженной.

📆 9 апреля в 11:00 (МСК) приглашаем на бесплатный онлайн-вебинар «Как использовать AI для анализа метаданных в СУБД и BI: практика применения LLM и RAG», где разберем, как изменить этот подход с помощью AI.

👨‍💻 Спикер: Павел Хамрин — руководитель AI-направления Lasmart. Более 10 лет в аналитике и DWH.

В программе вебинара:
— почему data catalog не работает на практике: неактуальные метаданные, отсутствие доверия, перегрузка команды;
— как LLM автоматизирует описание таблиц, дашбордов и бизнес-логики без ручной поддержки;
— как работает RAG для поиска данных, контекста и анализа связей (data lineage);
— архитектура решения и roadmap внедрения без перестройки текущих систем.

Кому будет полезно:
Data-инженерам, CTO, CDO, Head of BI и DWH, Data-аналитикам и Data Scientist

🔗 Регистрация по ссылке