Как использовать BigARTM, чтобы улучшить результат LDA

В предыдущем посте разбиралась теоретическая база ARTM, сейчас ознакомимся с использованием.

Так как с установкой на Windows могут возникнуть проблемы, то в первом источнике отдельная статья про установку на случай, если не получится установить простым путем.

В основной статье подробно разбирается работа библиотеки в несколько этапов:
🟠 установка
🟠 стемминг
🟠 удаление стоп слов
🟠 выделение словосочетаний
🟠 моделирование

Задача ранжирования. Метрики

Открываем блок постов про задачу ранжированием статьей про описание задачи и метрики, оценивающие качество.

Задача ранжирования сейчас возникает повсюду: сортировка веб-страниц согласно заданному поисковому запросу, персонализация новостной ленты, рекомендации видео, товаров и т.д.

Ранжирование — задача сортировки набора элементов из соображения их релевантности.

Ранжирование. Пример пайплайна с точки зрения бизнеса

Чтобы правильно применять модель, в первую очередь нужно понимать как это поможет бизнесу и нужно ли это вообще - обо всем в источнике.

Завтра в постах рассмотрим гайды и примеры реализаций некоторых подходов.

Будущим специалистам по DS или аналитикам данных важно подружиться с математикой🤜 🤛

Математика умножит ваши шансы на хороший оффер. И обычно именно на этих позициях ценится классическое образование в хорошем ВУЗе.

Но а что делать тем, кто не знал в 18 лет, что свяжет свою жизнь с DS?

Для этого есть полугодовой курс от преподавателей МГУ! Он объемный и довольно сложный, так как соответсвует университестким стандартам.

Подробности – https://proglib.academy/mathspro?utm_source=tg_ds

Там все по канонам классического образования:

1. Лекции по 1,5 часа.
2. Много практики, подробная обратная связь от преподателей.
3. Общий чатик со студентами, где можно получить поддержку от сокурсников.

Посмотрите примеры занятий

🤖📄 ChatGPT: эффективная суммаризация с помощью LLM

В этой статье разберём суммаризацию с помощью LLM на примере обработки отзывов в e-commerce.

🔗Читать статью
🔗Зеркало

🎓💼 ТОП-9 не самых очевидных компаний для стажировки в ИТ

Везде просят опыт работы... Но где его взять? Как раз об этом сейчас и расскажем!

🔗Читать статью
🔗Зеркало

LambdaMART - база в задаче ранжирования

Продолжая тему с задачей ранжирования, в первую очередь стоит ознакомиться с применением алгоритма LambdaMart - алгоритм классического машинного обучения, оптимизирующий ранжирование объектов, учитывая их релевантность, и использует функцию потерь LambdaLoss.

"Lambda" представляет собой весовой коэффициент, который определяет важность каждого объекта (например, веб-страницы или продукта) в обучающем наборе данных для задачи ранжирования.

Гайд в источнике.

🐍 Дорожная карта Python-разработчика в 2023 году

Расскажем, что и в какой последовательности нужно изучить, чтобы стать Python-джуном и найти первую работу.

Читать статью

💬🦙 LlamaIndex: создаем чат-бота без боли и страданий. Часть 3

Завершаем исследование фреймворка LlamaIndex. В этой части разбираемся с ретриверами, которые обеспечивают различные способы извлечения релевантного контекста из индексов документов.

🔗 Читать статью
🔗 Зеркало

💰Adobe повышает цены на свои продукты после внедрения ИИ-движка

В своем блоге представители компании пишут, что создали много творческих инструментов, включая Denoise в Lightroom, Frame.io для Creative Cloud в Adobe Premiere Pro и Adobe After Effects, а также Share for Review в Photoshop и Illustrator. И поэтому цены повысятся с 1 ноября 2023 года для Америки и Европы.

Вот часть нововведений в Creative Cloud:

👾Генеративный искусственный интеллект в Photoshop и Illustrator. Generative Fill и Generative Expand в Photoshop , Generative Recolor в Illustrator.
🎙Новые функции искусственного интеллекта в Premiere Pro в бета-версии. Например, Enhance Speech удаляет шум из голосовых записей.
🖌3D-рабочая среда и кисть для ротоскопии в After Effects в бета-версии — теперь можно текстурировать, освещать, затенять и визуализировать 3D-модели внутри After Effects. Кисть для ротоскопии с улучшенным искусственным интеллектом позволяет вырезать объекты.
🌐Участники Creative Cloud теперь имеют доступ к новому веб-приложению Firefly — с его помощью можно создавать контент для любого проекта.

#новости

Что лучше — нанять тимлида из сторонней компании или вырастить самостоятельно? Как правильно выбрать подходящего на эту роль сотрудника?

На эти и другие важные вопросы отвечает руководитель аналитики в Авито Глеб Белогорцев. В своем гайде он подробно рассказывает, как понять, какой именно тимлид нужен компании, как распознать потенциального руководителя в числе сотрудников и кого точно не нужно брать на роль тимлида.

Если вы хотите найти тимлида, который сможет качественно управлять командой, вам просто необходима эта инструкция! Переходите по ссылке и узнавайте уникальную информацию от опытного специалиста!

Реклама.ООО "КЕХ ЕКОММЕРЦ" ИНН 7710668349 erid: Kra23e76V

Базовые модели ML и приложения

Это наш новый курс для начинающих в теме машинного обучения🎉

🔹 Познакомитесь с основными моделями машинного обучения

🔹 Научитесь выбирать и применять подходящие tree-based модели

🔹 Получите основу для дальнейшего изучения более сложных нейронных сетей

Подробности – https://proglib.io/w/67c59870

Кому будет полезен курс?

Начинающим в IT. Тем, кто выбирает направление и хочет попробовать себя в ML

Математикам. Увлекаетесь математикой и хотите перейти от теории к практике, а также научиться решать реальные бизнес-задачи

Ну и главное, до конца сентября вы сможете получить этот курс бесплатно🤯

Пока ссылки нет на основном сайте, мы открываем продажи супер-акцией для своих 🙌 – https://proglib.io/w/67c59870

Переходите на сайт, читайте подробности и заходите на обучение по самым выгодным условиям!

Руководство по языковым моделям

Начиная с основополагающих концепций, Джереми Ховард представляет архитектуру и механику, которые обеспечивают работу этих систем искусственного интеллекта. Затем он углубляется в критические оценки GPT-4, освещает практическое использование языковых моделей при написании кода и анализе данных, а также предлагает практические советы по работе с OpenAI API.

Смотреть видео

Очередной #дайджест по Python:

🐍 Hadoop в любой непонятной ситуации. Как выжить кластеру в большой ML команде
Какие сложности могут возникать при работе с кластером Hadoop и какие есть методы для их решения (конфигурация, мониторинг, склеивание мелких файлов, память кластера)

🐍 Многопоточность в Python: очевидное и невероятное
Как устроена многопоточность в Python, потоки, примитивы синхронизации и зачем они нужны.

🐍 Проектирование веб-приложений с помощью Python и Flask
Для каких проектов лучше всего подходит Flask, а для каких — Django?

🐍 Как настроить сбор статистики и автоматическое отключение пользователей WireGuard в ispmanager с помощью Python и API
В статье автор рассказывает о том, как он, будучи ламером, смог достигнуть нужных себе целей и изучить пару вариантов взаимодействия с ispmamager.

Оптимизация вашего LLM в производстве

В этом сообщении блога рассмотрены наиболее эффективные на момент написания этого сообщения методы решения этих проблем для эффективного развертывания LLM.

Читать статью