Добрый день, коллеги!

Начну с быстрого апдейта - как вы знаете, у нас сейчас идет финальное соревнование по курсу и вчера ночью для него был выложен новый бейзлайн на основании TabularNLPAutoML пресета, использующий для решения задачи текстовые колонки (в отличие от первого бенчмарка, в котором мы их дропали).

Также хотели бы попросить вас поделиться своим мнением на каггле и в комментариях к этому сообщению о реализации новой функции LIghtAutoML - возможности получить описание структуры финальной модели (да, это то, о чем нас так часто просили), полученной при помощи TabularAutoML и TabularUtilizedAutoML пресетов. Более подробно со скриншотами, собранным WHL-файлом и туториалом можно почитать в этом посте.

И мы продолжаем думать о том, как сделать лог обучения более удобным и наглядным - будем рады любой обратной связи и идеям на эту тему.
Привет, коллеги!

🔥 🔥 🔥 Мы все ждали и это наконец случилось - на канале ODSAIRu появились записи разборов наших туториалов LightAutoML для датафеста, а также видео, в котором обсуждается тема бенчмарков AutoML решений.

1. Репозиторий с туториалами из видео
2. Туториал BlackBox (Рыжков Александр), ноутбук
3. Туториал WhiteBox (Вахрушев Антон), ноутбук
4. Туториал NLP (Симаков Дмитрий), ноутбук
5. Видео про бенчмарки AutoML (Дамдинов Ринчин)

🎓 Также, поскольку у нас сейчас в самом разгаре участие в летней школе ODS (если вдруг пропустил, жми сюда за подробностями), то финальное соревнование по курсу было продлено до 6 августа включительно. Подключиться к соревнованию и побороться за топовые места можно тут.
Хей 😎Лето перевалило середину, и все отдыхают как умеют 🏖 👩‍💻🧑‍💻
А мы напоминаем, что у нас в самом разгаре 👉 LAMA: LightAutoML Summer School Of Code!

Специально для участников мы предлагаем индивидуальную менторскую программу от нашей команды! Будем рады заполнению небольшого опроса, чтобы могли связаться с вами, узнать друг друга получше, помочь с выбором и реализацией задач!

Нас ты всегда можешь найти в ODS slack-канале #tool_lama или в специальном чате этого канала!

🚀Используй лето для развития себя и open source🎯!
От нас уважение, лайки, и немного призов 🤫
Всем привет!
🎓 Для тех, кто находится в начале карьеры, у нас в команде открыты оплачиваемые стажерские позиции.
Есть как в команде LightAutoML, так и во второй группе, которая занимается библиотекой рекомендательных систем RePlay. 
Если у вас есть интерес к стажировке, пишите @nonflame
СТАЖИРОВКА🎯
Доброго субботнего дня! Появилось много вопросов по стажировкам. Решили опубликовать самые частые!

1. Какая занятость?
Мы ожидаем кандидатов на фулл-тайм (40 часов в неделю). Обычно длится от 3 до 6 месяцев. При наличии ставок и ваших успехов можно будет перебраться потом к нам на постоянное место работы.

2. Удаленно или в офисе?
можно обсудить разные варианты.

3. Что мы ожидаем от кандидатов?
проактивность, уверенные знания и навыки в DS, python для стартового уровня, желание развиваться в области прикладных исследований. У нас есть разные задачи для ваших талантов. У нас можно не только выпилить новый функционал для библиотек, но и реализовать себя людям с чувством прекрасного: умеете хорошо и системно писать документацию, красиво оформлять кернелы с EDA? Пишите, присылайте примеры.

4. Что нужно сделать для отбора?
Прислать мне резюме с #стажировка в сообщении, сделать сабмит (доступный по кнопке Late Submission) в наш финальный сорев и сделать кернел на Kaggle, расшарить его на профили Александра Рыжкова или Дмитрия Симакова

5. Что делать, если я очень хочу сделать что-то полезное для LightAutoML, однако не могу тратить время фулл-тайм?
До конца лета у вас есть отличная возможность побыть членом нашей команды в качестве участника Летней школы LightAutoML & ODS и даже побороться за главные призы - гранты по 80К в каждом хакатоне. В целом мы будем очень рады, если кто-то хочет просто контрибьютить. Подробности в этом посте

6. Есть ли у вас вакансии в штат?
И да! у нас в центре открыты вакансии DS уровня middle+, ML Engineer (spark!) middle+ в команды RecSys & AutoML. Отбор серьезный.
Если будет интересно многим, попозже опубликую ссылки на вакансии здесь.

Всем мягких лам🦙❤️ и продуктивных выходных!
!ВАКАНСИЯ Middle+ / Senior DS RecSys

Привет! как обещали, по запросам интересующихся будем выкладывать вакансии в наши команды в Лабе.

Итак!
Вакансия: Data Scientist в Рекомендательные Системы
Уровень: Middle / Senior
Локация: Москва

О нас:
Лаборатория применяет научные достижения в практических задачах: проводим исследования, пилим новые методы, пишем статьи, делаем пилоты с продуктовыми командами Сбера и экосистемой. В лаборатории много задач и они разные -- тексты, эмбеддинги, медицина и даже генетика. Соседняя команда нашего центра инструментов ml делает опенсорс библиотеку automl (https://github.com/sberbank-ai-lab/LightAutoML). В лабе работает 50+ крутых ребят, из которых 2 грандмастера и 4 мастера kaggle, 7 Ph.D/ канд наук, 4 Профессора/преподавателя ВШЭ, МФТИ, NYU.
В лабораторию стоит идти, если хочется не только применять стандартные методы, но и погружаться в ресерч, реализовывать модели из статей и придумывать новые.

Задачи:
Наша команда специализируется на рекомендательных системах. Развиваем свою recsys библиотеку, разрабатываем autorecsys и двухуровневые модели, делаем пилоты с другими подразделениями Сбера и экосистемы. Команда пока небольшая, поэтому общение простое и неформальное, без лишней бюрократии. Если есть желание сделать что-то из конкретной области (sequence based recommendation, графовые методы, fairness) или применить recsys в необычной постановке -- всё обсуждаемо. Если вы специалист в Spark и проявляете интерес к рекомендациям, то для вас тоже есть интересные задачи.

Формат работы:
Сейчас работаем удаленно, в перспективе -- смешанный режим работы.
Офис в Москве в новом здании на Кутузовском на 38 этаже.
Возможна работа из офиса в Санкт-Петербурге.
Стэк:
Мы пишем на python, используем стандартный стек библиотек (pandas, numpy, sklearn), для сеток используем pytorch, для обработки больших данных пользуемся pyspark.

Уровень:
middle/senior, необходим опыт работы с recsys и/или большое желание этим заниматься.

Резюме просьба высылать на адрес: OYYanukovich@sberbank.ru с темой “Лаборатория ИИ. DS в команду RecSys”

Прочие плюшки:
💊ДМС
🏋️‍♂️Тренажерный зал в офисе, с крутым видом на Москву
🛋OpenSpace с диванчиками
🍜Отличная столовая

Если есть вопросы, пишите под постом
!ВАКАНСИЯ Middle+ ML/DATA Engineers (SPARK)

Продолжаем тему с вакансиями в наши группы.

Мы приглашаем опытных ML/Data Engineers в Лабораторию искусственного интеллекта.
Наша цель – научно-практические исследования, имеющие широкий спектр применения в различных продуктах не только банка, но и его дочерних компаний, а в ряде случаев и вне экосистемы. Сбербанк делает большую ставку на научную составляющую технологий, а серьезные научные результаты требуют серьезных инженерных решений.
В Центр AI инструментов лаборатории, занимающийся разработкой в области технологий AutoML и инструментов для создания рекомендательных систем, требуется специалист, который поможет решить алгоритмические и технологические задачи, связанные с развитием и внедрением наших решений.
 
Чем вы будете заниматься:
- инженерная часть разработки (реализация распределенных версий пайплайнов инструментов, оптимизация инференса как классических, так и DL моделей, cоздаваемых в автоматическом режиме)
- взаимодействие с прикладными командами по  внедрению разработанных инструментов (в том числе на платформе SberCloud)
 
Мы ожидаем от вас:
- хорошее знание Python (опыт программирования на C++ и знакомство с CUDA  большой плюс)
- опыт работы с решениями экосистемы Hadoop, владение PySpark  (Scala как плюс)
- высокая техническая грамотность (алгоритмический базис, опыт решения архитектурных проблем)
- желание заниматься инженерной и инфраструктурной стороной научных исследований, интерес к разработке технологий
- базовое умение поднимать и настраивать сервера, пользоваться Linux shell
- понимание базовых ML алгоритмов 
- опыт проведения code review
- ML DevOps (Airflow, Docker, Kubernetes и прочее) как плюс
 
 
Условия:
-  масштабные проекты, участие в международных конференциях
- высококвалифицированный коллектив
- конкурентный уровень компенсации
- участие в развитии опенсорс
- корпоративное обучение, льготные условия кредитования
- дмс

Писать: OYYanukovich@sberbank.ru с темой “Лаборатория ИИ. ML-инженер в команду AutoML”

Если будут вопросы, пишите под этим постом)
Коллеги, всем привет и спокойного окончания рабочей недели!

По просьбам трудящихся в четверг 26 августа в 19:00 пройдет вебинар, на котором выступят участники, призеры и победители финального соревнования по нашему курсу с презентацией своих решений.

Будем рады видеть всех!
Всем привет, коллеги!

Напоминаю, что сегодня вечером в 19:00 победители и призеры финального соревнования расскажут о своих решениях. Своими идеями и опытом поделятся Сергей Кутепов, Ринат Курбанов, Андрей Никитин, Михаил Кузнецов и Алерон Миленькин.

Также на правах автора датасетов и постановки задачи грандмастер Kaggle и мой коллега Антон Вахрушев расскажет, что на самом деле скрывалось в недрах задачи 🙈

Ждем всех на нашей ML-тренировке - будет интересно 🔥🔥🔥

Ссылку для подключения направим дополнительно.
Доброго вечера! Поздравляем с Днем Знаний.
Ловите запись с разбором решений нашего соревнования по Практическому курсу LightAutoML!

Большое спасибо победителям и участникам за предоставленные решений, получилось очень круто и интересно!

Уверены, какие-то хаки можно будет использовать в бою ⭐️🚀, как и LAMA!
Forwarded from ODS Events
​​В 17.30 (МСК) у нас запланированы вечерние посиделки в комнате SBER AI LAB BAR 🍸🍹.

Вас ждут рассказы о работе в Лабе искусственного Интеллекта Сбера: о командах лаборатории, выпускающих open source продукты Сбера, байки от Руководителя центра инструментов машинного обучения Лабы Максима Савченко за 12+ лет его работы в Сбере, узнаете о наших новинках в мире open source, наших вакансиях и пообщаетесь с Тим Лидами команд AutoML & RecSys. Раскроем секреты, как задачи банка и экосистемы превращаются в научные исследования и публикации на конференции A+, а потом трансформируются в «лопаты» для DS, упрощающие им ежедневный труд! И конечно, мы с радостью ответим на вопросы по нашему курсу LightAutoML. Всем мягких лам🦙!

📍https://live.ods.ai/, пароль: odscoursefest1
Привет. Сегодня с 11.00 до 12.00 подводим итоги Летней школы LightAutoML с ODS.ai
Forwarded from ODS Events
​​Суббота получилась очень насыщенной, но сегодняшняя программа будет не менее интересной! 😉

Ждём вас в 10:00 (МСК) на Data Завтраке с Алексеем Натёкиным в нашем спейсе, а в 11:00 начнём подводить итоги Летней школы ODS #1.

Подробное расписание активностей 👉 тут. Присоединяйтесь!

📍https://live.ods.ai/, пароль: odscoursefest1
🔥🎓⭐️ Воу! Наступила осень🍁🍂, а значит состоялось подведение итогов первой Летней школы ODS.ai Summer of Code, где LightAutoML участовал в стриме OpenSource проектов. 

Наши хакатоны были для сильных духом и нацеленных на плодотворную разработку и реализацию нетрививальных задач. Благодарим участников, которые довели свои задачи до конца. 

Поздравляем победителей 🥇🏆 По условиям летней школы для победителей был выделен призовой фонд, который и достается контрибьюторам за 1 место и дополнительный призовой фонд за лучший проект!💰🤑

Победители и призы:

- 1 место в хакатоне "Дистилляция", грант на 80К + фирменный мерч - 🥇💰Андрей Никитин @asnikitin

- 1 место в хакатоне "Произвольная задача" + лучший проект SoC'21 LightAutoML, грант на 130К + фирменный мерч - 🥇💰Антон Михалев @Anton_Mikhalev


Для тех, кому интересно участовать в наших активностях и получать разные призы, подписывайтесь на Хаб и следите за новостями
Доброе утро, коллеги!

На прошедших выходных завершился хакатон RaifHack DS, в течение которого участникам предстояло разработать модель оценки стоимости коммерческой недвижимости и поделить 700к призового фонда. В итоге было отправлено почти 5к сабмитов от 371 команды и опубликовано более 20 публичных решений бейзлайнов.

Нам конечно же хотелось бы отметить участников, которые использовали наш LightAutoML в качестве основной модели своего решения. Так, например, команда BigSberBosses с LightAutoML моделью вошла в топ-10 на приватном LB и заняла 9-ое место, а опубликованное на Github решение команды Япики было признано лучшим публичным решением и награждено призом в 75к. Что примечательно - для Япиков это был первый хакатон и сразу же попадание в топ-50 (на привате они 42ые) 🔥🔥🔥

Свои результаты в хакатоне раскрыли и еще несколько "LightAutoML участников" - Ринат Курбанов (25ое место), Сергей Кутепов (29ое место) и Андрей Никитин (118ое место). Почти наверняка их было больше - если вдруг кого забыл, делитесь своим результатом в комментариях под этим постом 🙈

Еще раз поздравляю победителей и призеров хакатона - вместе мы сможем строить модели быстрее и качественнее 😎
#release_notes

Всем приятного пятничного вечера!

Впереди выходные, на которых обычно появляется свободное время для всего нового и интересного и мы спешим всех обрадовать - в PyPI только что было загружено глобальное обновление LightAutoML 0.3.0 🔥🔥🔥

Основное:
⁃ Добавлено решение AutoUplift для решения задач Uplift моделирования (см. туториал)
⁃ Реализованы методики интерпретации моделей через ICE и PDP (см. туториал)
⁃ Реализован новый функционал логгинга процесса обучения модели (5 уровней детализации)
⁃ Добавлена возможность получения текстового описания финальной модели
⁃ Реализована раздельная установка LightAutoML - базовая установка, NLP, CV, отчеты, полная установка

Дополнительно:
⁃ Полностью обновлены туториалы, переработана структура репозитория для более удобной навигации
⁃ Добавлены CI/CD пайплайны
⁃ Исправлены многие выявленные баги
Добрый вечер всем, коллеги!

В пылу подготовки мы совсем забыли анонсировать наши завтрашние активности на стартовавшем сегодня AI Journey 21. Прикладываю ниже расписание наших докладов и секции AutoML, которую мы в том числе и модерируем:

🔥 Секция AutoML (11 ноября, 17:00 - 18:40)
1. Рыжков Александр, Натекин Алексей «Открытый бенчмарк AutoML решений на базе ODS.AI»
2. Вахрушев Антон, Иосипой Леонид «Стенд PyBoost для изучения бустингов»
3. Бондаренко Иван «AutoML и глубокое обучение для обработки табличных данных»
4. Николай Никитин «FEDOT – открытый фреймворк для эволюционного автоматического обучения композитных пайпланов»

🔥 Секция RecSys (11 ноября, 16:20 - 16:40)
1. Васильев Алексей, Натекин Алексей «Открытый бенчмарк рекомендательных систем RecSys»

🔥 Секция Workshops (11 ноября, 18:00 - 18:30)
1. Васильев Алексей, Тамм Ян-Мартин «RePlay - opensource фреймворк для создания офлайн рекомендаций»

Будем рады видеть вас на наших докладах и воркшопах - регистрация на конференцию доступна по ссылке https://ai-journey.ru/conference ☺️
Коллеги, всем привет!

Open source решения Sber AI Lab
LAMA: LightAutoML - самый быстрый и точный фреймфорк AutoML на табличных данных
RePlay - фреймоврк для создания RecSys на PySpark

вышли в этап открытого голосования за звание лучшего open source решения в рамках конференции HighLoad++, где нам очень нужна ваша поддержка (голосование продлится до 26 февраля).

Проголосуйте за лучшее open source решение тут:
https://opensource.highload.ru/vote

Вы знаете что делать :))

P.S. На этой конфе мы планируем презентовать 2 новых пайплайна для LightAutoML: для GPU и для Spark - LAMA станет еще быстрее и эффективнее. Если вдруг вам интересно протестить их раньше остальных, то пишите в личку.