Всем привет.

Cобираем DS-отдел в крутом наукоемком стартапе. Мы разрабатываем системы управления установками термоядерного синтеза для того, чтобы дать человечеству новый неограниченный экологичный источник энергии.

Ищем сотрудников от джунов до тимлидов на следущие задачи:
1. Самое важное. Reinforcement Learning. Необходимо знание современных алгоритмов RL, опыт исследовательских проектов и донесения результатов R&D до продакшна.
Для синьерских позиций обязателен опыт работы с Ray RLLib, распределенная тренировка моделей. Чем лучше разбираетесь в Ray, тем лучше, включая реализацию новых алгоритмов на API библиотеки.
Инструментарий классический: Open.ai gymnasium, pytorch, optuna
Также необходимо хорошо разбираться в алгоритмах для непрерывного управления (PPO, DDPG, A3C, MPO etc), для model-based обучения (Dreamer, MB-MPO)

2. Классический ML. Работа с предсказаниями временных рядов, реализация различных seq2seq моделей. Большой плюс, если знакомы с PINN (Physics-informed neural networks)
Инструментарий: pytorch, pytorch lightning, optuna.
Необходимо понимать функционирование Linux и интеграцию Python с внешними модулями (среда для числового моделирования сделана на фортране =)

3. ML Ops. Поддержка кластера Ray. ML Flow, docker, s3-storage, github actions, ansible. Фокус на поддержку исследований (высокой нагрузки в продакшн нет, есть много разнородных экспериментов)
Плюсом будет работа с AWS, Kubernetis, проектирование feature store.

4. Аналитик/ Тестировщик. Анализ данных, выявление закономерностей, содействие коллегам в исследованиях, тестирование симулятора и интеграция с python, визуализация данных.

Общие требования на всех ролях:
• Свободный английский
• Умение читать научные статьи и реализовывать алгоритмы из них

Бонусы:
• Возможность удалёнки
• Поможем с релокацией
• Сложные задачи на переднем крае науки

Прочитайте вот эти статьи, чтобы ознакомиться с темой. Это работы DeepMind, наши задачи основаны на этих исследованиях:
https://www.nature.com/articles/s41586-021-04301-9
https://arxiv.org/abs/2307.11546

Если интересно, пишите мне в личку

А я между прочим живу на этой ветке...

Дневной вакансии пост.

Лето и период отпусков закончилось, а значит пришла пора подумать о карьерных возможностях. А тут как раз такая вот интересная вакансия от друзей подоспела.

Всем привет! Мы - развивающаяся IT-компания BrainShells, занимаемся разработкой и эксплуатацией инновационного продукта с использованием алгоритмов машинного обучения и искусственного интеллекта.

Находимся в поиске senior ML + Java разработчика.

Чем предстоит заниматься:

- Сбор и подготовка данных для обучения предиктивных моделей;
- Проведение исследований в области Data Science/ML;
- Статистический анализ и обработка данных;
- Построение и оптимизация моделей машинного обучения;
- Интеграция ML решений в существующие продукты;
- Проведение экспериментов и их последующее доведение до production состояния;
- Разработка алгоритмов искусственного интеллекта.

Требования:

- Опыт работы в области ML от 5 лет;
- Хороший алгоритмический бэкграунд: опыт создания алгоритмов, их оптимизации по быстродействию и потреблению памяти, применение многопоточности;
- Высшее профильное/техническое образование (физмат, информатика);
- Опыт работы с Java Core (фреймворки не нужны. Нужны структуры данных, многопоточность, алгоритмы).

Будет плюсом:

- Математический бэкграунд. Умение применить математический аппарат для решения задач.
- Опыт программирования на С++.

Что мы предлагаем:

- Сложные, нетиповые задачи;
- Полностью удаленный формат работы, можно работать из любой точки мира, релокация не предусмотрена. Юр.лицо компании зарегистрировано в Гонконге;
- Вилка вакансии от 4500$. Зарплата формируется исходя из ожиданий разработчика и технических скиллов, которые он покажет на тех.интервью;
- Проверенный и постоянно обновляемый набор обучающих материалов: развитие сотрудников - наш фокус;
- Позитивный эмоциональный климат в командах.

Порекомендуйте нам своего друга/знакомого и получите бонус (1500-2000$ в зависимости от кандидата)!

Для отклика или рекомендации пишите @valeriayanets

Прям мемасно чет пошло...

Спасибо @oulenspiegel_channel

Суббота время собирать камни.

Сегодня рассказываю школьникам про Data science, Machine learning и AI.

Знаете какие топ-2 вопроса у детей?)

1. Дудь стайл: сколько вы зарабатываете?)
2. Как давно в этом работаете и что вообще сделали?

⚠️ Острожно - спуфинг атаки от имени админов Сберлоги и других чатов/каналов (не только Сберлоги) - будьте внимательны !

Некоторые коллеги получили просьбы перевести 120к на карту , некоторые предварительно получив оборвавшийся звонок по телеграм. Якобы от имени админов. Будьте внимальны - админы Сберлоги (и, думаю, других каналов) не пишут в личку с такими просьбами ! Не переводите денег ! Мошенники часто создают похожий по имени экаунт (спуфинг) и пишут от его имени - будьте внимательны !

Всем, привет, други.

Сорян за молчание, но весь в работе и делах.. Но как раз таки в чатиках, заметил пост от @seeyouall про "spark attention" (понравилась такая аналогия).

См. Тут https://arxiv.org/abs/2310.01889

И тут я вспомнил , как недавно смотрел RL для RecSys и наткнулся на то, что сегодня бы назвали BlockchainRLHF.

А чего? Хайпово, можно пару Валер-coin'ов на старте набрать.

Скрины ниже.

BlockchainRLHF O.o

UPD. Ссылка для трудящихся
https://www.sciencedirect.com/science/article/pii/S1574013721000769

Неделя заканчивается с кофе соревок.

Есть теперь любителям шатать соревнования, чем заняться на выходных.

TG запускает контест по детекции кода на разных языках из тестовых сабжей. Можно юзать паблик датку.

https://t.me/contest/330

Всем привет, мы строили строили и наконец построили!

Первая супер-библиотека по spelling corruption SAGE.

Работа была не простой, вместе с ребятами из команды AGI NLP- мои герои снова:
@alenusch, @qwertysobaka, @go_bobert,
мы сделали оч крутой инструмент. Он позволяет атаковать тексты при помощи добавления опечаток, перестановок и пр., а также делать обратное - фиксить их.

UPD. Забыл совсем!? Мы выбили SOTA по spellcheking!!!

Интересно?
Го читать на хабр!

https://habr.com/ru/companies/sberdevices/articles/763932/

Наша библиотека SAGE:
https://github.com/ai-forever/sage

AI-service в Клауде:
https://cloud.ru/ru/datahub/generative-spell-checking

Закончился LLM Exam сорев на kaggle.

Постановка:
Задача состояла в том,чтобы по запросу провести ранжирование ответов A,B,C,D,E исходя из релевантности. Ничего не напоминает?)

От себя:
Мне так и не удалось на полную в нём поучаствовать, тк загрузка full. Но с удовольствием делился идеями с друзьями по цеху. Вот тут ссылка на топ решение. Мне оно не интересно, тк много "грубой силы". Посмотрите сами.

А вот, чтобы я выделил так это другие решения из топ10 (те что в золоте также). Их можно разделить на два типа, а третий я напишу от себя. Его пока никто не описал из участников.


Итак первый подход - каноничный RAG. Берём обкачиваем вики и в индекс кладём его: в Elastic и/или в FAISS, предварительно заэмбеддив с К энкодеров. Далее уже берём LLM претрен соту которой доверяем и по запросу идём в индексы, собираем с них выдачу и кидаем в контекст промта-запроса для LLM. Делаем генерацию для упорядочения ответов.

Метод два. Reward для бедных на DeBERTa в режиме multiple choice + индекс вики с Эластика, + к примеру ещё метаранкер можно кросс энкодер можно бустинг.

Мой вариант. Reward на LLM. Берём ту большую бабаху LLM которая по-вашему мнению или по MMLU лучшая по претрену. Далее выкачиваем с HF rlhf сеты для webgpt+wiki stem , учим reward поверх стейтов LLM. Далее берём пары промт + abсde варианты выдачи и кормим в эту reward LLM . Она выдаёт ранги, по ним сортируем.
Плохо? Берём вики обкачиваем крупный банк текстов также уже берём эластик или faiss+e5/mini-lm-mmarco и тп, кидаем уже доп подсказку для LLM reward. E2E дообучая, можно даже в LoRa , чтобы стейты заморозить и быстро до усадить.

Как-то так. Интересно, кто-нибудь такое сделал?

Ваши варианты в комментариях.

Схема каноничного RAG. Мне оч нравится. Классека уже. Запинтьте для ML system design.

Кхм... Спасибо. Но нет..

Отправлю Сене, а то чую его ждёт судьба того, кто на меме с ним... 👇

Карта моей мечты...

Пошутили и хватит. Народ любит другой контент.

Тут мои коллеги скинули либ, где LLM общаются между собой на естественном языке для совместного решения задач.

А я уже рассказывал об дебатах LLM - тык. Наконец-то Microsoft реализовали похожую тему! Хочу уже попробовать!

Либа тут: https://github.com/microsoft/autogen

Мой один из любимых турбо-школьников @chckdskeasfsd написал пост на Хабре про очень интересную задачку из NLP/speech

https://habr.com/ru/articles/767560/


Поддержим!