Вторая таблица с метриками

И снова нейросети

Тут все с ума сходят от HeyGen и перевода мемасов на другие языки. И там классно) Но сегодня про другое.

Ребята нашли классный пример, когда люди не просто балуются или мошенничают с нейронками, а используют их для старого-доброго зарабатывания деньжат. Ну как, деньжата, 10 000 евро в месяц уже, наверное, сложно назвать просто деньжатами😁

Лонг стори шорт: есть компания. Она делает аналитику для торговых сетей и пишет статьи для сайта. Пишет на одном языке, переводит на несколько (= много) других и снова публикует.

Область специфическая, автоматические переводчики (Google Translate, DeepL & Bing Translate) и живые переводчики не вывозят. Увеличили штат, в месяц стало уходить 10 000 евро. Что-то дорого, подумали они.

И тут, хоп-хэй-ла-ла-лэй, ChatGPT во всей красе. Компания туда забабахала пост-обучение — докидывает релевантную информацию в контекст. И все довольны — ChatGPT не жалуется на монотонность и объем задач, переводит себе спокойно, а компания радуется сэкономленному. Сэкономил — считай, заработал.

А кроме того, пополняемый список статей на куче языков делает компанию очень крутой в глазах клиентов.

Да, тексты не такие, как от профессионального переводчика-редактора. Но они на том уровне, что их можно безболезненно публиковать.

За подгон полезной инфы — спасибо @dealer_ai

Сентябрь мой любимый месяц. Тк в этом месяце в самом начале у меня сразу куча праздников: день нефтяника (по моему образованию), день рождения (тут чисто так получилось), и день программиста (по моей деятельности).

Крч 256ой день в году, в лучшее время года и месяц в году. Всех причастных, с праздником!

Из чата по ML competitions.
На кагле сейчас митинг

..рекламируют что керас ops может использовать кастомные лосы с любых фреймворков и может создавать модули совместимые с любыми фреймворками:))
Jax рекламируют потомучто быстрый и компилируемый.
На керасе можно менять бэкэнд на jax :)) миксовать с pytorch:))

От себя:

И вот я уже эмоджинирую...
Ну всё эт мой ренесанс...
Беру кекас-керас, Джекса , что знаю из тф и торчков и получаюсь дедушка трансформер я. Или как его там - дед швейцарский нож?!

Longformer-tiny для русского языка

Друг скрестил Longformer и BERT-tiny, получив крошечную модель с контекстом в 16к токенов. Детали танцев с бубном и обучения есть на хабре. А картинку нарисовала моя сестра ☺️

Хабр, Huggingface

Вы готовы, дети?

P\S Октябрь киска близко..

https://openai.com/dall-e-3

Тут нас немножк рассекретили. Мы с коллегами из ai-forever выпустили препринт статьи про семейства nlp моделей для ru домена. Мы участвовали в создании семейства ru-ELECTRA.

Впереди вас ждёт более подробный рассказ о том, как мы это делали на хабр. А пока го го в arxiv.

Flash Attention 2 завезли прямо в 🤗 трансформеры 🔥🔥

Коротко, это мегаэффективный cuda kernel для рассчета attention, который делает ваше потребление памяти линейным вместо квадратичного, да и в принципе работает в несколько раз быстрее наивной имплементации к которой мы все привыкли.

Flash Attention 1 был в 🤗 Optimum и мой опыт с ним... такой себе. Теперь же Flash 2 встроен в основную библиотеку и чтобы его использовать надо просто указать use flash attention 2 в from pretrained.

https://x.com/younesbelkada/status/1705258148045750343

Всем привет.

Cобираем DS-отдел в крутом наукоемком стартапе. Мы разрабатываем системы управления установками термоядерного синтеза для того, чтобы дать человечеству новый неограниченный экологичный источник энергии.

Ищем сотрудников от джунов до тимлидов на следущие задачи:
1. Самое важное. Reinforcement Learning. Необходимо знание современных алгоритмов RL, опыт исследовательских проектов и донесения результатов R&D до продакшна.
Для синьерских позиций обязателен опыт работы с Ray RLLib, распределенная тренировка моделей. Чем лучше разбираетесь в Ray, тем лучше, включая реализацию новых алгоритмов на API библиотеки.
Инструментарий классический: Open.ai gymnasium, pytorch, optuna
Также необходимо хорошо разбираться в алгоритмах для непрерывного управления (PPO, DDPG, A3C, MPO etc), для model-based обучения (Dreamer, MB-MPO)

2. Классический ML. Работа с предсказаниями временных рядов, реализация различных seq2seq моделей. Большой плюс, если знакомы с PINN (Physics-informed neural networks)
Инструментарий: pytorch, pytorch lightning, optuna.
Необходимо понимать функционирование Linux и интеграцию Python с внешними модулями (среда для числового моделирования сделана на фортране =)

3. ML Ops. Поддержка кластера Ray. ML Flow, docker, s3-storage, github actions, ansible. Фокус на поддержку исследований (высокой нагрузки в продакшн нет, есть много разнородных экспериментов)
Плюсом будет работа с AWS, Kubernetis, проектирование feature store.

4. Аналитик/ Тестировщик. Анализ данных, выявление закономерностей, содействие коллегам в исследованиях, тестирование симулятора и интеграция с python, визуализация данных.

Общие требования на всех ролях:
• Свободный английский
• Умение читать научные статьи и реализовывать алгоритмы из них

Бонусы:
• Возможность удалёнки
• Поможем с релокацией
• Сложные задачи на переднем крае науки

Прочитайте вот эти статьи, чтобы ознакомиться с темой. Это работы DeepMind, наши задачи основаны на этих исследованиях:
https://www.nature.com/articles/s41586-021-04301-9
https://arxiv.org/abs/2307.11546

Если интересно, пишите мне в личку

А я между прочим живу на этой ветке...

Дневной вакансии пост.

Лето и период отпусков закончилось, а значит пришла пора подумать о карьерных возможностях. А тут как раз такая вот интересная вакансия от друзей подоспела.

Всем привет! Мы - развивающаяся IT-компания BrainShells, занимаемся разработкой и эксплуатацией инновационного продукта с использованием алгоритмов машинного обучения и искусственного интеллекта.

Находимся в поиске senior ML + Java разработчика.

Чем предстоит заниматься:

- Сбор и подготовка данных для обучения предиктивных моделей;
- Проведение исследований в области Data Science/ML;
- Статистический анализ и обработка данных;
- Построение и оптимизация моделей машинного обучения;
- Интеграция ML решений в существующие продукты;
- Проведение экспериментов и их последующее доведение до production состояния;
- Разработка алгоритмов искусственного интеллекта.

Требования:

- Опыт работы в области ML от 5 лет;
- Хороший алгоритмический бэкграунд: опыт создания алгоритмов, их оптимизации по быстродействию и потреблению памяти, применение многопоточности;
- Высшее профильное/техническое образование (физмат, информатика);
- Опыт работы с Java Core (фреймворки не нужны. Нужны структуры данных, многопоточность, алгоритмы).

Будет плюсом:

- Математический бэкграунд. Умение применить математический аппарат для решения задач.
- Опыт программирования на С++.

Что мы предлагаем:

- Сложные, нетиповые задачи;
- Полностью удаленный формат работы, можно работать из любой точки мира, релокация не предусмотрена. Юр.лицо компании зарегистрировано в Гонконге;
- Вилка вакансии от 4500$. Зарплата формируется исходя из ожиданий разработчика и технических скиллов, которые он покажет на тех.интервью;
- Проверенный и постоянно обновляемый набор обучающих материалов: развитие сотрудников - наш фокус;
- Позитивный эмоциональный климат в командах.

Порекомендуйте нам своего друга/знакомого и получите бонус (1500-2000$ в зависимости от кандидата)!

Для отклика или рекомендации пишите @valeriayanets

Прям мемасно чет пошло...

Спасибо @oulenspiegel_channel

Суббота время собирать камни.

Сегодня рассказываю школьникам про Data science, Machine learning и AI.

Знаете какие топ-2 вопроса у детей?)

1. Дудь стайл: сколько вы зарабатываете?)
2. Как давно в этом работаете и что вообще сделали?

⚠️ Острожно - спуфинг атаки от имени админов Сберлоги и других чатов/каналов (не только Сберлоги) - будьте внимательны !

Некоторые коллеги получили просьбы перевести 120к на карту , некоторые предварительно получив оборвавшийся звонок по телеграм. Якобы от имени админов. Будьте внимальны - админы Сберлоги (и, думаю, других каналов) не пишут в личку с такими просьбами ! Не переводите денег ! Мошенники часто создают похожий по имени экаунт (спуфинг) и пишут от его имени - будьте внимательны !

Всем, привет, други.

Сорян за молчание, но весь в работе и делах.. Но как раз таки в чатиках, заметил пост от @seeyouall про "spark attention" (понравилась такая аналогия).

См. Тут https://arxiv.org/abs/2310.01889

И тут я вспомнил , как недавно смотрел RL для RecSys и наткнулся на то, что сегодня бы назвали BlockchainRLHF.

А чего? Хайпово, можно пару Валер-coin'ов на старте набрать.

Скрины ниже.