#opensource : RuLeanALBERT от Yandex Research
2.9B трансформер для русского, которая влезет в домашнюю ПеКарню ресерчера

Мало того, что это самая большая БЕРТ-подобная модель для русского языка, которая показывает крутые результаты в бенчмарках, так еще и с кодом для fine-tuning-а

GitHub

А в статье можете узнать, как обучалась эта модель (а-ля коллаборативное глубокое обучение) на фреймворке по децентрализованному обучению Hivemind

#events : ML-тренировка
Когда: 17 (четверг) ноября 2022, 19:00 - 21:30 (сбор с 18:00)
Место: офис Яндекса (Москва, улица Льва Толстого, 16) + онлайн
Язык - русский

В этот раз нас ждёт 3 доклада:
- призер только что завершившегося Yandex ML Cup,
- 2ое место хакатона AgroCode Hack по анализу спутниковых снимков для виноградников
- организатор ML соревнований в информационной безопасности

Подробная программа по ссылке ниже
Будем рады видеть всех очно и онлайн ;)
Регистрация обязательна

#общаемся

По всей видимости 17 декабря пройдет дата-ёлка от ODS.
Она будет онлайн, подробности скину, когда будет регистрация.

Расскажу, что последнего произошло с python (как с языком, так и с компонентами для данных и мл) за последние 3 года.

Буду рад вашим советам, на что обратить внимание в своем рассказе. Писать можно тут, в комментариях к этому сообщению ;)

Барев дзес, друзья!

#общаемся
Наконец долетел в этот снегопад с ереванского хайлоада. Позже расскажу, какие интересные доклады там были по ML, а сейчас хочу похвалить очень классные локальные сообщества. Ребята встречаются иногда несколько раз в неделю, а уже на следующей неделе, возможно, проведут митап. Если вы там, настоятельно советую присоединиться.

[ODS в Ереване | ru]
[ML Yerevan | en]

#events : ML-тренировка Data Dojo
Когда: 24 (суббота) декабря 2022, 12:00 - 18:00 (сбор с 11:00)
Место: офис Яндекса (Москва, улица Льва Толстого, 16) + онлайн
Язык - русский

В этот раз нас ждёт 5 докладов:
- Поговорим про соревнования 2022
- Предсказание исполнителя трека по набору акустических признаков. Разбор решения с Yandex Cup 2022
- Призер хакатона MORE.Tech от ВТБ о своем решении
- Дорога к Kaggle Competitions Master в 17 лет
- Применение AutoML в соревнованиях по машинному обучению

Подробная программа по ссылке ниже
Офлайн приглашения уже разлетелись, но ждем вас в онлайне.
Планируем сделать активность и для онлайна, будет веселее чем в записи!
Регистрация обязательна

Тут вышел подкаст со мной:
- за жизнь
- чем занимаюсь в Яндексе
- как дошел до жизни такой
- внутрянку DS затронули по касательной (так что контент совсем ненапряжный)

Контент явно не профильный для канала, да и бабушка учила себя не нахваливать.
Но вдруг вам интересен "yet another" путь в ML-е.

На подкаст-платформах и ютубе (только аудио)
Для большего веселья можно на фоне включить бит Кровосток-Биография

#events : ML-тренировка Data Dojo
Когда: 16 (четверг) февраля 2023, 19:00 - 21:30 (сбор с 18:00)
Место: Музей Яндекса на Павелецкой (Москва, Садовническая ул., 82, стр. 2, подъезд 5, этаж 1) + онлайн
Язык — русский

Нас ждёт 3 доклада:
- Обзор активных соревнований: поговорим какие есть, чем интересны, чтоб вам было легче выбрать, в чем поучаствовать
- Ребята расскажут про участие в различных олимпиадах по машинному обучению и как им довелось внедрять это решение в компании
- Селим расскажет про диагностирование перелома шейных позвонков на КТ снимках

У нас новая локация! Там много интересного можно посмотреть
Подробная программа по ссылке ниже
Еще есть возможность влететь в офлайн, но, если что, ждем вас в онлайне.
Регистрация обязательна!

#events
Едем по городам и сёлам
Организуем ML Party в Ереване. Ждем офлайн (всех обниму) или онлайн (регистрация тоже нужна 😉 )

ML Party Yerevan
Когда: 2 (четверг) марта 2023, 18:00 – 21:00 GMT+4 (Регистрация с 17:00)
Место: The Office. улица Вагана Теряна, 91, Ереван + онлайн
Язык — русский

Нас ждёт 3 -4 доклада. например:
- Как МЛ формирует Быстрые ответы в поиске
- Выделение атрибутов из изображений одежды и манипуляция для поиска новых (платье+шелк+горошек-рукава)
- Как рекомендации Яндекс.Музыки помогают пользователю открывать новую музыку и незнакомых слушателю исполнителей.

Подробная программа по ссылке ниже
Если рядом - ждем онлайн, но можно и в онлайне.
Регистрация обязательна

Вышла серия Южного парка (South Park) про ChatGPT
Что интересно, серия называется Deep Learning
Первый случай, чтоб технологии ИИ или продукт на основе ИИ проник так глубоко в массовую культуру

В заключительных титрах авторы эпизода указаны как Trey Parker и ChatGPT.

Описание серии, если лень смотреть.
А для не_фанатов смотреть и не советую, кажется раньше серии были злободневнее и веселее а трава зеленее

Шикарно! Следим за первыми применениями и положительным опытом замены Hadoop/Spark

Яндекс выкладывает в опенсорс одну из основных инфраструктурных BigData-систем собственной разработки — YTsaurus. Это платформа, предназначенная для распределённого хранения и обработки больших данных.

Максим Бабенко, руководитель отдела технологий распределённых вычислений в Яндексе, рассказал историю возникновения YT, а также зачем нужна YTsaurus и где её можно применять.

В Github-репозитории — серверный код YTsaurus, инфраструктура развёртывания с использованием k8s, а также веб-интерфейс системы и клиентский SDK для распространённых языков программирования — C++, Java, Go и Python.

Ссылки на посты на Хабре и Медиуме.

8 лет ODS, а на деле больше.
Сколько друзей, коллег, работ и движа.

Спасибо всем, кто участвовал.
Сообщество, в первую очередь, это участники.

В комментариях буду рад услышать ваши cool story про ODS. 💔

Вышел kandinsky 2.1
Почитать можно тут

А это код, который дергает публичную API (пока работает)
Можете погенерировать картинки на любом тапке с установленным питоном

UPD: Но ожидания в очереди жесть)

import PIL
import base64
import io
import requests
import time

text = "комикс игра престолов"

wtf = '----WebKitFormBoundarywlnxcaZpV1ghiA4E'
cdfdn = '\r\nContent-Disposition: form-data; name='
api_url = 'https://fusionbrain.ai/api/v1/text2image'
api_url_run = api_url + '/run'
api_url_pockets = api_url + '/generate/pockets/'

data = (f'--{wtf}{cdfdn}"queueType"\r\n\r\ngenerate\r\n--{wtf}' +
               f'{cdfdn}"query"\r\n\r\n{text}\r\n--{wtf}' +
               f'{cdfdn}"preset"\r\n\r\n1\r\n--{wtf}' +
               f'{cdfdn}"style"\r\n\r\n\r\n--{wtf}--\r\n').encode()

response = requests.post(api_url_run, headers={'Content-Type': f'multipart/form-data; boundary={wtf}'}, data=data)
pocket = response.json()['result']['pocketId']
time.sleep(3)
response = requests.get(api_url_pockets + f"{pocket}/status",
    headers={'Content-Type': f'multipart/form-data; boundary={wtf}'},
)

while response.json()['result'] != 'SUCCESS':
    print(response.json()['result'])
    time.sleep(3)
    response = requests.get(api_url_pockets + f"{pocket}/status")

response = requests.get(api_url_pockets + f"{pocket}/entities")

msg = base64.b64decode(response.json()['result'][0]['response'][0])
buf = io.BytesIO(msg)
img = PIL.Image.open(buf)

img

@powerofdata

10 лет назад я завалил последний экзамен в ШАД. Но сейчас для разработчиков появилось альтернативное поступление, где у вас проверяют не забытые знания высшей математики, а инженерные знания.

Не упусти возможность учиться в ШАД!

До 6 мая включительно можно подать анкету на обучение в Школе анализа данных Яндекса - двухгодичной программе, по одному из востребованных направлений: разработка машинного обучения, data science, инфраструктура больших данных или анализ данных в прикладных науках.

Чтобы поступить и учиться в ШАДе, важно интересоваться машинным обучением, обладать хорошей математической подготовкой и владеть одним из языков программирования. Для разработчиков с опытом есть альтернативный трек поступления, который включает в себя не только оценку знаний в алгоритмах и высшей математике, но и достижений в исследовательских и/или индустриальных задачах.

Основной язык обучения на программе: русский.

Анкета для поступления (https://clck.ru/34GwCS), чат для поступающих (https://t.me/+DQ1j7epbIlNmNjFi).