Когда не хватает вычислительной мощности, приходится ставить обучение на всем, что можно и нельзя

Парадокс Симпсона би лайк:

Помните, мы говорили, что Карпатый уволился из OpenAI и шутили про продуктивность?

Так вот – это больше не шутка. Всего за неделю он:

1) Написал from scratch реализацию популярного LLM-ного токенизатора BPE (читайте про нее в нашем посте)

2) Выпустил лекцию про токенизацию в LLM со всеми подробностями на 2 часа.

Ну мед 🍯

Интересно, когда он позовет на бой в клетке Альтмана и Пичаи?

Gemini, Gemma, Goose. Это только несколько названий ИИ-продуктов, которые Google презентовала в последнее время.

Goose – это новая внутренняя разработка компании, призванная помочь сотрудникам в программировании. Модель может написать, дописать код, пофиксить баги или провести рефакторинг. Она основана на Gemini и дообучена на коде, созданном в компании за 25 лет.

Gemma – новоиспеченная открытая(!) LLM от Google, ставшая SOTA. Есть коммерческая лицензия, и на тестах модель превосходит Mistral AI 7B и LLaMa 2 на Human Eval и MMLU. Есть в варианте 2B и 7B. А еще Gemma можно развернуть на локалке или в облаке Google.

Вот такую рекламу использует строительная компания Бельгии для призыва сотрудников на работу. А «тебя не заменит ИИ» уже официально входит в соц.пакет?

Мотивации пост.

Знали ли вы, что в команде Hugging Face всего 170 человек? И такая небольшая команда справляется с впечатляющим количеством задач:

– Более 1.5 миллионов репозиториев, а кроме этого демо и статьи
– OS: трансформеры, диффузионки, детасеты, gradio, timm, transformers.js, TGI, safetensors, nanotron
– сотки коллабораций с научными лабораториями, группами исследователей и целыми корпорациями
– Hugging Chat, Comic Creator и Lora Studio
– лицензии и этика моделей
– обучающие курсы, гайды, кукбуки, хэндбуки, документация
– собственный инструмент для визуализации и EDA
– и многое другое

Ну вы поняли. Желаем всем такой же продуктивности, как у команды Hugging Face 🤗