А вот и подоспел новый образовательный контент от Карпатого после его ухода из OpenAI. #ликбез

Андрей написал минимальную имплементацию Byte Pair Encoding (BPE) токенайзера, который широко используется в современных LLM, в том числе и в GPT-4.

Токенайзер - это алгоритм, который преобразует текст в последовательность токенов (целых чисел), перед тем, как его скормить в LLM.

Идея BPE очень простая:
1️⃣ Берем Unicode строку и представляем ее в виде последовательности байтов. - Изначально каждый байт - это отдельный токен, их всего 256 уникальных.
2️⃣ Затем находим наиболее частую пару соседних токенов и заменяем его на новый токен с номером (256 + i) → пример на скрине.
3️⃣ Повторяем это дело K раз. В итоге имеем словарь на 256 + K токенов, которые сжимают оригинальную последовательность байтов в более короткую последовательность токенов, закодированных номерами.


Видео лекция про BPE у Карпатого уже в производстве, он обещал скоро ей поделиться!

А пока можете посмотреть разбор BPE (пост+видео) из NLP курса на HuggingFace: ссылка.

@ai_newz

🧭 Просто Big Data

🧭 Системы искусственного интеллекта

🔥LLaMa 3 - дождались: Новая SOTA в open-source!

Сегодня день больших релизов от Meta, в которых и я и моя команда принимала прямое участие.

Зарелизили в опенсорс LLaMa-3 8B и 70B:
🔳LLaMa-3 8B – лучшая в своем классе модель, и сопоставима с LLaMa-2 70B, хоть и в 10 раз меньше.
🔳LLaMa-3 70B – тоже самая мощная в режиме 70 млрд параметров, достигает 82 на MMLU бенчмарке (показывает уровень общих знаний в разных областях). Для сравнения, недавняя Mixtral 8x22B с 141B параметров достигает только MMLU 77.8. Ну, и ждем результатов на арене.

C новыми моделями можно початиться на meta.ai

Блог
Подробности
Скачать веса модели

@ai_newz