👨‍🔬🇨🇳🔬 Нашел интересный исследовательский репозиторий с подборкой научных статей и других полезностей по большим языковым моделям (LLM).

Milestone Papers
Other Papers
Open LLM
LLM Training Frameworks
Tools for deploying LLM
Tutorials about LLM
Courses about LLM
Opinions about LLM
Other Useful Resources

↘️ https://github.com/Hannibal046/Awesome-LLM

✋ @Russian_OSINT

Тут челы запилили нейронку YOLO для обнаружения объектов в режиме реального времени БЕЗ ОБУЧЕНИЯ.

Да да это та самая которую я юзал в нейросети для CSGO.
Под капотом у них YOLO-v8.

Но большая разница в том, что для обнаружения нужных объектов нейронку НЕ НАДО обучать.

То есть просто текстом пишите что ищете.
Вот например я потестил на скрины из CS.
Confidence конечно низкий, но учитывая что я её вообще не обучал — результат удивляет.

🖥 Github: https://github.com/AILab-CVC/YOLO-World
⚡️Demo: https://www.yoloworld.cc
🤗Hf: https://huggingface.co/spaces/stevengrove/YOLO-World

Ваше мнение, господа?

А вот и подоспел новый образовательный контент от Карпатого после его ухода из OpenAI. #ликбез

Андрей написал минимальную имплементацию Byte Pair Encoding (BPE) токенайзера, который широко используется в современных LLM, в том числе и в GPT-4.

Токенайзер - это алгоритм, который преобразует текст в последовательность токенов (целых чисел), перед тем, как его скормить в LLM.

Идея BPE очень простая:
1️⃣ Берем Unicode строку и представляем ее в виде последовательности байтов. - Изначально каждый байт - это отдельный токен, их всего 256 уникальных.
2️⃣ Затем находим наиболее частую пару соседних токенов и заменяем его на новый токен с номером (256 + i) → пример на скрине.
3️⃣ Повторяем это дело K раз. В итоге имеем словарь на 256 + K токенов, которые сжимают оригинальную последовательность байтов в более короткую последовательность токенов, закодированных номерами.


Видео лекция про BPE у Карпатого уже в производстве, он обещал скоро ей поделиться!

А пока можете посмотреть разбор BPE (пост+видео) из NLP курса на HuggingFace: ссылка.

@ai_newz

🧭 Просто Big Data

🧭 Системы искусственного интеллекта