🗞Вчера вечером вышла моделька от Stability AI - sdxl-turbo, она способна в разы быстрее рисовать качественные изображения благодаря новой технологии дистилляции. Вместо необходимых раньше 30 шагов для отрисоки, теперь неплохое качество уже после одного прохода. На моем ноуте создает картинку за 1.6 секунд, а на ClipBoard вообще, рисует в реальном времени, пока вы пишите текст🤯  HF

P.S. Colab

🗞Google релизнули Gemini - языковая модель, которая, по их замерам, превзошла GPT-4 в 30 из 32 тестах.

Пишут, что размерности будет три: Nano, Pro и Ultra. Ultra превзошла в тестах GPT-4, но пока для пользования доступна только Pro версия в Bard. А в Pixel 8 Pro и Android 14 они собираются встроить Gemini Nano для самых разных задач, от суммирования текстов, до умных ответов в мессенджерах. Не думал что это будет работать локально на самом телефоне 🤯

Судя по всему веса версии Nano будут открыты 📖. Интересно будет сравнить ее с текущими лидерами в open source. Но еще интереснее будет проверить на сколько Gemini Ultra превосходит GPT-4

💻Замерил скорость новой библиотеки MLX от apple для машинного обучения. MLX вышла на прошлой неделе и позиционируется как оптимизированная библиотека для машинного обучения на чипах Apple.

Я пока не замерял скорость обучения, но замерил скорость работы Mistral 7B fp16 на своем M1 Pro и сравнил с PyTorch и llama.cpp. Скорость при генерации текста в 100 токенов на MLX получилась около 8.4 - 8.95 против примерно 3.4 токена/сек на PyTorch📈. Прирост более чем в 2.5 раза! Расход памяти при выполнении тоже получился меньше - до 15 гб MLX, у PyTorch - до 17.5 при генерации и до 20.5 при инициализации.

Но несмотря на такой прирост, это все еще сильно медленнее чем llama.cpp. Тут скорость около 11.5 токенов в секунду и потребление памяти до 13.6 гб💥. Но это и не удивительно, ведь эта библиотека создавалась именно для запуска языковых моделей с архитектурой трансформеров

На видео работа MLX

🔍 Провел замеры нескольких открытых языковых моделей (LLM) на русскоязычных задачах из датасета NLPCoreTeam/mmlu_ru. Мне было интересно сравнить эффективность нескольких популярных квантизированных моделей (Q5_K_M) в понимании русского языка.
Не ожидал, что в некоторых задачах, особенно в college_mathematics, mistral 7b версии 0.1 превзойдет версию 0.2.
📊 На графиках еще видно, что уровень модели openhermes-2.5-mistral в abstract_algebra, оказался ниже, чем при случайном выборе ответов) Пока не понял как такое получилось.
Дообученная версия mistral 7B 0.1 на русском языке (проект saiga) показала значительный прирост в решении почти всех задач, кроме abstract_algebra и college_mathematics.

Планирую позже сравнить качество ответов при различных уровнях квантизации и при изменении промптов

🔍Выбирал видеокарту для запуска языковых моделей, искал оптимальное соотношение скорости генерации к цене, а также объем памяти не менее 16 ГБ. Наиболее выгодной c 24 ГБ оказалась Nvidia RTX 3090. Близка к ней оказалась 8 летняя GPU P40, но ее скорость очень мала, мой M1 Pro выдает такую-же скорость.

По косвенным данным, RTX 4080 более выгодна, но она имеет только 16 ГБ памяти 📉. (Точных замеров для 4080 не нашел, в таблице приблизительно рассчитанное значение скорости 🔮)

🔍Прогнал часть тестов из датасета NLPCoreTeam/mmlu_ru на вышедшей вчера llama 3 8b (Q5_K_M). Было интересно сравнить ее с другими в понимании русского языка. Добавил результаты к своему прошлому замеру 📊 открытых моделей. Ожидал что llama 3 превзойдет всех, но нет, на той части тестов, что я провел, она не превзошла saiga_mistral_7b и openhermes-2.5-mistral-7b. Сайга имеет весьма существенный отрыв(>2%) по среднему проценту верных ответов.

Это, конечно, мало говорит о понимании языка, нужно смотреть и другие метрики помимо mmlu. Интересно попробовать например ruMT-Bench: генеративный подход к оценке alignment для LLM на русском языке.

Попробовал с ней и просто пообщаться, кажется, что пишет она неплохо по русски. Поменялся токенайзер, русский текст разбивается на чуть меньшее количество токенов: 1 токен это около 3.25 русских букв (было около 3).

1️⃣ Про замедление YouTube

Сегодня утром я пытался понять, как работают блокировка и замедление YouTube.

В первую очередь проверил, смотрит ли РКН на SNI (Server Name Indication), ведь блокировка явно происходит не по IP. Оказалось, что смотрит. Вы можете попробовать выполнить эти две команды:

curl https://www.youtube.com
curl -v https://64.233.161.198 -H "Host:" -H "Host:www.youtube.com" -k

У тех, у кого включена блокировка, первая команда не пройдет, а вторая, вероятно, пройдет, так как в ней SNI не передается.

2️⃣

Многие писали в сети про обход через включение QUIC (Quick UDP Internet Connections) вместо TCP, но это оказалось временным решением не для всех. Сегодня утром у меня YouTube не работал даже с QUIC, проверял по UDP-пакетам в Wireshark.

По логам Wireshark понял, что замедление происходит за счет потери пакетов после хэндшейка. В логах постоянно появлялись пакеты с флагами "TCP Retransmission", “TCP Previous segment not captured”, “TCP Dup ACK”, “TCP Fast retransmission”. Видимо, оборудование РКН полностью не пропускает часть пакетов. Но и блокировка с прозрачным DPI и RST-пакетами никуда не делась, на некоторых доменах она работает.

Все еще работает у некоторых обход через дробление пакетов, например этой программой. Но я пробовал делать подобное раньше, у меня это не работало. Видимо, блокировки отличаются от провайдера к провайдеру, и они часто меняются из-за изменения маршрутов в сети и текущего сервера, в который резолвится у вас YouTube.

P.S. К концу дня YouTube снова полноценно заработал, очень нестабильная сейчас с ним связь)

Давно не делал постов — пришлось сделать паузу почти на полгода.

Я создал свой проект с доступным и временно бесплатным VPN, стараюсь сделать его надежным и удобным для всех. Если вам нужен VPN для YouTube или других целей - подключайтесь через этого бота @securewave_vpn_bot
Я буду рад любой обратной связи, можете писать здесь или в поддержку в боте.

🔥 OpenAI анонсировала “12 дней OpenAI” — 12 стримов, где, судя по всему, нас ждут новые анонсы и фичи.

Начнут уже завтра. Как думаете, что они покажут? 👀

📊Нашел интересное видео с визуализацией работы языковой модели. Оно позволяет заглянуть в то, как модель “думает” и строит свои ответы.

🌳Справа — дерево вероятностей, где видно, с какой вероятностью модель выберет следующее слово. Например, для “Intelligence is the” вероятность продолжения “ability” составляет ~75%.

🌌Слева автор показал траектории ответов в пространстве смыслов. Для этого он сжал 1536-мерный выходной слой модели с помощью PCA до трех измерений. Выглядит круто, люблю такие визуализации

Источник (может долго загружаться)

С новым годом, друзья! 🎆🎄

Давно не писал тут посты, постараюсь в этом году исправиться😄