Кстати, тут можете подписаться на канал одного из ресечеров в 1X (нормальном, не из казино):

https://t.me/dlinnlp

Это не реклама, мне просто кажется клевым когда в передовых технологиях – знакомые люди

Каждый раз когда запускаю локальную LLM в самолете – радуюсь нашему Sci-Fi будущему

Работал над финансовой моделью нашего стартапа и пока это делал, возникли вопросы по формулам; быстро набросал промпт эксперта а Excel и получил ответы на все вопросы прямо в полете

Интересно, что пока я скармливал разные данные таблички, цитируя для LLM значения и их ячейки, модель помимо того, что написала формулы, еще и посчитала результаты сама, и вычисления LLM сошлись с теми, что я получил в табличке – короче, самый дорогой калькулятор в мире работает

В видео Gemma 27B запущенная через llama.cpp сервер

GPU 🤝 женские сумочки

http://gpupurse.com/

1000 долларов и вы модная и в тренде, и почти готовы ранить лламу

AI-видео становятся все интереснее и интереснее (ну правда)

Давно порываюсь вам написать про ТГ-сетки которые про ML-пишут и что им не стоит верить, вот пример ⬆︎

Что на самом деле происходит с этой новой моделью Reflection-70B:

1. Пару дней твиттерский показал свою новую языковую 70B-модель которая с рекордами прошла все бенчмарки (по его утверждению это был файнтюн Llama 3.1 70b ) и что такая же 400b будет вот-вот

2. Модель начала вируситься, ее начали качать и оказалось, что она толком не работает потому что там внутри немного битый конфиг ее запуска (это если простыми словами)

3. Автор перезалил модель, сказал что все починил и все работает — но теперь оказалось что нужно использовать только специальный системный промпт чтобы она работала

4. Сообщество начало тестировать, разобрало модель по кусочкам и оказалось, что это файнтюн Llama 70b 3.0, а не 3.1. И причем не файнтюн модели целиком, а просто Lora-адаптер вмерженного в модель (тренируют кусочек модели который замещает часть модели)

5. Автор сказал, я вообще не помню что я там использовал — толи 3.0 толи 3.1, что такое Lora я не знаю, это не важно все — мы тут сейчас все заново поставим тренироваться, уже поставили точнее (зачем перетренивать модель которая по метрикам побила все бенчмарки пару дней назад мы не узнаем)

6. Параллельно с этим, появилась веб-версия этой модели о которой пишет Бекдор — и ее API дали сегодня протестировать сторонней организации, она неплохо справилась и подтвердила что результаты высокие (но модель доступна только по API)

7. Пару часов назад автор публикует новую версию модели Reflection 70b e3 и сразу пишет, что с ней что-то не так: «Веса залились, но мы все еще проверяем, чтобы убедиться, что они правильные, прежде чем мы собираемся закончить день» – зачем заливать модель до тестов? Ответа нет. UPD. Таже организация протестировала новую e3 модель и говорит, что ее качество сильно хуже того, что они видели в API.

8. Люди тестирующие веб версию Reflection 70b, обратили внимание, что она очень похожа на Sonnet 3.5 — буквально токен в токен отдает ответы такие же ответы.

9. Дальше больше, эта API-версия Reflection-70b сама удаляет слово «claude» в ответах модели 🌚

<играет цирковая музыка, вы находитесь здесь>

Буду держать вас в курсе нашей высокотехнологичной драмы – возможно, чел правда что-то натренил, но пока мы не знаем что.

Ну и для нейронок лучше читать проверенные ML-каналы, сейчас такое время, что все экспертами в АИ стали (я даже не про свой, я их часто сюда репощу)