spoilers for The End of Evangelion

src

Послушал подкаст Лекса Фридмана с СЕО perplexity.ai. Решил воспользоваться продуктом, и мне очень зашло.

Для тех, кто не знает, perplexity.ai это поисковик, с которым можно общаться на человеческом языке. Большим его отличием от chatGPT с функцией поиска в интернете является то, что каждое утверждение подкрепляется ссылкой. В результате этого галюцинаций почти не наблюдается, и тексту можно верить.

Вот, пример того, как он отвечает на вопрос про эффективность ингибиторов обратного захвата серотонина. На простое "Do SSRI work?" оно отвечает настоящим маленьким исследованием. Я в восторге

Выпустил свою вторую статью на хабре. На этот раз в блоге яндекса

https://habr.com/ru/companies/yandex/articles/830410/

У меня, кстати, др. Поздравьте меня

Андрей классный, мы работали в одной лабе и были в один год на межнаре по физике. Подписывайтесь на его личный ресёрч блог

Записали на студии Яндекса видео с объяснением метода статьи и результатов.
Если кто-то будет завтра гулять по постер сессии на ICML - заходите, поболтаем.

Написал пост на substack про то как я портировал AQLM на мобильные телефоны и как мы с @galbdm умудрились запихнуть Llama-3.1-8b в 2.5 Гб RAM.
В посте детали про то, что нужно было дописать в Executorch чтобы скомпилировать и линкануть кастомные кернелы и как все это дело экспортировать на мобилки.
P.S. подписывайтесь на мой twitter.

Сегодня сделал первый свой коммит с описанием в несколько строчек

Сделал сайт визитку. При поступлении на пхд, вроде, часто просят

Ой, случайно две одинаковые картинки прислал

Сдал toefl на 101. Для поступления в вузы нужно 100. Очень рад

Наконец-то закончил работу над большим пет-проектом.

Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV.

Можно потестить демо здесь

видео

Увеличил на 9% скорость работы и уменьшил размер на те же 9%.
Смог сжать эмбединги в nf4 формате. Не стал жать в nf4 голову, остановился на int8, поскольку второй быстрее.

Скоро появятся маленькие модели, чтобы можно было даже на телефоне в браузере запустить.

Хотя даже сейчас можно на некоторых, люди на пикселе запускали, там много ram

Если у вас есть свободное время, анонимно потыкать в модели на llmarena.ru -- хорошее дело. Чем больше людей сравнивают модели, тем точнее рейтинг

И первая новость в обновленном канале следующая:
Мы с командой запустили свою российскую LLM Aрену.

Это такой сайт (идею скопировали у LMSYS), на котором обычные люди могут использовать разные LLM бесплатно, но взамен должны определять лучшую модель.
А мы на основе фидбека пользователей составляем рейтинг LLM и рассчитываем какая модель работает лучше всех на русском языке.

Мы попали прям в боль ML сообщества: кол-во LLM в России растет как на дрожжах, уже помимо YandexGPT, Гигачата есть и T-lite, и Вихрь, и Сайга. Новые LLM появляются каждую неделю и возникает потребность их сравнивать.

За последний месяц посещаемость проекта увеличилась в 6 раз, цитируемость бенчмарка возросла в разы, о нас написали Коммерсантъ, ITZine, Machinelearning, Tproger, ХАЙТЕК, RSpectr, hi-tech, газета.ru, Хабр, Lenta.ru.

Заходите на llmarena.ru и выбирайте лучшую модель!