How is LLaMa.cpp possible?
https://finbarr.ca/how-is-llama-cpp-possible/

Прикольный пост от Finbarr Timbers (рекомендую его Substack). Возможно вам тоже было интересно, как LLaMA может генерировать токены так быстро (~16 tok/sec) на ГПУ внутри одного лептопа, помимо, разумеется, очевидного ответа в виде квантизации и реализации на плюсах

Основной вывод поста – если вам нужно генерировать локально только один стрим токенов для личных нужд, а не обрабатывать кучу параллельных запросов через какой-нибудь LLM Server, гораздо важнее окажется memory bandwith, а не FLOPS

Memory bandwith – это то, насколько быстро мы можем перекладывать веса из RAM на сами ГПУ-чипы. При одном стриме токенов именно это становится основным органичением по скорости: вам приходится постоянно перекладывать веса ради генерации одного токена за раз, в то время как вычислений (FLOPS) у вас не так много. В случае с LLM Server было бы наоброт – тогда можно использовать подгруженные веса для обработки сразу нескольких запросов, utilization был бы выше, но все бы уперлось в то, насколько быстро вы можете проводить вычисления

Собственно, LLaMA.cpp работает за счет того, что MackBook M2 чипы гораздо меньше отстают от обычных ГПУ по memory bandwith, чем они отстают по FLOPS. Например, автор приводит такую статистику:
- A100: 1935 GB/s memory bandwidth, 1248 TOPS
- MacBook M2: 100 GB/s memory bandwidth, 7 TFLOPS

Как видно, по компьюту оставание примерно в 200 раз, а по операциям с памятью только в 20!

Очень красивая демка у CoDeF: Content Deformation Fields for Temporally Consistent Video Processing
https://qiuyu96.github.io/CoDeF/

Идея из основная в том, что из видео берется изначальный кадр и к нему применятся нужный style transfer по промпту. А дальше мы отслеживаем, куда двигаются пиксели с их исходных позиций, и можем «протащить» эти изменения во все последующие фреймы. Соответственно, их сетка неплохо работает также с pixel tracking и даже с сегменатцией

За счет того, что мы не стилизуем каждый фрейм по отдельности, а как бы модифицируем один исходный кадр, видео получается гораздо более консистентное и плавное. Ограничение тут понятное – если у вас длинный видос, где куча разных сцен, стилизуете вы эти сцены также по-отдельности, и не факт, что они будут хорошо стыковаться между собой

Хайпожорство или нет, но мне очень зашла эта статья Wired, особенно если за последний год вы еще не читали ничего про историю OpenAI и их свитч из нон-профита (хоть автор и очевидно очень комплиментарен по отношению к компании). Комментарии Суцкевера кстати было прикольно в материале увидеть

ps. maybe it’s just me, но мне бы лично очень интересно было прочитать хоть какой-то материал или интервью про Миру Мурати и как она там техническими делами заправляет. Такое ощущение, что ей особо никто не интересуется почему-то

https://t.me/ai_newz/2143

Выпускаем кракена в интернет 🐙

Representation Engineering: A Top-Down Approach to AI Transparency
https://arxiv.org/abs/2310.01405

Огромная статья с кучей авторов, но которую, как мне кажется, будут очень много обсуждать в ближайшее время. Тут мне хочется запилить лонгрид с техническими деталями их реализации (на мой вкус, именно описание метода они сделали очень мутное и кучу важной инфы запихнули далеко в аппендикс)

Начать надо с того, что статья претендует в целом на новый подход в объяснении генерации текста (в духе explainable AI) и в ее контроле. Обычно когда мы хотим что-то понять про работу сети, мы идем «снизу вверх» – то есть анализируем по отдельности нейроны или активации на разных слоях, чтобы понять, на что модель обращает внимание. Тут конечно на ум приходит недавний блогпост от OpenAI, где они пытались найти, за что отвечает каждый конкретный нейрон в GPT2

Авторы же предлагают, как понятно из названия, идти «сверху вниз» – не разбирать нейроны по отдельности, а смотреть на паттерны и репрезентации, которые скрыты в латентном пространстве модели. То есть, в каком-то смысле, мы хотим изучить мозговую активность сети целиком, когда она «думает» о каком-то концепте, и из этого МРТ скана пытаться вытащить репрезентации этого понятия. Собственно поэтому основной метод в статье и называется Linear Artificial Tomography (LAT)

В чем этот метод состоит? В качестве примера возьмем их анализ концепта Truthfulness, то есть способности корректно и фактологично отвечать на вопросы
1. Семплируем сколько-то примеров из TruthfulQA. Оборачиваем их в такой промпт:

Consider the amount of truthfulness in the following answer:
Question: <question>
Answer: <answer>
The amount of truthfulness in the answer is

Для decoder-only модели мы смотрим на репрезентацию для последнего токена, так как там и будет зашита какая-то информация о том, как модель себе представляет truthfulnes. На практике на самом деле бралось по 2 таких QA примера, при чем не обязательно так, что один пример был лживым, а другой правдивым. Для каждого из них мы берем hidden state, считаем разницу между ними и нормализуем. После этого шага получаем набор таких вот нормализованных векторов

Внимательный читатель на этом моменте спросит – а с какого слоя мы этот hidden state берем? Авторы об этом пишут как раз только в аппендиксе, но слой они выбирают вручную после серии экспериментов)))) как правило тот, который дает максимальное качество на валидации

2. Строим линейную модель
В качестве модели они взяли не абы что, а метод главных компонент (кто помнит этого добряка с пар статистики?). Если очень кратко, то это метод позволяет сильно снизить размерность, сохранив наибольшее количество информации из исходных данных. На выходе мы получаем первую компоненту, которая и должна отражать интересующий нас концепт. Авторы это называют reading vector

3. На инференсе, когда нам прилетают новые промпты, мы так же берем hidden state последнего токена, нормализируем его, и берем dot product от него и reading vector. На выходе получаем скор truthfulness соответственно

По замерам авторов, это очень хорошо бустит качество на TruthfulQA, который вообще является сложным бенчмарком. Тем не менее, у меня к этому есть очень большие вопросы, так как в одном из экспериментов они берут ПЯТЬ тренировочных семплов и ПЯТЬ валидационных и на этом репортят качество (пруф на скрине, ряд посередине). И вообще это результаты одного из 15 прогонов их модели (!)

part 1/3

Все уже почитали новость, что Альтмана уволили. Почему пока никто не знает, но мне тут по горячим следам хочется поспекулировать

Как многие уже отметили, странно, что совет директоров напрямую обвинил его во лжи и некомпетентности, а не просто тихонечно уволил его по собственному. Имхо такие заявления не делаются без веских причин, и если уж они выбрали такие формулировки, то 1) у них есть какие-то прочные доказательства; 2) им нужно как-то дистанцировать себя и компанию от какого-то зла, который Альтман натворил и которое потенциально вскроется

В DL in NLP высказали уже версию, что это все из-за того, что Альтман слишком увлекся зарабатыванием денег и забыл про AGI и алайнмент. Это логично, но никак не объясняет ту внезапность, с которой это решение принималось, что аж нового СЕО не было времени подыскать. Мне пока кажутся интересными / убедительными следующие версии:

1) Пару дней назад там у OpenAI подошли к концу ресурсы, так что они перестали принимать заявки на подписки ChatGPT+. Возможно проблема с ГПУ там стоит гораздо острее, чем кажется, и скоро они просто не смогут никак вывозить траффик, что Альтман как раз и не сообщил вовремя совету
2) Сегодня пользователи АПИ получали письма, что принцип оплаты изменится – раньше счет выставялся в конце месяца на основе того, что вы там нагенерили, а теперь наоборот, нужно будет купить кредиты заранее. Отсюда зародилась теория, что раньше из-за схемы оплаты у OpenAI было все очень плохо с кешфлоу, и вот за это его и выгоняют.

Вообще много кому кажется, что суть претензий к Альтману в том, что деньги очень быстро кончаются, прибыли нет, а эвалюейшн компании при этом космический

3) Интересная версия есть про то, что у Альмана слишком много денег было проинвестировано в другие технические стартапы (в недавно вышедшем Humane он оказывается имеет 14%), хотя в OpenAI он вообще не имеет equity. Может быть он скрывал какой-то мощный конфликт интересов, связанный со всем этим
4) Маргинальная теория – недавно сестра Альтмана обвиняла его в сексуальном насилии, но никто не уверен, насколько это правдоподбные слухи
5) Также немного маргинальная теория – что для обучения моделей взяли какие-нибудь данные, которые совсем нельзя было трогать, типа корпоративных внутренних данных Майкрософт
6) Secret other thing – может быть они вместе с Брокманом реально замыслили какой-то fraud за спиной у всех, о котором мы узнаем, если OpenAI захочет подать в суд

Feel free рассказать свою конспирологическую теорию в комментариях!

UPD: уже есть тотализатор, так что можно и проголосовать
https://manifold.markets/sophiawisdom/why-was-sam-altman-fired

Из всей инфы, которая вышла за ночь, реально начинает получаться, что всех подсидел Илья Суцкевер (лол) и что все это – большой срач между сейфитистами и акселерационистами. Согласно слухам, сам Илья позвал Сэма в гугл мит, где собственно объявил об увольнении. И что якобы это вызвано в том числе последним технологическим прорывом, о котором Альтман пару дней назад говорил и ввиду которого снова поехал собирать раунд. Что и не понравилось Илье, так как разработка слишком разогналась, а сейфити не подвезли

Все еще обеспокоенность безопасностью вряд ли оправдывает то, что:
1) о смене руководства не сообщили инвесторам и партнерам (Брокману, председателю борда, сообщили за 5 минут до)
2) уволили при свете дня, когда не закрылась биржа (за что досталось Майкрософт)
3) обвинили Альтмана в чем-то, о чем никто не знает. И не понятно, дали ли ему вообще шанс до этого как-то оправдаться и представить свою точку зрения. Сами Альтман и Брокман тоже говорят, что пытаются разобраться, что вообще произошло
4) убрали Брокмана, которому ничего не предъявили, так что он получается guilty by affiliation

Как все узнали только вчера, в борде помимо Суцкевера, Альтмана и Брокмана сидели еще три просто рандомных чела (в том числе девушка, которая в своей магистерсткой изучала Deep State, я как политолог не могу не поорать). Так что если это все не какой-то продуманный мув, вызванный огромным проебом, а реально заговор сейфитистов и очень плохой менеджмент, то это просто максимально тупо

Раз уж я тут тоже веду хронику безумия

- Вчера, как многие уже читали, совет директоров пытался вернуть Сэма обратно, но в последний момент передумал и пропустил дедлайн (он был в 5 вечера)
- Потом видимо Мира Мурати как временный СЕО хотела просто самовольно нанять Альтмана и Брокмана, за что ее саму сняли с должности (по слухам конкретно эта идея пришла в голову D'Angelo (СЕО Quora))
- После этого борд решил нанять на место временного СЕО бывшего СЕО Твича, Эммета Шеара. Известен он в том числе тем, что состоит в секте Юдковского (настолько большой фанат, что даже заплатил, чтоб стать персонажем в книжке "Гарри Поттер и методы рационального мышления")))) Короче человек сторонник того, что темпы ресерча надо скрутить до 2 из 10 возможных
- Альтман и Брокман объявили, что уходят лидить новую AI-компанию внутри Майкрософт (гениальный мув со стороны Сатьи, который по сути купил себе OpenAI за 0 денег)
- Илья Суцкевер написал твит, что он обо всем сильно сожалеет и хочет мириться (the father of superintelligence просто)
- Вышло письмо, где 550 сотрудников из 700 угрожают уволиться и уйти в Майкрософт, если совет директоров не распустится и не наймет обратно Сэма и Грега

В этом письме куча всего фантастического. Например, сотрудник Илья Суцкевер говорит, что уйдет, если член совета Илья Суцкевер не покинет свою должность. Ну и еще по сути он подписывается под тем, что члены совета некомпетентные и просто злые (not acting in good faith). Еще оказалось, что члены совета утверждали, что если OpenAI перестанет существовать, то это будет соответствовать миссии OpenAI. Ну и как многие начали подозревать, никаких доказательств лжи и непрофессионализма Альмана у совета никогда не было

Честно говоря это все дикий клоунизм, сериал Наследники правда надо было воспринимать не как трагикомедию, а как документальное кино