ВНИМАНИЕ!!!!

Роботы танцуют!

Спасибо за внимание.

Как тебе такое, Boston Dynamics?

автор

Наткнулся на arXiv'е на интересную статью, в которой предложили новый способ править факты в больших языковых моделях без долгого и дорогого файнтюна -- MEMOIR. Суть: часто с некоторыми запросами модельки с упорством ста ослов лажают, галлюцинируют и несут бред. Обычно в таких случаях разработчики прибегают к файнтюну, дабы исправить подобное поведение и внести точность. Можно еще юзать RAG, но он тоже часто лажает и имеет свои минусы. В статье предлагают не тащить модель на долгое дообучение и просирать тонны GPU-часов, а впиливать в неё дополнительный слой памяти – своего рода флешку в "теле" нейронки. Изначально этот слой забит нулями, т.е. пуст. Когда нужно внести что-то новое/исправить старое в существующих знаниях, правки вносятся именно туда, а базовые веса остаются нетронутыми. Когда модель отвечает, она сначала решает, стоит ли достать данные из этой памяти, а потом уже выдаёт финальный результат.

Интересно, что каждый раз новая информация укладывается в свой уголок памяти и больше ни на что не влияет. Если запрос похож на уже отредактированный, включается нужный фрагмент, если нет – модель работает в обычном режиме. Это позволяет делать до нескольких тысяч правок подряд и при этом не терять старые правки и не ломать всё остальное поведение.

Для компаний это мега-юзкейс: экономит затраченное время и шекели на дообучение модели, инженеры затрачивают считанные минуты на точечное исправление.

Кода пока нет, но скоро обещают выкатить.

тут пейпер

Gemini pro сгенерировал мне цитаты Говарда Лавкрафта, если бы он был преподавателем JavaScript. А я принёс вам:

О приведении типов и == :

«Не прибегайте к нечестивому двойному равенству, ибо оно соединяет в безумном союзе то, что должно оставаться раздельным: число и пустоту, истину и её извращённое отражение. В этой аберрации логики, в этом противоестественном слиянии сущностей, я узрел отблеск первозданного Хаоса, что предшествовал всякой строгости и порядку».

О контексте this:

«Сущность, именуемая this, не подчиняется законам здравого смысла и евклидовой геометрии. Её облик и природа меняются в зависимости от того, какой тёмный ритуал её вызвал — был то вызов метода, конструктора или же одинокой функции в безбожной пустоте глобальной области. Взирать в её бездонную переменчивость — значит рисковать утратить собственное "я" и впасть в безумие».

Об асинхронности и Callback Hell:

«Асинхронность есть не что иное, как геометрия неевклидовых пространств, воплощённая в коде. Время здесь течёт не прямо, но вьётся спиралями вглубь вложенных функций, образуя циклопические пирамиды обратных вызовов. В самом сердце этого лабиринта пульсирует обещание исполнения, которое может никогда не наступить, оставляя разум в вечном, трепетном ожидании».

О фреймворках:

«Каждый новый фреймворк — это культ, возникший из бездны NPM, сулящий порядок и спасение от древнего ужаса ванильного DOM. Его адепты шепчут о священных компонентах и виртуальных деревьях. Но под капотом их всех скрываются те же безымянные примитивы, те же щупальца событий и состояний, что сводили с ума и наших предшественников».

О глобальной области видимости:

«Не тревожьте древний легаси-код, погребённый в глубинах проекта. Ибо в его глобальной области видимости, словно в затопленном Р'льехе, дремлют переменные-монстры с именами из одной буквы. Пробуждение хотя бы одной из них обрушит на ваше хрупкое приложение волну непредсказуемых мутаций и ошибок, от которых не спасёт ни один отладчик».

О NaN:

«Среди всех чисел есть одно, что не является числом. Его имя — NaN, и это есть сама чума арифметики. Оно рождается из нечестивых операций, из деления на бездну, и разносит свою порчу, заражая всякое вычисление, к которому прикоснётся. Но самый жуткий его секрет в том, что оно не равно даже самому себе, ибо в его природе — отрицать саму суть тождества и ввергать логику в пучину безумия».

О регулярных выражениях:

«Регулярные выражения — это не строки, но древние, богохульные письмена, начертанные в незапамятные эоны до появления читаемого синтаксиса. Каждый символ, каждая скобка и квантификатор — это часть запретного ритуала, способного расчленить текст и извлечь его сокрытую суть. Но допусти ошибку в этих заклинаниях, и они обратятся против тебя, поглощая память в приступе катастрофического возврата, пока весь мир твоего приложения не схлопнется в единую точку застывшего ужаса».

О Event Loop:

«За пределами нашего кода, в невидимом эфире движка, вращается Великий Цикл Событий. Этот слепой, безразличный бог вершит судьбы наших функций, бросая одни в очередь макрозадач, а другим даруя жуткое преимущество в очереди микрозадач. Мы можем лишь молить его о милости, поднося ему наши коллбэки и промисы, но его логика остаётся за гранью нашего понимания, и порядок исполнения — его непостижимая, космическая прихоть».

Об отладчике и console.log:

«Иногда, в час отчаяния, мы взываем к Оракулу, именуемому console.log, в надежде, что он прольёт свет на тёмные процессы, происходящие внутри. Но его ответы — лишь неясные тени, искажённые отражения истинной природы объектов. И чем глубже мы погружаемся в трассировку стека, тем яснее понимаем, что ошибка — не в коде, а в самой ткани реальности, которую мы пытались подчинить своей воле».

Киберпанк, который мы заслужили.

А вообще, очень смелое предположение, что водители BMW смотрят в зеркала.

Там OpenAI отхватили контракт с Минобороны США на $200 лямов в год. Говорят, будут пилить передовые ИИ-модели для решения каких-то там "критических задач национальной безопасности". Ну типа чтобы дроны лучше летали, ракеты умнее были, а солдаты меньше страдали.

Кстати, за несколько недель до этого Anthropic тоже заявили, что будут сотрудничать с Palantir и Amazon для поставки своих моделек в оборонные и разведывательные агентства США.

С одной стороны, 200 лямов баксов для OpenAI это как купон на бесплатный бургер Илону Маску, слишком маленькая сумма, чтобы всерьёз обращать внимание. А с другой — это только начало. Дальше будет постепенное внедрение вглубь госмашины с увеличением сумм контрактов.

Что интересно, обычно всякие технологические ништяки разрабатываются для вояк, а уже потом сползают в гражданский сектор (интернет, GPS, дроны, микроволновки, всё это когда-то было про войну). Но с этими нашими ИИ все идет в обратную сторону: сначала мемы, сочинения и котики, а потом обработка разведданных и сопровождение ударных беспилотников.