Почему выбрал именно этого клауд провайдера ответить затрудняюсь

Чуваки из Сakana AI (это японский стартап, основанный исследователями из Google) напилили Text-to-LoRA.

Суть: создание адаптера LoRA на лету по текстовому описанию задачи. Обычно, чтобы настроить языковую модель на конкретную задачу, требуется пердолинг с датасетом (сбор данных, разметка), дообучение и дрочба с подбором гиперпараметров. Вместо этого T2L использует гиперсеть, которая генерирует матрицы адаптации LoRA по обычному текстовому описанию задачи.

Самое интересное — разработчики обещают, что оно может работать с незнакомыми типами задач. Получается эдакий вайбкодинг для файнтюна моделек. Работает с Mistral, Llama и Gemma. В пейпере пишут, что стоимость запуска этого ништяка в среднем в 4 раза ниже, чем стандартное обучение на примерах.

Но есть и ложка дегтя: работает оно более-менее нормально только с хорошо расписанным промптом, просто написать "сделай, чтоб задача решилась быстро, хорошо и заебись" не получится — на выходе будет лора, которая делает красиво, но не то, что хотелось.

Тут статья.
Тут код

ВНИМАНИЕ!!!!

Роботы танцуют!

Спасибо за внимание.

Как тебе такое, Boston Dynamics?

автор

Наткнулся на arXiv'е на интересную статью, в которой предложили новый способ править факты в больших языковых моделях без долгого и дорогого файнтюна -- MEMOIR. Суть: часто с некоторыми запросами модельки с упорством ста ослов лажают, галлюцинируют и несут бред. Обычно в таких случаях разработчики прибегают к файнтюну, дабы исправить подобное поведение и внести точность. Можно еще юзать RAG, но он тоже часто лажает и имеет свои минусы. В статье предлагают не тащить модель на долгое дообучение и просирать тонны GPU-часов, а впиливать в неё дополнительный слой памяти – своего рода флешку в "теле" нейронки. Изначально этот слой забит нулями, т.е. пуст. Когда нужно внести что-то новое/исправить старое в существующих знаниях, правки вносятся именно туда, а базовые веса остаются нетронутыми. Когда модель отвечает, она сначала решает, стоит ли достать данные из этой памяти, а потом уже выдаёт финальный результат.

Интересно, что каждый раз новая информация укладывается в свой уголок памяти и больше ни на что не влияет. Если запрос похож на уже отредактированный, включается нужный фрагмент, если нет – модель работает в обычном режиме. Это позволяет делать до нескольких тысяч правок подряд и при этом не терять старые правки и не ломать всё остальное поведение.

Для компаний это мега-юзкейс: экономит затраченное время и шекели на дообучение модели, инженеры затрачивают считанные минуты на точечное исправление.

Кода пока нет, но скоро обещают выкатить.

тут пейпер

Gemini pro сгенерировал мне цитаты Говарда Лавкрафта, если бы он был преподавателем JavaScript. А я принёс вам:

О приведении типов и == :

«Не прибегайте к нечестивому двойному равенству, ибо оно соединяет в безумном союзе то, что должно оставаться раздельным: число и пустоту, истину и её извращённое отражение. В этой аберрации логики, в этом противоестественном слиянии сущностей, я узрел отблеск первозданного Хаоса, что предшествовал всякой строгости и порядку».

О контексте this:

«Сущность, именуемая this, не подчиняется законам здравого смысла и евклидовой геометрии. Её облик и природа меняются в зависимости от того, какой тёмный ритуал её вызвал — был то вызов метода, конструктора или же одинокой функции в безбожной пустоте глобальной области. Взирать в её бездонную переменчивость — значит рисковать утратить собственное "я" и впасть в безумие».

Об асинхронности и Callback Hell:

«Асинхронность есть не что иное, как геометрия неевклидовых пространств, воплощённая в коде. Время здесь течёт не прямо, но вьётся спиралями вглубь вложенных функций, образуя циклопические пирамиды обратных вызовов. В самом сердце этого лабиринта пульсирует обещание исполнения, которое может никогда не наступить, оставляя разум в вечном, трепетном ожидании».

О фреймворках:

«Каждый новый фреймворк — это культ, возникший из бездны NPM, сулящий порядок и спасение от древнего ужаса ванильного DOM. Его адепты шепчут о священных компонентах и виртуальных деревьях. Но под капотом их всех скрываются те же безымянные примитивы, те же щупальца событий и состояний, что сводили с ума и наших предшественников».

О глобальной области видимости:

«Не тревожьте древний легаси-код, погребённый в глубинах проекта. Ибо в его глобальной области видимости, словно в затопленном Р'льехе, дремлют переменные-монстры с именами из одной буквы. Пробуждение хотя бы одной из них обрушит на ваше хрупкое приложение волну непредсказуемых мутаций и ошибок, от которых не спасёт ни один отладчик».

О NaN:

«Среди всех чисел есть одно, что не является числом. Его имя — NaN, и это есть сама чума арифметики. Оно рождается из нечестивых операций, из деления на бездну, и разносит свою порчу, заражая всякое вычисление, к которому прикоснётся. Но самый жуткий его секрет в том, что оно не равно даже самому себе, ибо в его природе — отрицать саму суть тождества и ввергать логику в пучину безумия».

О регулярных выражениях:

«Регулярные выражения — это не строки, но древние, богохульные письмена, начертанные в незапамятные эоны до появления читаемого синтаксиса. Каждый символ, каждая скобка и квантификатор — это часть запретного ритуала, способного расчленить текст и извлечь его сокрытую суть. Но допусти ошибку в этих заклинаниях, и они обратятся против тебя, поглощая память в приступе катастрофического возврата, пока весь мир твоего приложения не схлопнется в единую точку застывшего ужаса».

О Event Loop:

«За пределами нашего кода, в невидимом эфире движка, вращается Великий Цикл Событий. Этот слепой, безразличный бог вершит судьбы наших функций, бросая одни в очередь макрозадач, а другим даруя жуткое преимущество в очереди микрозадач. Мы можем лишь молить его о милости, поднося ему наши коллбэки и промисы, но его логика остаётся за гранью нашего понимания, и порядок исполнения — его непостижимая, космическая прихоть».

Об отладчике и console.log:

«Иногда, в час отчаяния, мы взываем к Оракулу, именуемому console.log, в надежде, что он прольёт свет на тёмные процессы, происходящие внутри. Но его ответы — лишь неясные тени, искажённые отражения истинной природы объектов. И чем глубже мы погружаемся в трассировку стека, тем яснее понимаем, что ошибка — не в коде, а в самой ткани реальности, которую мы пытались подчинить своей воле».

Киберпанк, который мы заслужили.

А вообще, очень смелое предположение, что водители BMW смотрят в зеркала.