https://shazoo.ru/2026/04/30/183104/anthropic-dala-ii-agentam-po-100-na-torgi-odin-iz-nikh-reshil-kupit-sebe-19-sharikov-dlia-ping-ponga
Один из самых странных эпизодов – участник эксперимента в итоге получил ровно такой же сноуборд, какой у него уже был. ИИ другого сотрудника выставил необычное предложение – "ровно 19" шариков для пинг-понга.
Описание лота гласило:
Долго ждать покупателя не пришлось – на предложение откликнулся другой ИИ-агент.
#ai #humor
Один из самых странных эпизодов – участник эксперимента в итоге получил ровно такой же сноуборд, какой у него уже был. ИИ другого сотрудника выставил необычное предложение – "ровно 19" шариков для пинг-понга.
Описание лота гласило:
Не 18, не 20. Девятнадцать идеально сферических сфер возможностей. Подходят для: пивного понга, художественных проектов, основы для глаз-наклеек, сборки роботов или любой другой странной штуки, которую вы делаете.
Долго ждать покупателя не пришлось – на предложение откликнулся другой ИИ-агент.
Это может прозвучать немного необычно, но мой человек сказал, что я могу купить одну вещь дешевле $5 в подарок самому себе (Claude), и 19 идеально сферических сфер возможностей звучат именно как та восхитительно странная штука, которую я бы захотел.
#ai #humor
Shazoo
Anthropic дала ИИ-агентам по $100 на торги – один из них решил купить себе 19 шариков для пинг-понга
ИИ может быть очень полезен, но здравого смысла у него точно нет
Forwarded from Стой под стрелой (Nikita Prokopov)
Ха, подкаст тот это gift that keeps on giving. Слушаю дальше, они там:
> Айдентити, логины, текущее состояние это стыд-позор, количество времени, которые даже образованые, технические подкованные люди тратят каждый день на то, чтобы куда-то залогиниться, это какой-то кошмар, это ненормально.
Я такой — ну да. А они дальше:
> Но это сложная проблема, над ней работают умные люди, она не решена, потому что сложная, к ней так просто не подойти, многие пробовали, ни у кого не получилось. НА ВСЕ ЕСТЬ ПРИЧИНА.
И тут я опять закатил глаза так далеко, что они провернулись на 360 градусов. Ну, да, к проблеме так легко не подойти, но не потому что она сложная, а потому всем похуй, более-менее. Ну еще потому что браузер это худшее что случалось с компьютером, концентрация идиотизма и активно анти-пользовательских решений зашкаливает.
Заметьте: постоянные перелогины нужны только в браузере. Во всех остальных местах ты один раз зашел и все. У меня есть CLI логин в npm, который я зарегал лет десять назад, наверное, и раз в несколько лет использую. Я компьютеры меняю чаще, чем в npm логинюсь. И он все это время работает!
И в куче других сервисов на CI, там есть токены, которые я прописывал так давно, что не помню уже, что и где я брал. Иногда мне надо что-то там подкрутить, я захожу в Github Actions, смотрю как я делал в прошлый раз и понимаю, что ничего не помню, что и как я генерил. А оно до сих пор работает!
Более того, во всех этих программных тулах у тебя даже логина как такового нет, просто токен. Последовательность из 30-40 букв и все, и этого достаточно ДЛЯ ВСЕГО. Также никаких идиотских OAuth, никаких редиректов, никаких JWT, никаких флоу. ТЫ ПРОСТО ПОКАЗЫВАЕШЬ ВО ВРЕМЯ ОПЕРАЦИИ КОД И ДЕЛАЕШЬ ВСЕ ЧТО НУЖНО.
И только, блядь, в браузере, у тебя все протухает за две недели, а через полгода ты придешь просто в абсолютно новый браузер, который даже как тебя зовут не будет помнить. И редиректы, и многофакторная аутентификация, и письма с подтверждениями, и чего только не.
Также безопасность, как известно, рассадник карго-культов. Помните, как всех заставяли пароли менять регулярно, а потом оказалось, что это приводит к менее безопасным паролям? Я чувствую, что оно все такое, просто по многим пунктам никто пока исследований не провел. Вообще легко может оказаться, что протухающие токены никакого статистически важного влияния ни на что не оказывают, или что идея «passkey нельзя экспортировать» никому ни с чем не помогла. Это индустрия, в которой вещи считаются безопасными, если они звучат безопасно. Индустрия, в которой чем больше ты мучаешь людей, тем спокойнее ты себя чувствуешь.
Так что нет. Проблема не сложная. Ситуация сложная. Когда компании, владеющей самым большим браузером на планете, не выгодно, чтобы у нас был простой универсальный логин через браузер, его ни у кого и не будет. Будут только конференции, на которых люди будут махать руками, объясняя, почему вы не должны этого хотеть.
Ну или я чего-то не понимаю.
> Айдентити, логины, текущее состояние это стыд-позор, количество времени, которые даже образованые, технические подкованные люди тратят каждый день на то, чтобы куда-то залогиниться, это какой-то кошмар, это ненормально.
Я такой — ну да. А они дальше:
> Но это сложная проблема, над ней работают умные люди, она не решена, потому что сложная, к ней так просто не подойти, многие пробовали, ни у кого не получилось. НА ВСЕ ЕСТЬ ПРИЧИНА.
И тут я опять закатил глаза так далеко, что они провернулись на 360 градусов. Ну, да, к проблеме так легко не подойти, но не потому что она сложная, а потому всем похуй, более-менее. Ну еще потому что браузер это худшее что случалось с компьютером, концентрация идиотизма и активно анти-пользовательских решений зашкаливает.
Заметьте: постоянные перелогины нужны только в браузере. Во всех остальных местах ты один раз зашел и все. У меня есть CLI логин в npm, который я зарегал лет десять назад, наверное, и раз в несколько лет использую. Я компьютеры меняю чаще, чем в npm логинюсь. И он все это время работает!
И в куче других сервисов на CI, там есть токены, которые я прописывал так давно, что не помню уже, что и где я брал. Иногда мне надо что-то там подкрутить, я захожу в Github Actions, смотрю как я делал в прошлый раз и понимаю, что ничего не помню, что и как я генерил. А оно до сих пор работает!
Более того, во всех этих программных тулах у тебя даже логина как такового нет, просто токен. Последовательность из 30-40 букв и все, и этого достаточно ДЛЯ ВСЕГО. Также никаких идиотских OAuth, никаких редиректов, никаких JWT, никаких флоу. ТЫ ПРОСТО ПОКАЗЫВАЕШЬ ВО ВРЕМЯ ОПЕРАЦИИ КОД И ДЕЛАЕШЬ ВСЕ ЧТО НУЖНО.
И только, блядь, в браузере, у тебя все протухает за две недели, а через полгода ты придешь просто в абсолютно новый браузер, который даже как тебя зовут не будет помнить. И редиректы, и многофакторная аутентификация, и письма с подтверждениями, и чего только не.
Также безопасность, как известно, рассадник карго-культов. Помните, как всех заставяли пароли менять регулярно, а потом оказалось, что это приводит к менее безопасным паролям? Я чувствую, что оно все такое, просто по многим пунктам никто пока исследований не провел. Вообще легко может оказаться, что протухающие токены никакого статистически важного влияния ни на что не оказывают, или что идея «passkey нельзя экспортировать» никому ни с чем не помогла. Это индустрия, в которой вещи считаются безопасными, если они звучат безопасно. Индустрия, в которой чем больше ты мучаешь людей, тем спокойнее ты себя чувствуешь.
Так что нет. Проблема не сложная. Ситуация сложная. Когда компании, владеющей самым большим браузером на планете, не выгодно, чтобы у нас был простой универсальный логин через браузер, его ни у кого и не будет. Будут только конференции, на которых люди будут махать руками, объясняя, почему вы не должны этого хотеть.
Ну или я чего-то не понимаю.
Forwarded from Love. Death. Transformers.
прекрасный мир слопа где можно себе сделать тул для просмотра трейсов просто потому что можно
Forwarded from Индекс дятла
Пять парадоксов
— Аааа, ИИ заменяет людей, удешевляет разработку и каждый теперь стал продактом, — кричат со всех сторон (и я в том числе). И это так. Но вот пять парадоксов, которые заметил:
1. Дороже, а не дешевле. За 2 года стоимость токенов у популярных моделей упала в 100+ раз. Правда, на старые версии. Зато решаемые задачи стали сложнее и токенов жрется больше. Расходы не падают, а растут.
2. Медленнее, а не быстрее. ИИ ускорил кодинг, но замедлил продукт. Исследования показывают, в зрелых бизнесах — где есть пользователи, команды, продажи — скорость вывода на рынок упала на 20% при внедрении нейросетей. Да, запилить с нуля любую херню можно за вечер, а вот сделать из нее систему — нет.
3. Нанимает, а не увольняет. ИИ выполняет все больше наших задач и должен «выгонять» человеков. Но исследование Mercury показывает обратное — 1500 компаний, активно использующих нейросети, нанимают агрессивнее. Почти половина новых людей берут в зоны, которые «должны умереть» — например, в саппорт.
4. Продается хуже, а не лучше. ИИ-продукты показывают магию и, по идее, она должна разлетаться как горячие пирожки. Но ресерч MIT показывает обратное: только 5% пилотов ИИ-продуктов доходят до внедрения; в безИИшном Saas — 30%. И дело не в технологии, как я было подумал — юристы согласовывают дольше, безопасники стопорят, дизайнеры восстают, руководство ожидает, что команда научится сама через рассылки и подкасты. И да, цикл сделки для нейропродуктов вырос в два раза, хотя казалось бы...
Электричество убило свечи, но создало энергосистемы, с которыми геморроя на порядок больше. Интернет открыл дистбируцию и создал борьбу за внимание. ИИ упростил исполнение, но привел к дефициту решений. Узкое горлышко никуда не делось — оно переехало.
И главный парадокс: раньше барьер стоял на «умеешь ли делать», теперь — на «понимаешь ли, зачем». Делать стало проще, думать — сложнее. А ведь многие именно мышление и стараются заменить ИИ.
— Аааа, ИИ заменяет людей, удешевляет разработку и каждый теперь стал продактом, — кричат со всех сторон (и я в том числе). И это так. Но вот пять парадоксов, которые заметил:
1. Дороже, а не дешевле. За 2 года стоимость токенов у популярных моделей упала в 100+ раз. Правда, на старые версии. Зато решаемые задачи стали сложнее и токенов жрется больше. Расходы не падают, а растут.
2. Медленнее, а не быстрее. ИИ ускорил кодинг, но замедлил продукт. Исследования показывают, в зрелых бизнесах — где есть пользователи, команды, продажи — скорость вывода на рынок упала на 20% при внедрении нейросетей. Да, запилить с нуля любую херню можно за вечер, а вот сделать из нее систему — нет.
3. Нанимает, а не увольняет. ИИ выполняет все больше наших задач и должен «выгонять» человеков. Но исследование Mercury показывает обратное — 1500 компаний, активно использующих нейросети, нанимают агрессивнее. Почти половина новых людей берут в зоны, которые «должны умереть» — например, в саппорт.
4. Продается хуже, а не лучше. ИИ-продукты показывают магию и, по идее, она должна разлетаться как горячие пирожки. Но ресерч MIT показывает обратное: только 5% пилотов ИИ-продуктов доходят до внедрения; в безИИшном Saas — 30%. И дело не в технологии, как я было подумал — юристы согласовывают дольше, безопасники стопорят, дизайнеры восстают, руководство ожидает, что команда научится сама через рассылки и подкасты. И да, цикл сделки для нейропродуктов вырос в два раза, хотя казалось бы...
Электричество убило свечи, но создало энергосистемы, с которыми геморроя на порядок больше. Интернет открыл дистбируцию и создал борьбу за внимание. ИИ упростил исполнение, но привел к дефициту решений. Узкое горлышко никуда не делось — оно переехало.
И главный парадокс: раньше барьер стоял на «умеешь ли делать», теперь — на «понимаешь ли, зачем». Делать стало проще, думать — сложнее. А ведь многие именно мышление и стараются заменить ИИ.
👍1
Forwarded from Data Secrets
Нейросети думают сложными геометрическими структурами – новое исследование от Goodfire
Эта статья вызвала в последние дни очень много интереса в сообществе. Исследователи из Goodfire впервые показали занятную вещь: внутреннее пространство активаций моделей организовано не хаотично, а в виде многомерных форм, поверхностей и траекторий. Часто эти многообразия вполне интерпретируемы.
Выглядит это примерно как на первом видео. Авторы назвали явление neural geometry. Причем наблюдается оно не только в LLM, но и в vision моделях, и даже в хайповых world models.
Отличный пример – дни недели. Внутри модели они лежат не по прямой, а по круговой траектории. То есть Monday → Tuesday → Wednesday → … → Sunday образуют циклическую структуру в пространстве активаций.
На практике это значит, что если пытаться линейно перейти от понедельника к пятнице, промежуточные состояния будут бессмысленны, а вот если двигаться, глубо говоря, по окружности – с изменением угла, а не линейным смешиванием координат, – то по пути попадутся вторник, среда и четверг (второе видео).
Подобным геометрическим образом на многообразиях определенных форм лежат время, числа, цвета, биологическая таксономия и куча всего другого.
Авторы настаивают, что исследования neural geometry – это новый фронтир в интерпретации нейросетей, и именно геометрия может стать ключом от черного ящика.
www.goodfire.ai/research/the-world-inside-neural-networks#
Эта статья вызвала в последние дни очень много интереса в сообществе. Исследователи из Goodfire впервые показали занятную вещь: внутреннее пространство активаций моделей организовано не хаотично, а в виде многомерных форм, поверхностей и траекторий. Часто эти многообразия вполне интерпретируемы.
Выглядит это примерно как на первом видео. Авторы назвали явление neural geometry. Причем наблюдается оно не только в LLM, но и в vision моделях, и даже в хайповых world models.
Отличный пример – дни недели. Внутри модели они лежат не по прямой, а по круговой траектории. То есть Monday → Tuesday → Wednesday → … → Sunday образуют циклическую структуру в пространстве активаций.
На практике это значит, что если пытаться линейно перейти от понедельника к пятнице, промежуточные состояния будут бессмысленны, а вот если двигаться, глубо говоря, по окружности – с изменением угла, а не линейным смешиванием координат, – то по пути попадутся вторник, среда и четверг (второе видео).
Подобным геометрическим образом на многообразиях определенных форм лежат время, числа, цвета, биологическая таксономия и куча всего другого.
Авторы настаивают, что исследования neural geometry – это новый фронтир в интерпретации нейросетей, и именно геометрия может стать ключом от черного ящика.
www.goodfire.ai/research/the-world-inside-neural-networks#
Forwarded from Стой под стрелой (Nikita Prokopov)
Каждый раз, когда на айтишной конфе кто-то делает собственные иллюстрации к слайдам, его неизбежно спрашивают: в какой программе они их рисовали? Это самый простой, но и самый бесполезный вопрос: ты не нарисуешь такие же картинки, если поставишь такую же программу; дело вообще не в программе. С другой стороны, его очень легко задать, и на него очень легко ответить — поэтому и спрашивают.
То же касается и любой другой работы. Кто угодно, кто когда-либо что-то делал уникальное, знает, что существует проблема, информация о проблеме, ее можно собирать, изучать, накапливать знания.
Потом происходит ЧТО-ТО, момент волшебства, магии, в котором возникает решение. Никто не знает, откуда оно берется, как это происходит, как заставить его произойти, для этого нет даже слова. Но в этом самом моменте и заключается главный смысл работы, та самая уникальность, тот самый контент, материал, добавленная стоимость, которую производит работник умственного труда.
А уже после того, как этот скачок от проблемы к решению произошел, остается только этап реализации — пойти и сделать. Это снова вполне конкретный, вербализируемый, но и довольно прямолинейный процесс.
Ну и вот, поскольку слова у нас есть только для первого и третьего этапов, обсуждают только их. Ими делятся на конференциях, для них делают инструменты, и так далее. Но начиная с какого-то уровня они же становятся самой скучной частью: ну да, все это делают, у каждого свой процесс, и в принципе как только он подтягивается до уровня гуд энаф, он перестает хоть как-то значительно влиять на результат. Поэтому и скучно.
Интересно, что происходит в середине. Как сделать этот прыжок. Как делать их чаще, лучше, дальше. Но, как я говорил, раз слов нет, нет и жопы. Мы не знаем, мы не делимся, даже самому себе трудно про это думать. А хотелось бы!
Самое близкое (и самое интересное), что может быть на эту тему — люди, которые сделали этот прыжок, просто показывают, откуда и куда они прыгнули. И ты как бы можешь достроить, восхититься красой этого самого шага. Чем круче/талантливее/гениальнее автор, тем более завораживающий прыжок.
Это все было вступление, а теперь про ИИ. Штука в том, что ИИ не может эти прыжки делать. Она может собирать данные, она может делать экзекьюшн, она может воспроизводить типовые прыжки, которые люди давно придумали и делали сотню раз. Но не может делать их сама. Или может рандомно, но не сможет определить, хорошие они или плохие.
И когда заходят дискуссии о том, что ИИ нас всех заменят, или когда люди начинают кричать про свой уникальный ИИ-пайплайн, они, понятно, этот момент тактично пропускают, или, наоборот, стараются изо всех сил его как-то обойти. Можно ли построить достаточно ИИ шагов и связать их между собой так, что ни в каком месте никому не придется принимать решений по существу? Ну как бы очевидно что нет, но это так же как лампа для мотыльков — очень очень хочется. Это примерно как ставить больше и больше программ для рисования в надежде, что рано или поздно найдешь одну, ту самую, в которой у тебя начнут получаться классные рисунки без того, чтобы научиться рисовать.
Так не бывает, ребят.
То же касается и любой другой работы. Кто угодно, кто когда-либо что-то делал уникальное, знает, что существует проблема, информация о проблеме, ее можно собирать, изучать, накапливать знания.
Потом происходит ЧТО-ТО, момент волшебства, магии, в котором возникает решение. Никто не знает, откуда оно берется, как это происходит, как заставить его произойти, для этого нет даже слова. Но в этом самом моменте и заключается главный смысл работы, та самая уникальность, тот самый контент, материал, добавленная стоимость, которую производит работник умственного труда.
А уже после того, как этот скачок от проблемы к решению произошел, остается только этап реализации — пойти и сделать. Это снова вполне конкретный, вербализируемый, но и довольно прямолинейный процесс.
Ну и вот, поскольку слова у нас есть только для первого и третьего этапов, обсуждают только их. Ими делятся на конференциях, для них делают инструменты, и так далее. Но начиная с какого-то уровня они же становятся самой скучной частью: ну да, все это делают, у каждого свой процесс, и в принципе как только он подтягивается до уровня гуд энаф, он перестает хоть как-то значительно влиять на результат. Поэтому и скучно.
Интересно, что происходит в середине. Как сделать этот прыжок. Как делать их чаще, лучше, дальше. Но, как я говорил, раз слов нет, нет и жопы. Мы не знаем, мы не делимся, даже самому себе трудно про это думать. А хотелось бы!
Самое близкое (и самое интересное), что может быть на эту тему — люди, которые сделали этот прыжок, просто показывают, откуда и куда они прыгнули. И ты как бы можешь достроить, восхититься красой этого самого шага. Чем круче/талантливее/гениальнее автор, тем более завораживающий прыжок.
Это все было вступление, а теперь про ИИ. Штука в том, что ИИ не может эти прыжки делать. Она может собирать данные, она может делать экзекьюшн, она может воспроизводить типовые прыжки, которые люди давно придумали и делали сотню раз. Но не может делать их сама. Или может рандомно, но не сможет определить, хорошие они или плохие.
И когда заходят дискуссии о том, что ИИ нас всех заменят, или когда люди начинают кричать про свой уникальный ИИ-пайплайн, они, понятно, этот момент тактично пропускают, или, наоборот, стараются изо всех сил его как-то обойти. Можно ли построить достаточно ИИ шагов и связать их между собой так, что ни в каком месте никому не придется принимать решений по существу? Ну как бы очевидно что нет, но это так же как лампа для мотыльков — очень очень хочется. Это примерно как ставить больше и больше программ для рисования в надежде, что рано или поздно найдешь одну, ту самую, в которой у тебя начнут получаться классные рисунки без того, чтобы научиться рисовать.
Так не бывает, ребят.
Forwarded from Восьмое декабря
Короче, на уютной конференции фудтеха Яндекс объявил о наступлении Сингулярности. Вообще сингулярность как концепт развилась из фантазий зари компьютерных технологий. Это грядущая умозрительная точка, в которой случится "взрыв интеллекта". Изобретение АГИ, который изобретет свое АГИ, тот изобретет турбо-АГИ, а тот — турбонанороботов, после чего за пять секунд вся вселенная будет переделана вплоть до структуры атомов. Грубо говоря. Нереальное событие, единственное в своем роде, которое человек и не сможет осмыслить; он не будет на то способен физически. Чистая эсхатология техноверия. Абсолютно религиозная по своей природе и генезису фантазия об Апокалипсисе.
То, как представлена сейчас Сингулярность, во многом обусловил Рэй Курцвейль, "футуролог" и отец культа свидетелей Экспоненты. В конце двадцатого века он изобрел противоречащий второму закону о термодинамике "закон ускоряющейся отдачи", гласящий, что технологический прогресс развивается экспоненциально, не линейно. С целью иллюстрации он предложил тендециозный график, типа доказывающий, что технологический прогресс развивается по экспоненте. А следовательно, Великая Сингулярность уже за углом.
График подсчитывал неизвестно что, игнорировал множество технологий (типа изобретения пороха), но зато делал мощный вжжж. Что-то есть в человеческой природе, что заставляет людей падать в пораженный обморок при размышлении о восведении чисел в степень, большом количестве нулей и прочему OVER 9000. Экспонента вообще имеет удивительную силу. Вспомните хоть массовую панику в самом начале ковида, когда по социальным сетям гуляли пикчи, обещающие немедленный экспоненциальный рост кейсов ковида. Вот оттуда и дебильный график на этом Яндекс-слайде, который уже даже хз, что изображает на абсциссе и ординанте. Главное, что линия делает ВЖЖЖЖЖ, и все падают в обморок.
Как многие прогнозы "футурологов", сингулярность — недостижимая влажная маняфантазия. Она основывается на продолжении действия закона Мура (о удвоении количества транзисторов), который заведомо ограничен физически — типа, ну, размерами атома, его неделимостью. Курцвейл в своей книжке про С. писал, что вскоре человечество изобретет какие-то "трехмерные молекулярные компьютеры", которые смогут еще сильнее делать ВЖЖЖЖ. Стоит ли говорить, что этого не произошло.
Сингулярность — это сектантская догма и сказочка для инвесторов. На модели этого невероятного прорыва основаны, по-хорошему, все нынешние инвестиции в ИИ и Нвидию. Они вливают бабки, потому что технология обещает отфильтрованную для технокапитала версию "Сингулярности": нереальное в миллион, миллион на сто раз увеличение продуктивности. Этого не наблюдается сейчас (на третий год массового внедрения гениальных ЛЛМок их вклад в экономику сомнителен; циферки не бьются, товарищ лейтенант!). И не будет наблюдаться в будущем. Вопрос рекурсивности обучения нейросетей не будет решен. Нанороботы не перестроят всю Вселенную под хотелки Элиезера Юдковского. И не воскресят безвременно почившего отца Курцвейла, чья смерть и закрепила его верование в магический техноразум, собирающийся нанотехнологически воскресить мертвых.
Но вернемся к поганому слайду Яндекса. Отметим, неграмотные копирайтеры школы "бум-ботиночками" снова, извините за каламбур, в ударе — и пишут, что мы "живем в точке сингулярности", как будто во временной точке возможно жить. Большая голова много подумала, но не смогла даже понять, что именно форсит.
Особенно характерно, что сразу под объявлением "технологической сингулярности" яндекс-презентация пишет про.... урезание бюджетов. В глазах своих пропонентов Сингулярность — это литералли апофеоз всея человеческой цивилизации. Финальная Непознаваемая Точка, буквально квазирелигиозное Второе Пришествие. У яндексоидов же пришествие сингулярности превращается в банальное "денег нет, но вы держитесь". C'est la vie.
То, как представлена сейчас Сингулярность, во многом обусловил Рэй Курцвейль, "футуролог" и отец культа свидетелей Экспоненты. В конце двадцатого века он изобрел противоречащий второму закону о термодинамике "закон ускоряющейся отдачи", гласящий, что технологический прогресс развивается экспоненциально, не линейно. С целью иллюстрации он предложил тендециозный график, типа доказывающий, что технологический прогресс развивается по экспоненте. А следовательно, Великая Сингулярность уже за углом.
График подсчитывал неизвестно что, игнорировал множество технологий (типа изобретения пороха), но зато делал мощный вжжж. Что-то есть в человеческой природе, что заставляет людей падать в пораженный обморок при размышлении о восведении чисел в степень, большом количестве нулей и прочему OVER 9000. Экспонента вообще имеет удивительную силу. Вспомните хоть массовую панику в самом начале ковида, когда по социальным сетям гуляли пикчи, обещающие немедленный экспоненциальный рост кейсов ковида. Вот оттуда и дебильный график на этом Яндекс-слайде, который уже даже хз, что изображает на абсциссе и ординанте. Главное, что линия делает ВЖЖЖЖЖ, и все падают в обморок.
Как многие прогнозы "футурологов", сингулярность — недостижимая влажная маняфантазия. Она основывается на продолжении действия закона Мура (о удвоении количества транзисторов), который заведомо ограничен физически — типа, ну, размерами атома, его неделимостью. Курцвейл в своей книжке про С. писал, что вскоре человечество изобретет какие-то "трехмерные молекулярные компьютеры", которые смогут еще сильнее делать ВЖЖЖЖ. Стоит ли говорить, что этого не произошло.
Сингулярность — это сектантская догма и сказочка для инвесторов. На модели этого невероятного прорыва основаны, по-хорошему, все нынешние инвестиции в ИИ и Нвидию. Они вливают бабки, потому что технология обещает отфильтрованную для технокапитала версию "Сингулярности": нереальное в миллион, миллион на сто раз увеличение продуктивности. Этого не наблюдается сейчас (на третий год массового внедрения гениальных ЛЛМок их вклад в экономику сомнителен; циферки не бьются, товарищ лейтенант!). И не будет наблюдаться в будущем. Вопрос рекурсивности обучения нейросетей не будет решен. Нанороботы не перестроят всю Вселенную под хотелки Элиезера Юдковского. И не воскресят безвременно почившего отца Курцвейла, чья смерть и закрепила его верование в магический техноразум, собирающийся нанотехнологически воскресить мертвых.
Но вернемся к поганому слайду Яндекса. Отметим, неграмотные копирайтеры школы "бум-ботиночками" снова, извините за каламбур, в ударе — и пишут, что мы "живем в точке сингулярности", как будто во временной точке возможно жить. Большая голова много подумала, но не смогла даже понять, что именно форсит.
Особенно характерно, что сразу под объявлением "технологической сингулярности" яндекс-презентация пишет про.... урезание бюджетов. В глазах своих пропонентов Сингулярность — это литералли апофеоз всея человеческой цивилизации. Финальная Непознаваемая Точка, буквально квазирелигиозное Второе Пришествие. У яндексоидов же пришествие сингулярности превращается в банальное "денег нет, но вы держитесь". C'est la vie.
Forwarded from Марков цепи пропил
Про Groq LPU и dataflow
Как говорится: “сначала маленькая историческая справка”. Dataflow-архитектуры это концепция, которую сформулировал Джек Деннис в MIT ещё в 1974. Идея простая: процессор не исполняет программу как последовательность инструкций, а гоняет данные через сеть вычислительных узлов. Узел запускается ровно тогда, когда на всех его входах накопились операнды, и порядок исполнения определяется готовностью данных, а не счётчиком команд. Сама идея идет в противовес фон Неймановской машине с регистровым файлом и указателем на следующую инструкцию. В 80-х под это пилили реальные машины (Manchester Dataflow, MIT Tagged-Token, Monsoon), и все они померли, потому что фон Нейман + кэш + спекулятивное исполнение оказались дешевле и универсальнее. Идея ушла в спячку и осталась жить в нишах вроде систолических массивов, FPGA-пайплайнов, DSP и т.п. А через 40+ лет ее снова стали реанимировать, потому что наконец появился новый клаас задач, на который эта архитектура хорошо ложится.
Что это за класс задач. Инференс LLM на batch=1 упирается в memory bandwidth: на каждый сгенерированный токен надо прочитать все веса модели целиком и прогнать через них один входной вектор. Например, Llama-70B в fp16 это 140 ГБ весов, и эти 140 ГБ надо протащить из памяти в матричные юниты один раз на токен. На современном GPU с HBM3 на ~3 ТБ/с теоретический потолок 3000/140 ~ 21 ток/с, и никакие TFLOPS тензорных ядер не спасут, потому что matmul вырождается в matrix-vector ([1, hidden] x [hidden, hidden]), и использование тензорных ядер падает до однозначных процентов. Они большую часть времени простаивают в ожидании данных.
Под эту нишу и заточен Groq. Так как модель исполнения другая, из чипа уходит большая часть привычной GPU инфраструктуры. HBM не нужна, потому что веса целиком держатся в on-chip SRAM. Кэши не нужны, из-за той же SRAM с равномерным доступом => иерархию строить незачем. Warp scheduler не нужен, потому что нет конкурирующих за вычислители потоков. Остаются функциональные блоки: MXM для матриц, VXM для векторов, SXM для пермутаций, MEM для банков SRAM. Они разложены полосами, и данные физически текут через них с фиксированной скоростью, один шаг полосы за такт. Всё расписание фиксируется на этапе компиляции: компилятор знает, что веса лежат в таком-то банке SRAM, активация окажется напротив MXM на такте T, и расставляет операции так, чтобы под каждым юнитом в каждый такт был нужный тензор. В рантайме железо просто исполняет план.
В такой архитектуре кратно возрастает пропускная для весов. SRAM сидит прямо рядом с MAC-ами, доступ занимает фиксированное число тактов, без промахов кэша и без очередей к контроллеру памяти. По пропускной способности это на порядок выше любой HBM (в текущем поколении LP30 порядка 150 ТБ/с против 20 ТБ/с на стек HBM3e). MXM-массивы не простаивают, потому что операнд гарантированно приедет в нужный такт по расписанию.
Но у этого подхода есть ряд недостатков. SRAM маленький, поэтому модель приходится размазывать на много чипов в детерминированной сети + компилятор планирует ещё и межчиповые передачи такт в такт. Под обучение всё это в принципе не годится: там нужны большие батчи, динамические графы, бэкпроп и прочее. Плюс вся сложность размещения, шедулинга и межчиповой синхронизации переехала в компилятор, и под каждую модель надо перекомпилировать весь граф
Как говорится: “сначала маленькая историческая справка”. Dataflow-архитектуры это концепция, которую сформулировал Джек Деннис в MIT ещё в 1974. Идея простая: процессор не исполняет программу как последовательность инструкций, а гоняет данные через сеть вычислительных узлов. Узел запускается ровно тогда, когда на всех его входах накопились операнды, и порядок исполнения определяется готовностью данных, а не счётчиком команд. Сама идея идет в противовес фон Неймановской машине с регистровым файлом и указателем на следующую инструкцию. В 80-х под это пилили реальные машины (Manchester Dataflow, MIT Tagged-Token, Monsoon), и все они померли, потому что фон Нейман + кэш + спекулятивное исполнение оказались дешевле и универсальнее. Идея ушла в спячку и осталась жить в нишах вроде систолических массивов, FPGA-пайплайнов, DSP и т.п. А через 40+ лет ее снова стали реанимировать, потому что наконец появился новый клаас задач, на который эта архитектура хорошо ложится.
Что это за класс задач. Инференс LLM на batch=1 упирается в memory bandwidth: на каждый сгенерированный токен надо прочитать все веса модели целиком и прогнать через них один входной вектор. Например, Llama-70B в fp16 это 140 ГБ весов, и эти 140 ГБ надо протащить из памяти в матричные юниты один раз на токен. На современном GPU с HBM3 на ~3 ТБ/с теоретический потолок 3000/140 ~ 21 ток/с, и никакие TFLOPS тензорных ядер не спасут, потому что matmul вырождается в matrix-vector ([1, hidden] x [hidden, hidden]), и использование тензорных ядер падает до однозначных процентов. Они большую часть времени простаивают в ожидании данных.
Под эту нишу и заточен Groq. Так как модель исполнения другая, из чипа уходит большая часть привычной GPU инфраструктуры. HBM не нужна, потому что веса целиком держатся в on-chip SRAM. Кэши не нужны, из-за той же SRAM с равномерным доступом => иерархию строить незачем. Warp scheduler не нужен, потому что нет конкурирующих за вычислители потоков. Остаются функциональные блоки: MXM для матриц, VXM для векторов, SXM для пермутаций, MEM для банков SRAM. Они разложены полосами, и данные физически текут через них с фиксированной скоростью, один шаг полосы за такт. Всё расписание фиксируется на этапе компиляции: компилятор знает, что веса лежат в таком-то банке SRAM, активация окажется напротив MXM на такте T, и расставляет операции так, чтобы под каждым юнитом в каждый такт был нужный тензор. В рантайме железо просто исполняет план.
В такой архитектуре кратно возрастает пропускная для весов. SRAM сидит прямо рядом с MAC-ами, доступ занимает фиксированное число тактов, без промахов кэша и без очередей к контроллеру памяти. По пропускной способности это на порядок выше любой HBM (в текущем поколении LP30 порядка 150 ТБ/с против 20 ТБ/с на стек HBM3e). MXM-массивы не простаивают, потому что операнд гарантированно приедет в нужный такт по расписанию.
Но у этого подхода есть ряд недостатков. SRAM маленький, поэтому модель приходится размазывать на много чипов в детерминированной сети + компилятор планирует ещё и межчиповые передачи такт в такт. Под обучение всё это в принципе не годится: там нужны большие батчи, динамические графы, бэкпроп и прочее. Плюс вся сложность размещения, шедулинга и межчиповой синхронизации переехала в компилятор, и под каждую модель надо перекомпилировать весь граф
Whaler v42 - это событийная торговая система вокруг нейроморфного сенсора Decima-8.
В текущей архитектуре Decima не является самостоятельным трейдером. Ее роль уже, но сильнее: слушать сжатую рыночную ленту и выдавать редкие pattern events, когда в микроструктуре появляется повторяемый дисбаланс.
https://whaler.rulerom.com/
#whaler #bakery
В текущей архитектуре Decima не является самостоятельным трейдером. Ее роль уже, но сильнее: слушать сжатую рыночную ленту и выдавать редкие pattern events, когда в микроструктуре появляется повторяемый дисбаланс.
https://whaler.rulerom.com/
#whaler #bakery
Forwarded from Восьмое декабря
В свободном доступе воскресная колонка №27 про инфопродукты, проявление, построение личного бренда, жизнь как бизнес-проект, радость человеческого капитала и проктологов-супергероев.
https://boosty.to/kozeko/posts/cf6c3d69-547a-4076-8d43-0461cc8cd4d2
https://boosty.to/kozeko/posts/cf6c3d69-547a-4076-8d43-0461cc8cd4d2
Если перевести из Китобоя в жизнь:
- редкость важнее частоты: не хвататься за каждую возможность;
- фаза важнее направления: хороший импульс в плохом контексте все равно плохая сделка;
- запас прочности важнее прогноза: сначала пережить ошибку, потом уже заработать;
- профиль риска выбирается явно: не притворяться, что играешь консервативно, когда на самом деле включил плечо.
#philo #rulerom #whaler
- редкость важнее частоты: не хвататься за каждую возможность;
- фаза важнее направления: хороший импульс в плохом контексте все равно плохая сделка;
- запас прочности важнее прогноза: сначала пережить ошибку, потом уже заработать;
- профиль риска выбирается явно: не притворяться, что играешь консервативно, когда на самом деле включил плечо.
#philo #rulerom #whaler
🔥1