Нейросети думают сложными геометрическими структурами – новое исследование от Goodfire
Эта статья вызвала в последние дни очень много интереса в сообществе. Исследователи из Goodfire впервые показали занятную вещь: внутреннее пространство активаций моделей организовано не хаотично, а в виде многомерных форм, поверхностей и траекторий. Часто эти многообразия вполне интерпретируемы.
Выглядит это примерно как на первом видео. Авторы назвали явление neural geometry. Причем наблюдается оно не только в LLM, но и в vision моделях, и даже в хайповых world models.
Отличный пример – дни недели. Внутри модели они лежат не по прямой, а по круговой траектории. То есть Monday → Tuesday → Wednesday → … → Sunday образуют циклическую структуру в пространстве активаций.
На практике это значит, что если пытаться линейно перейти от понедельника к пятнице, промежуточные состояния будут бессмысленны, а вот если двигаться, глубо говоря, по окружности – с изменением угла, а не линейным смешиванием координат, – то по пути попадутся вторник, среда и четверг (второе видео).
Подобным геометрическим образом на многообразиях определенных форм лежат время, числа, цвета, биологическая таксономия и куча всего другого.
Авторы настаивают, что исследования neural geometry – это новый фронтир в интерпретации нейросетей, и именно геометрия может стать ключом от черного ящика.
www.goodfire.ai/research/the-world-inside-neural-networks#
Эта статья вызвала в последние дни очень много интереса в сообществе. Исследователи из Goodfire впервые показали занятную вещь: внутреннее пространство активаций моделей организовано не хаотично, а в виде многомерных форм, поверхностей и траекторий. Часто эти многообразия вполне интерпретируемы.
Выглядит это примерно как на первом видео. Авторы назвали явление neural geometry. Причем наблюдается оно не только в LLM, но и в vision моделях, и даже в хайповых world models.
Отличный пример – дни недели. Внутри модели они лежат не по прямой, а по круговой траектории. То есть Monday → Tuesday → Wednesday → … → Sunday образуют циклическую структуру в пространстве активаций.
На практике это значит, что если пытаться линейно перейти от понедельника к пятнице, промежуточные состояния будут бессмысленны, а вот если двигаться, глубо говоря, по окружности – с изменением угла, а не линейным смешиванием координат, – то по пути попадутся вторник, среда и четверг (второе видео).
Подобным геометрическим образом на многообразиях определенных форм лежат время, числа, цвета, биологическая таксономия и куча всего другого.
Авторы настаивают, что исследования neural geometry – это новый фронтир в интерпретации нейросетей, и именно геометрия может стать ключом от черного ящика.
www.goodfire.ai/research/the-world-inside-neural-networks#
🤩142❤75🔥41👍17🤔9😁7🤯3
Media is too big
VIEW IN TELEGRAM
Thinking Machines предложили новый тип моделей, которые могут работать в потоке
Они назвали это interaction models. Идея в том, что такая модель изначально обучается для живого взаимодействия с человеком, в отличие от линейных интерфейсов в формате «пользователь написал -> модель ответила», к которым мы привыкли.
Например, она не ждет конца фразы, чтобы начать генерировать ответ; может перебить, если видит ошибку; способна говорить одновременно с пользователем (незаменимо для live-перевода).
Технически, что самое интересное, это делается не через какие-то внешние адаптеры, а вшивается прямо в процесс трейна.
Сама живость диалога достигается за счет разделения входного потока на маленькие чанки примерно по 200 мс, которые поступают в модель в формате стриминга. То есть пока пользователь еще говорит, модель уже видит новые токены и может начать что-то генерировать. За счет этого и становится возможным перебивание, живой перевод и прочее.
Звучит прямо интересно, с такой моделью хотелось бы поболтать. Но с инженерной точки зрения есть проблемы.
Например, большую модель в такой процесс встроить почти невозможно, будет слишком медленно. Так что авторы предлагают делить систему на две части: быструю interaction model, которая поддерживает живой диалог, и background model, которая берет на себя ризонинг, поиск, инструменты и тд. Когда фоновой модели есть что вернуть, interaction model встраивает это в разговор. Идея логичная, но с большими сложностями в реализации и масштабировании.
Плюс, контекст. Для системы в текущем виде длинные сессии вообще неподъемны, авторы это признают. В общем, замысел крайне занятный, но пока что – с большими дырами.
thinkingmachines.ai/blog/interaction-models/
Они назвали это interaction models. Идея в том, что такая модель изначально обучается для живого взаимодействия с человеком, в отличие от линейных интерфейсов в формате «пользователь написал -> модель ответила», к которым мы привыкли.
Например, она не ждет конца фразы, чтобы начать генерировать ответ; может перебить, если видит ошибку; способна говорить одновременно с пользователем (незаменимо для live-перевода).
Технически, что самое интересное, это делается не через какие-то внешние адаптеры, а вшивается прямо в процесс трейна.
Сама живость диалога достигается за счет разделения входного потока на маленькие чанки примерно по 200 мс, которые поступают в модель в формате стриминга. То есть пока пользователь еще говорит, модель уже видит новые токены и может начать что-то генерировать. За счет этого и становится возможным перебивание, живой перевод и прочее.
Звучит прямо интересно, с такой моделью хотелось бы поболтать. Но с инженерной точки зрения есть проблемы.
Например, большую модель в такой процесс встроить почти невозможно, будет слишком медленно. Так что авторы предлагают делить систему на две части: быструю interaction model, которая поддерживает живой диалог, и background model, которая берет на себя ризонинг, поиск, инструменты и тд. Когда фоновой модели есть что вернуть, interaction model встраивает это в разговор. Идея логичная, но с большими сложностями в реализации и масштабировании.
Плюс, контекст. Для системы в текущем виде длинные сессии вообще неподъемны, авторы это признают. В общем, замысел крайне занятный, но пока что – с большими дырами.
thinkingmachines.ai/blog/interaction-models/
👍134❤48🔥27😁7🗿3
Кажется, мы постепенно подходим к моменту, когда новые материалы будут создавать не в лаборатории, а сначала в датасете
«Норникель» и Институт Курнакова РАН запускают проект по созданию ИИ-платформы для генерации новых материалов на основе палладия. По сути это попытка собрать один из первых в России полноценных industrial-grade datasets для цифрового материаловедения.
Что особенно интересно: десятки тысяч экспериментальных измерений, накопленных ИОНХ РАН за десятилетия, впервые превращаются в обучающую среду для ИИ. Не статьи. Не abstract’ы. А реальные данные: составы, кристаллические структуры, физико-химические свойства, поведение материалов в разных условиях.
На первом этапе минимум тысяча уникальных составов. Дальше идет генеративное проектирование новых материалов под конкретные задачи промышленности.
И вот здесь начинается самое важное.Сегодня поиск нового материала – это годы экспериментов. ИИ пытается превратить это в задачу предсказания: если изменить структуру, то как изменятся свойства? Если нужен материал под экстремальную температуру, сверхтонкое покрытие или конкретную электропроводность, то можно ли сгенерировать его заранее?
Один из главных кейсов – попытка заменить золото в микроэлектронике. Сейчас индустрия ежегодно использует около 250 тонн золота: контакты, дорожки, покрытия.
Но при миниатюризации электроники старые материалы начинают упираться в физические ограничения. Палладий здесь выглядит почти идеальным кандидатом: дешевле золота, легче и при этом хорошо работает в защитных и контактных покрытиях.
Фактически задача ИИ-платформы звучит так: «сгенерируй материал под конкретный техпроцесс». Например: для серверных ИИ-процессоров, силовой электроники электромобилей, промышленных датчиков, будущих сверхтонких покрытий.
И это похоже не просто на «AI for science», а на переход к модели, где промышленность начинает обучать собственные фундаментальные ИИ на уникальных отраслевых данных.
«Норникель» и Институт Курнакова РАН запускают проект по созданию ИИ-платформы для генерации новых материалов на основе палладия. По сути это попытка собрать один из первых в России полноценных industrial-grade datasets для цифрового материаловедения.
Что особенно интересно: десятки тысяч экспериментальных измерений, накопленных ИОНХ РАН за десятилетия, впервые превращаются в обучающую среду для ИИ. Не статьи. Не abstract’ы. А реальные данные: составы, кристаллические структуры, физико-химические свойства, поведение материалов в разных условиях.
На первом этапе минимум тысяча уникальных составов. Дальше идет генеративное проектирование новых материалов под конкретные задачи промышленности.
И вот здесь начинается самое важное.Сегодня поиск нового материала – это годы экспериментов. ИИ пытается превратить это в задачу предсказания: если изменить структуру, то как изменятся свойства? Если нужен материал под экстремальную температуру, сверхтонкое покрытие или конкретную электропроводность, то можно ли сгенерировать его заранее?
Один из главных кейсов – попытка заменить золото в микроэлектронике. Сейчас индустрия ежегодно использует около 250 тонн золота: контакты, дорожки, покрытия.
Но при миниатюризации электроники старые материалы начинают упираться в физические ограничения. Палладий здесь выглядит почти идеальным кандидатом: дешевле золота, легче и при этом хорошо работает в защитных и контактных покрытиях.
Фактически задача ИИ-платформы звучит так: «сгенерируй материал под конкретный техпроцесс». Например: для серверных ИИ-процессоров, силовой электроники электромобилей, промышленных датчиков, будущих сверхтонких покрытий.
И это похоже не просто на «AI for science», а на переход к модели, где промышленность начинает обучать собственные фундаментальные ИИ на уникальных отраслевых данных.
🔥129❤31👍23😁17🗿7🤯3🤨2🤔1
Data Secrets
Thinking Machines предложили новый тип моделей, которые могут работать в потоке Они назвали это interaction models. Идея в том, что такая модель изначально обучается для живого взаимодействия с человеком, в отличие от линейных интерфейсов в формате «пользователь…
This media is not supported in your browser
VIEW IN TELEGRAM
А давайте оценим тот факт, что в новом релизе стартапа Миры Мурати Thinking Machines голосовую систему демонстрирует тот же сотрудник, что 2 года назад показывал первое демо GPT-4o в OpenAI
Ну давайте, скажите, что это сделано не специально
Ну давайте, скажите, что это сделано не специально
❤80😁72👍12🔥4🕊1
DeepMind сделали указатель мышки с ИИ
Да, ИИ может в перспективе изменить даже такие привычные вещи. Компьютерный курсор как концепция не менялся почти 50 лет, и вот DeepMind предлагают его переосмыслить.
В их механике курсор – это больше не просто курсор, которым мы водим по интерфейсу, а скорее выделитель контекста для встроенного агента.
Например, вы наводите курсор на таблицу и просите «у мышки» сформировать из нее график. Или выделяете название ресторана на картинке, а агент для вас его бронирует.
Тем самым с человека частично снимается даже такая когнитивная нагрузка, как написание промпта. То есть вам не надо объяснять ИИ детали, вы просто тыкаете во что-то и говорите «расскажи про ЭТО», «перемести ЭТО СЮДА», «исправь ЗДЕСЬ».
И, на самом деле, такое совмещение речи с жестами для человека максимально естественно, так что идея прикольная.
deepmind.google/blog/ai-pointer/
Попробовать уже можно в Gemini in Chrome и в Google AI Studio, а еще указатель собираются встроить в новые ноутбуки GoogleBook, спроектированные специально под ИИ-экспириенс.
Да, ИИ может в перспективе изменить даже такие привычные вещи. Компьютерный курсор как концепция не менялся почти 50 лет, и вот DeepMind предлагают его переосмыслить.
В их механике курсор – это больше не просто курсор, которым мы водим по интерфейсу, а скорее выделитель контекста для встроенного агента.
Например, вы наводите курсор на таблицу и просите «у мышки» сформировать из нее график. Или выделяете название ресторана на картинке, а агент для вас его бронирует.
Тем самым с человека частично снимается даже такая когнитивная нагрузка, как написание промпта. То есть вам не надо объяснять ИИ детали, вы просто тыкаете во что-то и говорите «расскажи про ЭТО», «перемести ЭТО СЮДА», «исправь ЗДЕСЬ».
И, на самом деле, такое совмещение речи с жестами для человека максимально естественно, так что идея прикольная.
deepmind.google/blog/ai-pointer/
Попробовать уже можно в Gemini in Chrome и в Google AI Studio, а еще указатель собираются встроить в новые ноутбуки GoogleBook, спроектированные специально под ИИ-экспириенс.
❤111🔥60🗿21😁19👍16🤨12
Data Secrets
Мы?
Шутки про полуоткрытые ноутбуки – уже не шутки
Инженеры везде таскают с собой слегка открытые ноутбуки, чтобы не прерывать работу агентов. Об этом явлении даже написал Business Insider. В репортаже один из разработчиков сказал, что это современный аналог iPad kid для миллениалов😐
Приоткрывать лаптопы настолько стало рутиной, что предприимчивые разработчики уже придумали специальные USB-заглушки.
Они имитируют подключение внешнего монитора, и это позволяет использовать ноут в закрытом состоянии, не переводя в спящий режим.
Современный проблемы требуют современных решений
Инженеры везде таскают с собой слегка открытые ноутбуки, чтобы не прерывать работу агентов. Об этом явлении даже написал Business Insider. В репортаже один из разработчиков сказал, что это современный аналог iPad kid для миллениалов
Приоткрывать лаптопы настолько стало рутиной, что предприимчивые разработчики уже придумали специальные USB-заглушки.
Они имитируют подключение внешнего монитора, и это позволяет использовать ноут в закрытом состоянии, не переводя в спящий режим.
Современный проблемы требуют современных решений
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁248❤31🔥25🗿13👍5🤩3⚡2🤝2😎1
Устройтесь в Яндекс за выходные
В мае и июне проводим онлайн-мероприятия быстрого найма — такой формат позволяет пройти всего две секции, вместо трёх в обычном найме, и финалы за выходные и сразу получить офер.
⚡️Ищем продуктовых, дата-аналитиков и датасаентистов с опытом на Python от 3 лет.
— Зарегистрируйтесь до 27 мая.
— 6 июня пройдите две технические секции: аналитические задачи на знание матстата и алгоритмическую задачу на знание алгоритмов и структур данных.
— 7 июня познакомьтесь с командами и получите офер.
Подробности и регистрация — на сайте: https://yandex.ru/project/events/wo-analytics-0626
⚡️Ищем ML- и DL-инженеров с опытом в доменных областях NLP, CV, RecSys и Classic ML.
— Зарегистрируйтесь до 20 мая.
— 30 мая пройдите две технические секции: Classic ML и Livecoding, ML по своей основной доменной области (NLP, CV, RecSys, Classic ML).
— 31 мая пройдите финальное интервью с командами и получите офер.
Подробности и регистрация — на сайте: https://yandex.ru/project/events/wo-ml-0526
В мае и июне проводим онлайн-мероприятия быстрого найма — такой формат позволяет пройти всего две секции, вместо трёх в обычном найме, и финалы за выходные и сразу получить офер.
⚡️Ищем продуктовых, дата-аналитиков и датасаентистов с опытом на Python от 3 лет.
— Зарегистрируйтесь до 27 мая.
— 6 июня пройдите две технические секции: аналитические задачи на знание матстата и алгоритмическую задачу на знание алгоритмов и структур данных.
— 7 июня познакомьтесь с командами и получите офер.
Подробности и регистрация — на сайте: https://yandex.ru/project/events/wo-analytics-0626
⚡️Ищем ML- и DL-инженеров с опытом в доменных областях NLP, CV, RecSys и Classic ML.
— Зарегистрируйтесь до 20 мая.
— 30 мая пройдите две технические секции: Classic ML и Livecoding, ML по своей основной доменной области (NLP, CV, RecSys, Classic ML).
— 31 мая пройдите финальное интервью с командами и получите офер.
Подробности и регистрация — на сайте: https://yandex.ru/project/events/wo-ml-0526
🤨34🗿27😁10❤8🔥5👍3🤯2
Media is too big
VIEW IN TELEGRAM
Unitree выпустили первого пилотируемого изнутри робота
Их новая модель GD01 – это что-то из Аватара: огромный робот с кабиной для человека. Он умеет ходить на двух и четырех ногах, сносит стены и стоит в районе 42 миллионов рублей.
Unitree позиционирует аппарат как гражданский персональный транспорт. Вместе с пилотом система будет весить около 500кг.
Интересно, водительские права на такого будут нужны?
Их новая модель GD01 – это что-то из Аватара: огромный робот с кабиной для человека. Он умеет ходить на двух и четырех ногах, сносит стены и стоит в районе 42 миллионов рублей.
Unitree позиционирует аппарат как гражданский персональный транспорт. Вместе с пилотом система будет весить около 500кг.
Интересно, водительские права на такого будут нужны?
🔥70😁21❤11🤯8👍1
Около 15 CEO крупных компаний полетели с Трампом в Китай, чтобы обсуждать торговые отношения
Среди них оказались Тим Кук, Илон Маск, Ларри Финк и другие. Дженсена Хуанга тоже позвали (Трамп в своем посте назвал его Великим), но, судя по новостям, он присоединился к экспедиции чуть ли не в последний момент.
Не так давно вся группа приземлилась в Китае. На официальной встрече с Си Цзиньпином они будут обсуждать снижение торговой напряженности и тарифы, которые могли бы сделать отношения более «сбалансированными».
Без Хуанга, конечно, было бы немного нелепо, потому что именно экспортные ограничения на чипы последнее время прилично подпортили отношения стран. Да, ИИ – это уже геополитика.
Интересно, к чему они придут, и получит ли Китай больший доступ к американскому рынку железа. Напоминаем, что сам Хуанг резко против ограничений на ввоз его чипов в Китай.
Среди них оказались Тим Кук, Илон Маск, Ларри Финк и другие. Дженсена Хуанга тоже позвали (Трамп в своем посте назвал его Великим), но, судя по новостям, он присоединился к экспедиции чуть ли не в последний момент.
Не так давно вся группа приземлилась в Китае. На официальной встрече с Си Цзиньпином они будут обсуждать снижение торговой напряженности и тарифы, которые могли бы сделать отношения более «сбалансированными».
Без Хуанга, конечно, было бы немного нелепо, потому что именно экспортные ограничения на чипы последнее время прилично подпортили отношения стран. Да, ИИ – это уже геополитика.
Интересно, к чему они придут, и получит ли Китай больший доступ к американскому рынку железа. Напоминаем, что сам Хуанг резко против ограничений на ввоз его чипов в Китай.
🔥71
В одной из школ США родители ученика подали на учреждение в суд из-за того, что ИИ-детектор признал его сочинение сгенерированным
Учитель использовала для проверки его эссе детектор от Turnitin, и он определил сочинение как «на 76% сгенерированное ИИ». Дальше педагог разбираться не стала (несмотря на то, что парень предоставил историю правок из Google Docs и свои черновики), просто понизила оценку и влепила в личное дело пометку об академической нечестности.
Мы погуглили: Turnitin утверждают, что их false positive rate составляет менее 1%. НО это только для документов, которые более чем на 20% сгенерированы. На уровне предложений false positive rate крутится в районе 4%. Все равно немного, но сервис сам обращает внимание на то, что их результаты не стоит использовать в качестве последней инстанции.
Короче, 5 мая родители парня подали иск в Северный окружной суд Калифорнии: требуют восстановить оценку, удалить пометки о нарушении из школьного досье и получить компенсацию.
Иронично, что сочинение было по пьесе Артура Миллера «Суровое испытание». Это произведение буквально посвящено тому, как общество разрушает судьбы людей на основе ненадежных свидетельств.
Учитель использовала для проверки его эссе детектор от Turnitin, и он определил сочинение как «на 76% сгенерированное ИИ». Дальше педагог разбираться не стала (несмотря на то, что парень предоставил историю правок из Google Docs и свои черновики), просто понизила оценку и влепила в личное дело пометку об академической нечестности.
Мы погуглили: Turnitin утверждают, что их false positive rate составляет менее 1%. НО это только для документов, которые более чем на 20% сгенерированы. На уровне предложений false positive rate крутится в районе 4%. Все равно немного, но сервис сам обращает внимание на то, что их результаты не стоит использовать в качестве последней инстанции.
Короче, 5 мая родители парня подали иск в Северный окружной суд Калифорнии: требуют восстановить оценку, удалить пометки о нарушении из школьного досье и получить компенсацию.
Иронично, что сочинение было по пьесе Артура Миллера «Суровое испытание». Это произведение буквально посвящено тому, как общество разрушает судьбы людей на основе ненадежных свидетельств.