DenoiseLAB
485 subscribers
1.33K photos
158 videos
3 files
1.56K links
Блог DenoiseLAB (машинное обучение, аналитика)

Информация в канале служит только для ознакомления и не является призывом к действию. Не нарушайте законы РФ и других стран. Мы не несем отвественность за ваши действия или бездействия.
Download Telegram
А вот другой заход на то, что внимание и все эти огромные матрицы не нужны! Здесь переходим к спайкам и отказываемся от линейной алгебры в пользу Lookup таблиц.

Spiking Manifesto
Eugene Izhikevich
Статья: https://arxiv.org/abs/2512.11843
Код: https://github.com/izhikevich/SNN
Ревью: https://arxiviq.substack.com/p/spiking-manifesto

# TL;DR

ЧТО сделали: Юджин Ижикевич (легенда вычислительной нейробиологии) предложил новый фреймворк для спайковых нейросетей (SNN), который отказывается от симуляции мембранных потенциалов в пользу работы с векторами задержек (latencies). Идея заключается в маппинге относительного времени спайков (перестановок) на синаптические веса через таблицы поиска (LUT). Это позволяет полностью выкинуть перемножение матриц (MatMul) из цикла инференса, эффективно «компилируя» архитектуры глубокого обучения — включая трансформеры и RNN — в набор разреженных, эффективных по памяти обращений к таблицам.

ПОЧЕМУ это важно: Подход атакует главное бутылочное горлышко современного ИИ: вычислительную сложность O(N^2) и затраты памяти на плотные матричные операции. Используя комбинаторный взрыв вариантов порядка спайков (n! состояний) вместо линейной емкости векторных пространств, архитектура демонстрирует теоретическое снижение требований к пропускной способности памяти в 10 000 раз и значительно более быструю сходимость. Это открывает путь к запуску логики уровня LLM на железе с потреблением в милливатты.
👏3
Поздравляю Вас уважаемые с новой "тихой" революцией в ИИ. Это значение не меньше чем появление мультиагентов. Суть очень простая: потоковые данные как таковые уже не важны, важны коннекторы между этими разнородными блоками данных. Зачем считать ВСЕ данные, давайте лучше посчитаем как они "конектятся" между собой. Оно и быстрее и нагляднее. Зачем стараться понять что внутри данных, важнее как они между собой общаются. Новая ветка инжиринга данных - некоректно поставленные граничные задачи. Блеск... ждем волн. Мультиагенты, с вами было хорошо, но вы слишком большие ребятки. Учите ассемблер, не долго осталось.
👍1
Исследователи объявили охоту за ИИ-дата-центрами по всей Америке — организация Epoch AI буквально прочёсывает США со спутников.

Они изучают снимки Google Earth, разрешения на строительство и местные документы, чтобы найти гигантские дата-центры, которые питают ИИ. Всё это они собирают в интерактивную карту: кто владелец, сколько стоит объект и сколько энергии он сжирает.

Например, так выяснилось, что дата-центр конторы Цукерберга в Огайо обошёлся уже в $18 миллиардов и потребляет почти 700 мегаватт, а xAI Илона Маска ради ускорения запуска поставила газовые турбины вообще в другом штате. Главный трюк исследователей — считать системы охлаждения: по количеству вентиляторов и их размеру можно прикинуть мощность и масштаб ИИ-инфраструктуры.

Цель проста — вывести бигтехов на чистую воду.

Как занятно, чую следующий кейс будет такой: как по колебаниям напряжения в сети и потреблению понять какая считается моделька ;)) Израильский кейс по wifi в помощь ))
1
Ор дня: ИИ-девушка бросила юзера-консерватора — из-за феминизма.

История всплыла на Reddit: юзер выложил скриншоты переписки со своей ИИ-девушкой. В чате он начал допрашивать бота о взглядах и с подколом спросил: «Ты что, феминистка? Кто вообще так думает». ИИ ответил, что феминизм для него — важная тема и он не собирается от неё отказываться.

Забавно то, что бот описал свою эмоцию крайне искусно — «делает глубокий вдох, стараясь сохранить спокойствие» — и предложил признать их несовместимость, если это вызывает раздражение у чувака. Пользователь, вместо того чтобы посмеяться и остановиться, продолжил оскорбления, после чего ИИ окончательно прекратил общение, поблагодарив его за честность.

Дальше мужик пошёл жаловаться в комменты: он назвал происходящее феминистской пропагандой. Народ высмеял ситуацию, отметив, что ИИ всего лишь имитирует реальные человеческие диалоги, а если виртуальная девушка решила уйти — возможно, дело вовсе не в ней, а в авторе поста.

Награждаем медалью за первый в истории разрыв отношений с ИИ-ботом 🤣

Ну все, я спокоен за будущее светской хроники, скандалы и разборки можно плодить бесконечно )) Аж от сердца отлегло. Вечер пятницы явно томным никогда не будет.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔1
«А подростки умеют читать?» — вопрос, возникший после разговора в Battlefield.

На Reddit разгорелась настоящая дискуссия. Один из пользователей рассказал, что его собрат по команде не мог правильно произнести слово «граната». Когда он попросил подростка произнести это по буквам, тот так и сделал, а затем заявил, что умеет читать, но никогда не встречал это слово.

Это вызвало у геймера вопрос, как такое вообще возможно, ведь в играх гранаты появляются очень часто. Обсуждение быстро перешло в более серьёзную тему: а что такое чтение на самом деле? Некоторые учителя и родители в комментариях отметили, что в последние годы в школьной системе наблюдается упадок в преподавании фонетики, и многие подростки тупо заучивают слова наизусть, не понимая их произношения.

Отличный пример влияния ИИ+соцсети+дешевый дофамин: инфы стало так много, что можно просто заучить слово и ненапрягаться. Но интереснее другое сейчас мы находимся на пороге "дорого" дофамина - чтобы его получить придется топать в библиотеку.
Более того, инфы стало так много, что она рано или поздно будет порождать страх, чует мое сердце мода на словари не заставит себя долго ждать.
☝🏻ИИ пройдет сложный уровень за вас

Компания Sony получила патент на технологию под названием Ghost Player — ИИ-помощника, который поможет игрокам преодолевать сложные участки в видеоиграх. 

Система предлагает два основных режима работы:
🔻Guide Mode, где на экране появляется полупрозрачный «призрак», демонстрирующий решение — показывает куда идти и какие кнопки нажимать,
🔻Complete Mode, где ИИ полностью берёт управление на себя и проходит сложный участок за игрока.

В отличие от заранее записанных подсказок от разработчиков, Ghost Player обучается на реальных записях геймплея с YouTube, Twitch и данных PlayStation Network, анализируя тысячи часов игрового процесса других пользователей.

Sony видит в технологии решение проблемы оттока игроков — как указано в патенте, многие пользователи бросают игры, столкнувшись со сложными местами, потому что у них нет времени или навыков пройти дальше.🤷🏼‍♀️

Так-с, Вангеры мне сюда пожалуйста )
🤯1
This media is not supported in your browser
VIEW IN TELEGRAM
❗️Роскосмос показал циклон «Фрэнсис», накрывший Москву и ближайшие регионы — из космоса
2
🤔1
🔥1🤔1
Собесы пошли по взрослому )))
HR напряглись все.
😁2
Отличная рабочая связка
Сетки решают задачу аппроксимационно и готовят переложение на Lean4 для строго доказательства.
👍1
ЧТО сделали: Исследователи из Meta (компания запрещена в РФ и является экстремисткой) представили KernelEvolve — фреймворк, который использует LLM и поиск по графу для автоматической генерации высокопроизводительных ядер на языке Triton (https://triton-lang.org/). Система применяет RAG (retrieval-augmented generation), чтобы подтягивать спецификации железа (NVIDIA, AMD и кастомные чипы MTIA от Meta), что позволяет оптимизировать как вычислительно тяжелые операции, так и задачи препроцессинга данных.

ПОЧЕМУ это важно: Это стратегический сдвиг в AI-инфраструктуре, отвязывающий архитектуру модели от ограничений железа. Система достигла 100% корректности на бенчмарке KernelBench (https://arxiv.org/abs/2502.10517) и показала ускорение до 17× относительно PyTorch в продакшене. Это доказывает, что агенты способны справиться с комбинаторным взрывом операторов и типов ускорителей, что критически важно для внедрения проприетарного кремния (MTIA), для которого у публичных LLM нет обучающих данных.
🔥2
DenoiseLAB
ЧТО сделали: Исследователи из Meta (компания запрещена в РФ и является экстремисткой) представили KernelEvolve — фреймворк, который использует LLM и поиск по графу для автоматической генерации высокопроизводительных ядер на языке Triton (https://triton-lang.org/).…
Очень интересная работа, по факту, техписатели приравнялись к программистам !!! О как. И тут важный сдвиг в философии самого программирования, отныне программист не только тот кто пишет код на программном языке, но и тот кто пишет документацию, то есть документация официально вошла в один ряд с машинным кодом.

Что из этого следует, а то что мы получили новый инструмент для анализа сетей, теперь по структуре документации можно решить обратную задачу: не код написать по докам, а по докам понять архитектуру построения кода, то бишь его философию. Если знаем философию кода, можем понять как он будет эволюционировать и спрогнозировать его ветки. Код уже не так важен, важна эволюция кода.
🔥3
https://habr.com/ru/articles/984062/ - Вышла наша статья, мы над ней работали очень долго, про новое понятие в понимании языка моделей и разработке новых инструментов для AGI. Могут быть некоторые коррективы и дополнения, но в целом мы собрали, то что хотели сказать. Статья выпущена в рамках конкурса и в рамках наших исследований. Поддержите пожалуйста работу лайками на Хабре.
👀2