Анализ данных (Data analysis)
51.7K subscribers
3.74K photos
462 videos
1 file
3.03K links
Data science, наука о данных.

@haarrp - админ

РКН: clck.ru/3FmyAp
Download Telegram
🌟 DeepSelect: набор TopK-ядер для разреженного внимания и сэмплирования

DeepSeek выложила DeepSelect, высокопроизводительную реализацию ядра TopK, которое используется в механизме разреженного внимания DeepSeek Sparse Attention и на котором работают модели V3.2, V4 и V4.1.

Относительно torch.topk из PyTorch ядро даёт ускорение от 2 до 20 раз.

Быстрейший алгоритм зависит от типа данных, размера батча, размера словаря и величины k, поэтому библиотека заточена под два сценария:

🟢для индексатора в разреженном внимании, работает с bfloat16 при любых размерах батча и словаря;

🟢для сэмплирования, рассчитан на float32 и словарь около 128 тысяч элементов.

В обоих случаях k ограничен четырьмя тысячами, поддерживаются строки переменной длины через задание верхней границы для каждой строки, а проверка на NaN включена всегда и по умолчанию обрывает исполнение при обнаружении.

Для выжимания скорости DeepSeek советуют отключать сортировку индексов и не запрашивать значения, если нужны только позиции (последнее даёт около 10%).

⚠️ Есть вещи, которые придётся учесть:

🟠шаг строки входного тензора должен быть выровнен по величине, возвращаемой отдельной функцией, а для невыровненных данных нужна набивка;

🟠выходные тензоры библиотека выделяет сама и тоже выравнивает, из-за чего они могут оказаться несмежными;

🟠репозиторий свежий, инструмент только выложен и толком вне Deepseek ещё не обкатан.


📌Лицензирование: MIT License


🖥Github


#AI #ML #Kernels #GPU #DeepSelect #Deepseek
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍59👏52🔥48🤔47💯46🎉45😁43❤41🥰2
🌍 Четыре агента на Gemini прошли Minecraft за 27 часов и победили Эндер-дракона

Исследователи Максанс Фальдор, Сатиндер Сингх и Роберта Райляну опубликовали на arXiv эксперимент: четыре обычных кодинг-агента на базе Gemini 4 Argon прошли Minecraft в режиме выживания и убили дракона. Никакой специализированной игровой системы, ролей и готовых инструментов не было. Партия заняла 27 часов 14 минут и 2783 написанные агентами программы.

Агенты не видели экрана и не нажимали клавиш. Каждый управлял персонажем через библиотеку Mineflayer: писал короткую программу, запускал и читал вывод, то есть позицию, здоровье, инвентарь или ошибку. Общались через игровой чат и общую память. Мир случайный, сложность Easy, мобы враждебные.

Уже через 10 минут агенты сами распределили роли: инструменты, еда, алмазы, портал в Нижний мир. Для поиска крепости один бросил предмет-указатель из двух точек, отследил траектории в коде и вычислил пересечение. Крепость была в 1,3 км, ошибка составила 43 метра.

Дракон стал самым тяжёлым этапом: агенты возрождались 69 раз и между попытками записывали выводы. Один заметил, что дракона лечат кристаллы на башнях, насыпал землю у башни, разбил кристалл рукой и спустился. Финальный удар нанёс игрок, у которого оставалось 2,5 единицы здоровья из 20.

Для честности добавили пятого агента, Observer, который искал читы и обход условий. Программы могли управлять только своим персонажем, без запуска процессов, записи файлов и серверных команд. Нарушений не нашли ни он, ни ручная проверка логов.

Ограничения авторы называют сами. Агенты получали точные данные о блоках и существах через API, а не картинку, маршруты прокладывал плагин поиска пути, а сложность была низкой. Ошибок хватало: 605 смертей за игру и 22% программ завершились сбоем. Следующий шаг, игра по пикселям через виртуальные клавиатуру и мышь.

Общий файл заметок, растущая библиотека переиспользуемых функций (одна из них использовалась в 655 программах), разбор неудач перед новой попыткой и отдельный агент-наблюдатель, проверяющий честность решения.

Отчёт: https://arxiv.org/abs/2610.22319

Источник: https://uproger.com/gemini-agenty-minecraft/
❤42👍31💯24😁23👏20🎉20🔥18🤔16😍3
💰 IPO ещё не было, а сотрудники OpenAI уже продали акции на $6,6 млрд

По данным WSJ, в октябре 2025 года более 600 нынешних и бывших сотрудников OpenAI продали свои доли частным инвесторам. Около 75 человек получили по $30 млн, достигнув лимита продажи на одного участника.

Это реальные деньги от продажи акций ещё до выхода компании на биржу.

Продать долю разрешалось после двух лет владения. Для многих сотрудников, пришедших после запуска ChatGPT, эта сделка стала первой возможностью получить деньги за свои акции.

Пока рынок ждёт IPO, ранние сотрудники уже получили состояние.

https://www.wsj.com/tech/openai-employee-stock-sales-71ed10bd
💯49❤46👏39😁37👍35🎉35🔥23🤔22
🧬 ИИ научился расшифровывать сигналы, которые определяют судьбу клеток

Как стволовая клетка становится частью сердца, мозга или лёгких? В этом ей помогают химические сигналы от соседних клеток.

Исследователи MIT и Института Уайтхеда создали IRIS, модель, которая по активности генов определяет, какие сигналы получала клетка. Каждый сигнальный путь оставляет характерный «отпечаток», который ИИ учится распознавать.

Модель обучили на человеческих эмбриональных стволовых клетках, а затем применили к клеткам эмбрионов мышей, включая типы, которых она раньше не видела.

IRIS предсказала, что активация определённого сигнального пути поможет сформировать клетки, важные для развития лёгких. Эксперименты на мышиных эмбрионах подтвердили прогноз.

В перспективе это поможет точнее выращивать органоиды, лабораторные модели органов, для изучения болезней и проверки лекарств. Восстановление повреждённых тканей остаётся дальнейшей целью.

https://news.mit.edu/2026/ai-model-decodes-language-cells-use-communicate-1015
❤33👍28🎉27💯24🤔23🔥22👏22😁17🤣1
Синтетика для агентов: зачем нужен симулятор мира

Исследовательница Юхань Ло (Yuhan Luo) опубликовала эссе с говорящим названием «Мы думаем о синтетических данных слишком узко». Её тезис: синтетика давно перестала быть задачей «прогнать модель по шаблонам и получить побольше примеров». Когда мы обучаем агентов вести целые рабочие процессы, генератор данных превращается в отдельную исследовательскую систему со своими задачами, средами, проверяющими и людьми в контуре. Разбираем главные идеи и показываем, как одна из них выглядит в коде.

https://uproger.com/sinteticheskie-dannye-dlya-agentov/
👍30❤29🤔23🔥22🎉19😁18👏16💯12😐1
🧠 Физик дал Claude проверить свои статьи по квантовой гравитации. Нашлись ошибки спустя почти 20 лет.

Эмре Онур Кахья опубликовал аудит двух работ 2007–2008 годов, соавтором которых был сам. Claude Opus 5.5 использовали для пошагового повторения вычислений, а результаты отдельно проверяли кодом на SymPy и mpmath.

По данным проекта, обнаружились 4 существенных замечания, 6 ошибок, поглощаемых перенормировкой, и 23 опечатки. Среди находок: неверный общий знак и пропущенные слагаемые.

При этом основной физический вывод сохранился: в рассмотренной модели значимой однопетлевой поправки на поздних временах нет.

В репозитории доступны выкладки, код и 38 проверочных запусков для воспроизведения результатов. Автор также перечислил ограничения аудита и места, которые ещё должен проверить эксперт.

https://github.com/eokahya/claude-audits-quantum-gravity
❤56👍30👏29💯26🔥25😁24🤔20🎉17🙏1🤣1
🧠 ИИ доказывает теоремы. Зачем тогда идти в математику? Создатель 3Blue1Brown отвечает

«Никогда ещё не было лучшего времени, чтобы заниматься математикой», считает Грант Сандерсон.

Его аргумент: работа математика гораздо шире поиска доказательств. Нужно выбирать вопросы, формулировать гипотезы, строить теории, находить связи и объяснять результаты другим.

Даже если ИИ превзойдёт людей в доказательстве теорем, математическое образование сохранит ценность. Самостоятельное решение задач развивает мышление, как тренировка развивает тело: наличие машины, способной поднять больший вес, не делает спорт бессмысленным.

По мнению Сандерсона, ИИ может резко расширить возможности исследований. При этом придётся пересмотреть, за что именно учёные получают признание, когда доказательства всё чаще создаются с помощью машин.

Для начинающих это шанс участвовать в формировании новых правил работы целой науки.

https://www.youtube.com/watch?v=LKrwhjOI8Nc
👍56❤40💯31🔥23🤔23🎉21👏19😁16🤣6🥴2
🧩 Каждый раз, когда разработчик заявляет, что программирование с ИИ не считается настоящим, полезно вспомнить, что случилось с Грейс Хоппер.

Она создала первый работающий компилятор, чтобы программисты могли писать словами из английского языка вместо символов. Коллеги отказывались к нему прикасаться и настаивали, что компьютеры умеют только считать, а писать программы не могут.

Тогда «настоящим программированием» считали ручной машинный код. Потом так же защищали ассемблер, затем языки высокого уровня, потом фреймворки. Каждое поколение принимает свой текущий уровень абстракции за единственный честный способ работать, а новый слой воспринимает как жульничество.

Сегодня на этом месте стоят LLM и агенты. Через десять лет кто-то будет так же защищать уже их, объясняя новичкам, что настоящий инженер обязан хотя бы читать промпты вручную.

Сам по себе слой абстракции ничего не решает. Решает то, что вы с его помощью сумели построить и проверить.
👍94❤41💯37😁28🤔19🔥17👏17🎉16🌚3
💥 Сначала подогнал формулу под данные, потом придумал, почему она работает: так 19 октября 1900 года родилась квантовая физика

Ровно 126 лет назад Макс Планк представил закон излучения абсолютно чёрного тела. Классическая физика конца XIX века предсказывала, что на коротких длинах волн энергия излучения растёт без предела, вплоть до бесконечности. Это называли ультрафиолетовой катастрофой. На графике она выглядит как чёрная кривая, которая улетает вверх и никак не совпадает с экспериментом.

Формула Планка описала спектр точно при любой температуре. Цветные кривые на графике, для 3000, 4000 и 5000 К, плавно поднимаются, достигают пика и падают, ровно как показывают измерения. Чем горячее тело, тем сильнее пик сдвигается в сторону видимого света и коротких волн.

История получилась знакомой любому, кто работал с данными. Планк сначала нашёл выражение, которое хорошо ложилось на свежие экспериментальные результаты берлинских физиков, а уже потом искал для него физический смысл. Он признавался, что пошёл на это почти от отчаяния. Объяснение потребовало допустить, что энергия излучается и поглощается не любыми порциями, а отдельными квантами. Планк сам не был уверен, что это больше, чем математический приём, но именно с этого допущения начался путь к квантовой механике.

Спустя почти век и четверть квантовые модели стали рабочим инструментом: от физики материалов до квантовых схем и алгоритмов, которые сегодня обсуждают рядом с ИИ. Всё началось с одной кривой, которая наконец совпала с данными.
🔥56❤33💯22👍21🤔20👏16🎉16😁12
Modern web development explained 😉
👍37❤24💯23🤔21🎉19😁18🔥16👏15🥴1
📣 В Adapty открылась позиция Product Lead (Analytics & ML) 👀
Удалёнка ·

Adapty - одна из крупнейших платформ монетизации подписочных приложений. С нами работают 20 000+ приложений, через нас проходит $3B+ подписок в год, в команде 210+ человек.

Мы ищем человека, который возьмёт на себя аналитику и ML. Роль не про поддержку чужих моделей, а про то, чтобы с нуля построить направление, где аналитика, предикт и A/B-тесты впервые сходятся под одним владельцем.

Главная задача - предсказание LTV. Выручка от пользователя приходит в течение года, а решение о тратах на рекламу приложения принимают за несколько дней. Мы видим данные тысяч приложений сразу, поэтому можем предсказывать точнее всех на рынке. Пока не предсказываем, и это твоя задача.

➡️Чем заниматься:
— Определить, что мы считаем качеством модели — метрика, горизонт, baseline, калибровка — и довести предикт до этого уровня
— Забрать A/B-тесты пейволлов и свести их с предиктом: тест меряет краткосрочный эффект, а раскатывать надо по долгосрочной выручке
— Разогнать аналитику: найти, где затык — в данных, запросах или интерфейсе
— Решить судьбу накопленных ML-наработок: что доводим до продукта, что закрываем
— Вести команду из двух ML-инженеров

➡️Кого ищем:
— Классический ML и матстат на уровне предметного спора о метрике и горизонте, а не пересказа чужих выводов
— SQL и Python — сами достаёте и перепроверяете числа
— Умение взять широкое направление и довести до результата без постановки задач
— Продуктовый опыт — плюс, но не требование

📌Плюсом: подписки, мобайл или финтех (LTV, churn, когортная экономика); экспериментальный дизайн: мощность, MDE, множественные сравнения; ClickHouse; олимпиады, Kaggle, публичные проекты.

🔗 Вакансия: https://adapty.io/careers/product-lead-analytics-ml/
➡️ Контакт: @Adapty_Talent_Bot
❤24💯22👍21🤔20🔥19👏17😁16🎉16
🧰 281 AI-инструмент для разработчика - с описаниями на русском

Awesome AI DevTools RU - каталог для тех, кто хочет разобраться, что подключить к своей работе: от помощника в редакторе до агентов, тестирования и локальных моделей.

Что внутри:

• AI-IDE и терминальные агенты - Cursor, Claude Code, Codex, Cline, Aider и другие.
• Код-ревью, тестирование и безопасность.
• MCP, навыки, управление контекстом и оркестрация агентов.
• Локальные модели, LLMOps и контроль расходов.
• Отдельный раздел с российскими сервисами.

У инструментов есть метки: открытый код, бесплатный тариф, локальные модели, свой API-ключ и поддержка MCP.

Помимо каталога - сравнительные таблицы, схемы выбора и готовые стеки под разные задачи. А ещё четыре урока: как выбрать инструмент, запустить модели локально, настроить MCP и разобраться в устройстве кодирующих агентов.

Полезная закладка, когда хочется собрать рабочее окружение с ИИ, а не устанавливать всё подряд.

💻 https://github.com/justxor/awesome-ai-devtools-ru
💯31❤28😁27👏25🤔24🎉23👍21🔥11
3 GitHub-репозитория, которые растут быстрее остального агентного тулинга 🔥

cc-switch: одно окно для Claude Code, Codex, Gemini CLI и OpenCode. Провайдеры переключаются кликом, MCP и скиллы синхронизируются между инструментами.

rakazo: self-hosted платформа постоянных ИИ-тиммейтов. У каждого бота своя память, рутины и свой компьютер с браузером и терминалом.

iFixAi: аудит агентов на соответствие бизнес-политикам. 60 проверок, от prompt injection до утечек данных, итоговая оценка от A до F.

cc-switch: https://github.com/farion1231/cc-switch
rakazo: https://github.com/elie222/rakazo
iFixAi: https://github.com/ifixai-ai/iFixAi
👍32❤28🔥24😁22👏17💯16🎉12🤔11
🔥 10 AI-репозиториев недели: от видео из HTML до 3D-моделей по описанию

1. rea — разобраться в чужом софте
Даёт AI-агенту инструменты для анализа приложений: от JavaScript и Electron до нативных бинарников через Ghidra, IDA или Hopper.
https://github.com/morluto/rea

2. skills — инженерные привычки для агента
Набор навыков Мэтта Покока: уточнение требований, декомпозиция задач, TDD, диагностика багов и работа с архитектурой.
https://github.com/mattpocock/skills

3. diagram-design — понятные схемы из промпта
Навык для кодирующих агентов с 44 типами диаграмм. Результат — самостоятельный HTML с SVG, который можно открыть в браузере.
https://github.com/cathrynlavery/diagram-design

4. iFixAi — проверить работу агента
Независимый аудит: выполняет ли агент поставленную задачу и соблюдает ли ограничения. Авторы заявляют диагностику менее чем за две минуты.
https://github.com/ifixai-ai/iFixAi

5. hyperframes — написать HTML, получить видео
Превращает HTML, CSS, медиа и анимации в MP4. Подходит для роликов с графикой, объяснений и автоматизации видеопроизводства.
https://github.com/heygen-com/hyperframes

6. context-mode — меньше мусора в контексте
Обрабатывает вывод инструментов отдельно и передаёт агенту нужные фрагменты. Заявляет сокращение объёма до 98% и сохранение памяти сессий.
https://github.com/mksglu/context-mode

7. free-claude-code — разные модели в привычном агенте
Подключает Claude Code, Codex и другие инструменты к альтернативным провайдерам, включая бесплатные тарифы. Доступность и лимиты зависят от провайдера.
https://github.com/Alishahryar1/free-claude-code

8. airllm — большая модель на маленькой GPU
Загружает веса послойно: например, для Llama 70B заявлено около 4 ГБ VRAM. Потребуется место на диске; небольшой расход видеопамяти не гарантирует быструю генерацию.
https://github.com/lyogavin/airllm

9. ai-job-search — поиск работы с Claude Code
Оценивает вакансии, адаптирует резюме, готовит сопроводительные письма и помогает тренироваться перед интервью.
https://github.com/MadsLorentzen/ai-job-search

10. text-to-cad — от описания к детали
Добавляет агенту создание и редактирование CAD-моделей по тексту или изображению. Поддерживает экспорт в STEP, STL, 3MF и GLB.
https://github.com/earthtojake/text-to-cad

Сохраняйте, чтобы вернуться к проектам, когда появится подходящая задача.
❤28😁22💯18🎉16🔥15👍13🤔13👏11
One Day Offer: стань щитом для миллионов клиентов! 🔥

В департамент противодействия мошенничеству Сбера нужен аналитик данных в антифрод — чтобы разбирать тренды мошенничества, находить скрытые паттерны и превращать их в правила защиты.

Готов к таким задачам — добро пожаловать на One Day Offer: отбор за один день, разбор реальных кейсов, быстрая обратная связь.

24 октября, онлайн, регистрация и подробности — здесь!
💯21🎉20🤔19👏17❤16👍15😁14🔥13
✔️ Министерство внутренней безопасности США полностью запретило использование DeepSeek в госучреждениях

Ведомство выпустило предписание, обязывающее все федеральные гражданские агентства страны исключить продукты китайской компании DeepSeek из своей IT-инфраструктуры и удалить уже установленное ПО.

В официальном уведомлении регулятор обосновал запрет угрозой передачи данных госслужащих и подрядчиков китайскому правительству, а также риском наличия скрытых уязвимостей и вредоносных закладок в коде моделей.

Помимо прямого запрета на эксплуатацию, компании DeepSeek закрыли доступ к участию в любых госконтрактах США.


#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
😁40💯28👍22❤21👏20🎉18🤔16🔥15🥰2😱1
Sakana AI представила QD-Rec - рекомендательную систему, которая не просто выбирает лучшие варианты, а ищет нестандартные возможности.

Обычные рекомендательные алгоритмы ранжируют кандидатов по баллам. QD-Rec использует LLM и эволюционный поиск Quality-Diversity, чтобы находить качественные, разнообразные предложения и объяснять, почему их стоит рассмотреть.

Как это работает:
- ИИ выбирает перспективных кандидатов для изучения.
- Генерирует гипотезы, используя и комбинируя предыдущие идеи.
- Оценивает новые предложения и сохраняет лучшие.
- Постепенно находит новые подходы, которые обычное ранжирование могло бы упустить.

Где пригодится:
- M&A — поиск компаний для приобретения и возможных синергий.
- Маркетинг — подбор клиентов и аргументов для продажи.
- Наука — рекомендации исследований с объяснением их потенциальной пользы.

В экспериментах на выборках до 17 500 кандидатов QD-Rec в большинстве сценариев превзошла базовые методы по качеству и разнообразию рекомендаций при одинаковом количестве оценок.

Блог: https://sakana.ai/qd-rec/

Статья: https://arxiv.org/abs/2610.23470

GitHub: https://github.com/SakanaAI/QD-Rec
🔥33🎉29❤20👍20👏18🤔18💯16😁13🥰1
Альтман назвал три сценария, чем закончится гонка за сверхинтеллектом 🌍

По данным The Information, Сэм Альтман рассказал сотрудникам OpenAI о трёх возможных развязках.

Первая: международный надзорный орган по образцу МАГАТЭ, который следит за стандартами безопасности ИИ. Вторая: организация в духе ЦЕРН, где крупные лаборатории объединяют работу под одной крышей.

Третья: одна компания первой получает самоулучшающийся ИИ, набирает подавляющую экономическую мощь и, по словам Альтмана, «плавит GPU всех остальных». Этот вариант он назвал ужасным: «Obviously I think that one's terrible».

При этом, как сообщается, он же предупредил команду, что OpenAI не может позволить себе отстать от конкурентов. Получается, что худший сценарий осуждают и одновременно гонятся за ним.

Сам факт, что такие разговоры идут внутри лабораторий, показывает, куда сместилась повестка: глобальная координация по ИИ из теории превращается в практическую необходимость.
❤23🤔23💯23👏20🤣20👍18🔥18🎉14😁13🥰1
Claude разработал белки, способные связываться с опасными токсинами скорпионов. ❤️

Anthropic провела эксперимент, в котором ИИ за опасными токсинами скорпионов.** ❤️

Anthropic проведля потенциального создания противоядия.

Результаты:
- 211 вариантов отобрали для лабораторных испытаний.
- 17 белков успешно связались с целевыми токсинами.
- Два лучших показали высокую силу связывания.
- Результаты проверили в независимых лабораториях.

Anthropic опубликовала все 211 конструкций и результаты испытаний.

https://www.anthropic.com/research/claude-scorpion-toxin-binder-design
Please open Telegram to view this post
VIEW IN TELEGRAM
❤33🔥32👍27😁23🤔22🎉17💯13👏11