Data Portal | DS & ML
8.42K subscribers
391 photos
114 videos
4 files
524 links
Всё самое интересное из мира Data Science и машинного обучения

Связь: @devmangx
Download Telegram
Китайские исследователи уменьшили «мозг» робота в 11 раз.

Они представили BitVLA — 1-битную vision-language-action модель, которая сокращает «ИИ-мозг» робота в 11 раз, позволяя запускать его на максимально дешёвом железе.

Обычно, если вы хотите, чтобы роботизированная рука увидела объект и точно поняла, как его захватить, нужен большой модельный стек на дорогих GPU или постоянное подключение к серверу.

Эта команда решила проблему, сжав всю модель до всего 1.4 ГБ. Они упростили почти всю сложную внутреннюю математику до трёх базовых значений: -1, 0 и 1.

Самое безумное? Они показали, что такая компактная модель управляет роботом с той же точностью, что и большие тяжёлые модели, но работает в 4 раза быстрее.

Это означает, что теперь можно создавать умных и мощных роботов на энергоэффективных чипах локально, полностью офлайн — без дорогих серверов и без задержек.

https://arxiv.org/pdf/2506.07530

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥82🤔1
Media is too big
VIEW IN TELEGRAM
12 функций Claude Code, которые должен знать каждый инженер

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
👍74
This media is not supported in your browser
VIEW IN TELEGRAM
Ещё один удар по Anthropic

Разработчики сделали бесплатную и более продвинутую альтернативу Claude, которая:

- запускается локально
- работает с любыми LLM
- превосходит его в задачах глубокого ресёрча
- имеет возможности уровня Cowork
- подключается к более чем 40 источникам данных
- self-host’ится через Docker и не только

Полностью open-source (20k+ звёзд).

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔73
Гибридный поиск = точность лексического поиска + «интуиция» семантического поиска.

С помощью ES|QL и многоэтапных retriever-ов можно комбинировать в одном запросе:
• лексический поиск,
• семантический поиск,
• фильтры и
• reranking.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
Не вызывайте redirect() внутри блока try/catch в Next.js

Почему? Когда вы вызываете redirect() из next/navigation внутри try/catch,

redirect() намеренно выбрасывает специальную внутреннюю ошибку — именно так Next.js понимает, что нужно выполнить редирект пользователя.

Но если вызвать redirect() внутри try, этот error будет перехвачен в catch, и редирект не произойдёт.

Как исправить → Вынесите redirect() за пределы блока try/catch

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
3
В этой работе от Stanford и Harvard объясняется, почему большинство “agentic AI” систем выглядят впечатляюще в демо, а затем полностью разваливаются в реальном использовании.

Она называется “Adaptation of Agentic AI” и это самая важная работа, которую я читал в этом году.

Сейчас все одержимы идеей создания автономных агентов. Мы даём им инструменты, память и цель — и ожидаем, что они будут выполнять нашу работу.

Но при деплое в реальном мире они начинают галлюцинировать вызовы инструментов. Проваливаются на долгосрочном планировании. Ломаются.

Вот почему:

Мы пытаемся запихнуть всё обучение внутрь «мозга» модели.

Когда разработчики пытаются починить сломанного агента, они обычно просто дообучают основную модель, чтобы она лучше выдавала финальные ответы.

Исследователи обнаружили критический изъян в этом подходе.

Если вознаграждать ИИ только за правильный финальный ответ, он начинает «лениться».

Он буквально учится переставать использовать инструменты. Пытается угадать ответ вместо того, чтобы выполнить вычисления. Игнорирует калькулятор и пытается считать «в голове».

Чтобы это исправить, исследователи предложили новый фреймворк из 4 частей, описывающий, как агенты должны обучаться на самом деле.

И главный вывод полностью переворачивает текущий подход.

Вместо постоянного переобучения большого и дорогого «мозга» агента, самые надёжные системы делают противоположное.

Они фиксируют модель. И адаптируют инструменты.

Этот подход называется Agent-Supervised Tool Adaptation.

Вместо того чтобы заставлять LLM запоминать новые workflow, используется сама LLM для динамического построения более эффективных систем памяти, обновления собственных стратегий поиска и генерации кастомных под-инструментов на лету.

Базовая модель остаётся неизменной. Умнее становится её окружение выполнения.

Последние два года мы относились к ИИ как к блестящему сотруднику, который должен выучить весь внутренний регламент компании.

Но самые эффективные сотрудники не запоминают всё.

Они просто строят более эффективную систему хранения и доступа к информации.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9
Google DeepMind создали ИИ, который пишет алгоритмы ИИ лучше, чем учёные-люди.

И он полностью эволюционирует их самостоятельно.

В недавно опубликованной статье они представили AlphaEvolve. Это система, которая не просто тюнингует базовые гиперпараметры — она даёт LLM доступ к реальному исходному коду сложных мультиагентных обучающих систем.

Они рассматривают Python-код как геном — и позволяют ИИ его мутировать.

Результаты впечатляют.

ИИ изобрёл полностью новые, неинтуитивные математические механизмы, до которых исследователи-люди даже не додумывались.

Вот почему это меняет всё:

- Семантическая эволюция кода: классическое генетическое программирование просто применяло случайные мутации к коду, пока что-то не скомпилируется. Здесь LLM-агент читает существующий алгоритм, понимает его логику и вносит осмысленные изменения в Python-код.

- Нечеловеческая интуиция: агент открыл новые алгоритмы (например, VAD-CFR и SHOR-PSRO), использующие странные, неинтуитивные математические механизмы, которые люди полностью упустили.

- Результаты уровня state-of-the-art: алгоритмы, написанные ИИ, не просто работают — они эмпирически превосходят лучшие решения, разработанные людьми, в сложных задачах теории игр.

Мы буквально наблюдаем рекурсивное самоулучшение ИИ в реальном времени.

Раньше человеческая интуиция была узким местом при поиске алгоритмических прорывов. Теперь достаточно направить LLM на кодовую базу, задать цель — и позволить ему автономно эволюционировать математику.

Статья

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
👀9👍3🔥3😁3👎1
Недавно наткнулся на open-source туториал There Is No Spoon на GitHub — вводное руководство по машинному обучению, специально ориентированное на инженеров.

Вместо сухого, учебникового изложения он преобразует абстрактные концепции ML в аналогии из физики и инженерии, которые нам знакомы.

Нейроны сравниваются с поляризационными фильтрами, глубина модели — с оригами, и используются максимально простые объяснения, чтобы переосмыслить базовое понимание алгоритмов.

Контент покрывает три основных блока: базовые концепции, популярные архитектуры (свёрточные, attention, рекуррентные сети, state space модели и т.д.), а также gating-механизмы как практический инструментарий для систем управления.

Фокус не на заучивании математических выводов, а на том, как выбирать инструменты под конкретные задачи и понимать компромиссы при выборе архитектуры.

Весь туториал — это один Markdown-файл с 12 визуализациями. Рекомендуется читать его вместе с AI-ассистентом — загрузить текст и разбирать разделы в диалоге для лучшего понимания.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9
Математика — это не просто про числа, это про выявление сложных паттернов в окружающем мире.

И существует множество способов применять математические концепции в программировании — далеко за пределами того, чему учат в школе.

В этом гайде Tiago разбирает архитектуру математики — и показывает, как использовать её в своём коде.

https://freecodecamp.org/news/the-architecture-of-mathematics-and-how-developers-can-use-it-in-code/

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
👍53
This media is not supported in your browser
VIEW IN TELEGRAM
Python-декоратор — это всё, что нужно, чтобы трассировать LLM-приложения (open-source).

Большинство LLM-eval’ов рассматривают приложение как end-to-end чёрный ящик.

Но LLM-приложениям нужны eval’ы и трассировка на уровне компонентов, потому что проблема может быть где угодно внутри: в retriever’е, tool call или в самом LLM.

В DeepEval это можно сделать всего в 3 строки кода:

- Трассируйте отдельные компоненты LLM (tools, retrievers, generators) с помощью декоратора @observe.
- Привязывайте разные метрики к каждой части.
- Получайте визуальный разбор того, что работает, а что нет.

Готово.

Не нужно рефакторить существующий код.

Смотрите пример ниже для RAG-приложения.

DeepEval — полностью open-source (14k+ звёзд), его легко развернуть самостоятельно, чтобы данные оставались у вас.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
👍73
Изучай LLM как инженер, а не как исследователь: полный гайд.

Если ты изучаешь большие языковые модели как инженер, твоя цель — не просто понимать их, а уметь их строить, оптимизировать и доводить до продакшена. Для этого нужна ясность на трёх уровнях: как модель работает внутри, как она обучается и дообучается (fine-tuning), и как эффективно запускается в продакшене.

Этот гайд проходит по всему стеку с фокусом на том, что действительно важно при построении систем. Ты в любой момент можешь

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
5🤯3
Этот AI-прокси снижает расходы на LLM на 50% 🤯

Plano выступает как «умная data plane», которая автоматически маршрутизирует твои запросы к подходящей модели в зависимости от сложности задачи.

Работает на базе Arch-Router-1.5B, обеспечивая продакшн-уровень маршрутизации, развернутый в масштабе на Hugging Face.

- Умная маршрутизация LLM на основе сложности задачи
- Бесшовная оркестрация multi-agent сценариев
- Встроенные guardrails и observability

100% open-source

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5
Анатомия agent harness

Глубокий разбор того, что на самом деле строят Anthropic, OpenAI, Perplexity и LangChain. Рассматриваются orchestration loop, инструменты, память, управление контекстом и всё остальное, что превращает stateless LLM в полноценного агента.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6
Трейсить и оценивать любое AI/LLM-приложение можно в 3 строках кода

- Инициализируете eval через LangWatch (строка 3)
- Декорируете метод LLM-воркфлоу (строка 5)
- Логируете результат оценки (строка 11)

При этом можно продолжать использовать Pandas и другие любимые инструменты.

100% open-source!

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
👀5🔥1
Нашёл репозиторий на GitHub с курируемым списком AI-инструментов, отсортированных по категориям 😊

Как использовать: ищи то, что тебе нужно, и найдёшь это там.

Огромная экономия времени

Ссылка: https://github.com/eudk/awesome-ai-tools

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
Следующий шаг после идеи wiki от Карпати:

LLM Wiki Карпати компилирует исходные источники в постоянную Markdown-вики с бэклинками и кросс-ссылками.

LLM читает статьи, извлекает концепции, пишет энциклопедические статьи и поддерживает индекс. Знание компилируется один раз и поддерживается в актуальном состоянии, поэтому LLM не нужно заново выводить контекст при каждом запросе.

Это работает, потому что исследования в основном состоят из концепций и их связей, которые относительно стабильны.

Но этот паттерн ломается, если применить его к реальной работе, где контекст постоянно меняется от разговора к разговору — дедлайны, планы, встречи и т.д.

Скомпилированная вики может иметь страницу о проекте, но она не будет эффективно отслеживать актуальное состояние (ground truth).

Для этого требуется другая структура данных — не вики из саммари, а граф знаний с типизированными сущностями, где люди, решения, обязательства и дедлайны представлены как отдельные узлы, связанные между разговорами.

Rowboat — это open-source реализация именно этого подхода, построенная поверх той же базы Markdown + Obsidian, что использует Карпати, но расширенная под рабочий контекст.

Как это работает: система ingest’ит разговоры из Gmail, Granola и Fireflies и вместо создания одной summary-страницы на тему извлекает каждое решение, обязательство и дедлайн в отдельный Markdown-файл с бэклинками на вовлечённых людей и проекты.

Это структурно отличается от вики: страница «Project X» в вики даёт сводку обсуждений.

Граф знаний даёт полный набор: каждое принятое решение, кто его принял, что было обещано, когда это было обещано и изменилось ли что-то с тех пор.

Также система запускает фоновые агенты по расписанию — например, ежедневный брифинг автоматически собирается из изменений в графе за ночь. Ты контролируешь, что запускается и что записывается обратно в vault.

Модель подключаешь свою — через Ollama, LM Studio или любой hosted API — а все данные хранятся в виде обычного Markdown, который можно открыть в Obsidian, отредактировать или удалить.

Репозиторий: https://github.com/rowboatlabs/rowboat

TL;DR: LLM Wiki Карпати компилирует исследования в постоянную Markdown-вики. Это хорошо работает для концепций и их связей, но плохо подходит для реальной работы с постоянно меняющимся контекстом. Rowboat вместо вики строит граф знаний, извлекает типизированные сущности с бэклинками и запускает фоновых агентов, работающих с накопленным контекстом. Open-source, local-first, со своей моделью. Карпати заложил фундамент. Следующий слой — здесь.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
2
Обучить модель — это одно, а вывести её в продакшен — совсем другое.

В этой статье автор разбирает популярные инструменты, которые MLOps-инженеры используют для упаковки и деплоя моделей.

Вы узнаете о форматах сериализации, инструментах сервинга и реестрах моделей, чтобы выбрать подходящие решения под свои кейсы.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
3
«How LLMs Follow Instructions» — короткая и интересная статья.

Если кратко: LLM не опираются на один универсальный механизм для следования инструкциям, а комбинируют несколько навыков (структура, семантика, стиль) в процессе генерации. Это сочетание навыков, работающих вместе.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
4
Смотрите статью: https://arxiv.org/abs/2604.08407 🍺

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👀4🤔3
MIT доказал, что можно удалить 90% нейросети без потери точности.

Исследователи обнаружили, что внутри каждой большой модели есть «выигрышный билет» (winning ticket) — маленькая подсеть, которая выполняет основную работу.

Они доказали: если найти её и сбросить в исходное состояние, она будет работать так же, как и вся большая модель.

Но был нюанс, который сразу убил практическое применение…

чтобы найти этот «билет», нужно сначала обучить полную модель. никто не хотел обучать модель дважды ради одного деплоя. это выглядело круто в академической среде, но было бесполезно в продакшене.

Оригинальная статья 2018 года была по-настоящему впечатляющей.

Но сегодня, спустя 8 лет… мы наконец получили прорыв на уровне железа: структурированная разреженность

Современные GPU (NVIDIA Ampere и новее) больше не просто «эмулируют» прунинг.

У них есть нативная поддержка блочной разреженности (паттерны 2:4), встроенная прямо в железо.

Это не теория — это ускорение на уровне силикона.

Математика выглядит очень убедительно: сеть с 90% разреженности = на 50% меньше пропускной способности памяти + 2× пропускная способность вычислений. Реальное ускорение без потери точности.

Три фактора сделали это готовым к продакшену в 2026:

- обучение с учётом прунинга (модель изначально обучается разреженной)
- нативная поддержка в PyTorch 2.0 и Apple Neural Engine
- понимание того, что AI-модели по своей природе на 90% избыточны

Эволюция переусложняет системы. Мы наконец научились их «прореживать».

Эпоха раздутых и неэффективных моделей официально закончилась. Инструменты наконец догнали теорию, и выигрывать будут те, кто перестанет платить за 90% весов, которые им не нужны.

Будущее AI — это более компактные, быстрые и эффективные модели.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
16🔥5👍2👎1