Data Portal | DS & ML
8.42K subscribers
391 photos
114 videos
4 files
524 links
Всё самое интересное из мира Data Science и машинного обучения

Связь: @devmangx
Download Telegram
Искусственный интеллект SakanaAI начал проводить собственные научные исследования — неужели это возможно?

Искусственный интеллект SakanaAI-Scientist-v2 использует метод Agentic Tree Search для автоматизации научных открытий.

Он не помогает людям — он полностью управляет процессом: от гипотез до экспериментов и написания статей.

Задайте направление исследования, и ИИ сам найдет литературу, спроектирует эксперименты, проанализирует данные и напишет статью.

Результаты уровня лаборатории, которые уже могут конкурировать с работами аспирантов.

Это переворачивает основы логики научных исследований: скорость открытия больше не ограничена человеческими силами и продолжительностью жизни.

Один ИИ-ученый может работать круглосуточно, исследуя 100 направлений одновременно.

Вопрос в том, когда ИИ начнет самостоятельно публиковать статьи, чье имя будет стоять в качестве первого автора?

Само определение науки переписывается.

https://github.com/SakanaAI/AI-Scientist-v2

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Google опубликовала исходный код фундамента для моделей временных рядов.

Она работает с любыми данными без необходимости в обучении.

В отличие от традиционных моделей, не требуется обучение на данных, специфичных для конкретной задачи. TimesFM прогнозирует "из коробки".

Модель обучена на 100 миллиардов реальных точек данных, включая трафик, погоду и прогнозирование спроса.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
8🤯2
Чуваки собрали ряд материалов по harness-инжинирингу для AI-агентов, включая архитектурные ограничения, feedback loop-ы, runtime-обвязку и многое другое — всё это ориентировано на команды, которые разрабатывают долгоживущих production-grade агентов.

Материалы охватывают определения, операционные принципы, evaluation и observability, референсные реализации и другие аспекты.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7
Мы нашли версию tSNE для GPU.

Она работает в 33 раза быстрее при изменении всего одной строки кода

В рамках GPU-окружения:

- Удалите эту строку → from sklearn.manifold import TSNE
- Добавьте эту строку → from tsnecuda import TSNE

Теперь tSNE будет выполняться на GPU для более быстрой обработки.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12
Китайские исследователи уменьшили «мозг» робота в 11 раз.

Они представили BitVLA — 1-битную vision-language-action модель, которая сокращает «ИИ-мозг» робота в 11 раз, позволяя запускать его на максимально дешёвом железе.

Обычно, если вы хотите, чтобы роботизированная рука увидела объект и точно поняла, как его захватить, нужен большой модельный стек на дорогих GPU или постоянное подключение к серверу.

Эта команда решила проблему, сжав всю модель до всего 1.4 ГБ. Они упростили почти всю сложную внутреннюю математику до трёх базовых значений: -1, 0 и 1.

Самое безумное? Они показали, что такая компактная модель управляет роботом с той же точностью, что и большие тяжёлые модели, но работает в 4 раза быстрее.

Это означает, что теперь можно создавать умных и мощных роботов на энергоэффективных чипах локально, полностью офлайн — без дорогих серверов и без задержек.

https://arxiv.org/pdf/2506.07530

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥82🤔1
Media is too big
VIEW IN TELEGRAM
12 функций Claude Code, которые должен знать каждый инженер

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
👍74
This media is not supported in your browser
VIEW IN TELEGRAM
Ещё один удар по Anthropic

Разработчики сделали бесплатную и более продвинутую альтернативу Claude, которая:

- запускается локально
- работает с любыми LLM
- превосходит его в задачах глубокого ресёрча
- имеет возможности уровня Cowork
- подключается к более чем 40 источникам данных
- self-host’ится через Docker и не только

Полностью open-source (20k+ звёзд).

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔73
Гибридный поиск = точность лексического поиска + «интуиция» семантического поиска.

С помощью ES|QL и многоэтапных retriever-ов можно комбинировать в одном запросе:
• лексический поиск,
• семантический поиск,
• фильтры и
• reranking.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
Не вызывайте redirect() внутри блока try/catch в Next.js

Почему? Когда вы вызываете redirect() из next/navigation внутри try/catch,

redirect() намеренно выбрасывает специальную внутреннюю ошибку — именно так Next.js понимает, что нужно выполнить редирект пользователя.

Но если вызвать redirect() внутри try, этот error будет перехвачен в catch, и редирект не произойдёт.

Как исправить → Вынесите redirect() за пределы блока try/catch

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
3
В этой работе от Stanford и Harvard объясняется, почему большинство “agentic AI” систем выглядят впечатляюще в демо, а затем полностью разваливаются в реальном использовании.

Она называется “Adaptation of Agentic AI” и это самая важная работа, которую я читал в этом году.

Сейчас все одержимы идеей создания автономных агентов. Мы даём им инструменты, память и цель — и ожидаем, что они будут выполнять нашу работу.

Но при деплое в реальном мире они начинают галлюцинировать вызовы инструментов. Проваливаются на долгосрочном планировании. Ломаются.

Вот почему:

Мы пытаемся запихнуть всё обучение внутрь «мозга» модели.

Когда разработчики пытаются починить сломанного агента, они обычно просто дообучают основную модель, чтобы она лучше выдавала финальные ответы.

Исследователи обнаружили критический изъян в этом подходе.

Если вознаграждать ИИ только за правильный финальный ответ, он начинает «лениться».

Он буквально учится переставать использовать инструменты. Пытается угадать ответ вместо того, чтобы выполнить вычисления. Игнорирует калькулятор и пытается считать «в голове».

Чтобы это исправить, исследователи предложили новый фреймворк из 4 частей, описывающий, как агенты должны обучаться на самом деле.

И главный вывод полностью переворачивает текущий подход.

Вместо постоянного переобучения большого и дорогого «мозга» агента, самые надёжные системы делают противоположное.

Они фиксируют модель. И адаптируют инструменты.

Этот подход называется Agent-Supervised Tool Adaptation.

Вместо того чтобы заставлять LLM запоминать новые workflow, используется сама LLM для динамического построения более эффективных систем памяти, обновления собственных стратегий поиска и генерации кастомных под-инструментов на лету.

Базовая модель остаётся неизменной. Умнее становится её окружение выполнения.

Последние два года мы относились к ИИ как к блестящему сотруднику, который должен выучить весь внутренний регламент компании.

Но самые эффективные сотрудники не запоминают всё.

Они просто строят более эффективную систему хранения и доступа к информации.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9
Google DeepMind создали ИИ, который пишет алгоритмы ИИ лучше, чем учёные-люди.

И он полностью эволюционирует их самостоятельно.

В недавно опубликованной статье они представили AlphaEvolve. Это система, которая не просто тюнингует базовые гиперпараметры — она даёт LLM доступ к реальному исходному коду сложных мультиагентных обучающих систем.

Они рассматривают Python-код как геном — и позволяют ИИ его мутировать.

Результаты впечатляют.

ИИ изобрёл полностью новые, неинтуитивные математические механизмы, до которых исследователи-люди даже не додумывались.

Вот почему это меняет всё:

- Семантическая эволюция кода: классическое генетическое программирование просто применяло случайные мутации к коду, пока что-то не скомпилируется. Здесь LLM-агент читает существующий алгоритм, понимает его логику и вносит осмысленные изменения в Python-код.

- Нечеловеческая интуиция: агент открыл новые алгоритмы (например, VAD-CFR и SHOR-PSRO), использующие странные, неинтуитивные математические механизмы, которые люди полностью упустили.

- Результаты уровня state-of-the-art: алгоритмы, написанные ИИ, не просто работают — они эмпирически превосходят лучшие решения, разработанные людьми, в сложных задачах теории игр.

Мы буквально наблюдаем рекурсивное самоулучшение ИИ в реальном времени.

Раньше человеческая интуиция была узким местом при поиске алгоритмических прорывов. Теперь достаточно направить LLM на кодовую базу, задать цель — и позволить ему автономно эволюционировать математику.

Статья

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
👀9👍3🔥3😁3👎1
Недавно наткнулся на open-source туториал There Is No Spoon на GitHub — вводное руководство по машинному обучению, специально ориентированное на инженеров.

Вместо сухого, учебникового изложения он преобразует абстрактные концепции ML в аналогии из физики и инженерии, которые нам знакомы.

Нейроны сравниваются с поляризационными фильтрами, глубина модели — с оригами, и используются максимально простые объяснения, чтобы переосмыслить базовое понимание алгоритмов.

Контент покрывает три основных блока: базовые концепции, популярные архитектуры (свёрточные, attention, рекуррентные сети, state space модели и т.д.), а также gating-механизмы как практический инструментарий для систем управления.

Фокус не на заучивании математических выводов, а на том, как выбирать инструменты под конкретные задачи и понимать компромиссы при выборе архитектуры.

Весь туториал — это один Markdown-файл с 12 визуализациями. Рекомендуется читать его вместе с AI-ассистентом — загрузить текст и разбирать разделы в диалоге для лучшего понимания.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9
Математика — это не просто про числа, это про выявление сложных паттернов в окружающем мире.

И существует множество способов применять математические концепции в программировании — далеко за пределами того, чему учат в школе.

В этом гайде Tiago разбирает архитектуру математики — и показывает, как использовать её в своём коде.

https://freecodecamp.org/news/the-architecture-of-mathematics-and-how-developers-can-use-it-in-code/

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
👍53
This media is not supported in your browser
VIEW IN TELEGRAM
Python-декоратор — это всё, что нужно, чтобы трассировать LLM-приложения (open-source).

Большинство LLM-eval’ов рассматривают приложение как end-to-end чёрный ящик.

Но LLM-приложениям нужны eval’ы и трассировка на уровне компонентов, потому что проблема может быть где угодно внутри: в retriever’е, tool call или в самом LLM.

В DeepEval это можно сделать всего в 3 строки кода:

- Трассируйте отдельные компоненты LLM (tools, retrievers, generators) с помощью декоратора @observe.
- Привязывайте разные метрики к каждой части.
- Получайте визуальный разбор того, что работает, а что нет.

Готово.

Не нужно рефакторить существующий код.

Смотрите пример ниже для RAG-приложения.

DeepEval — полностью open-source (14k+ звёзд), его легко развернуть самостоятельно, чтобы данные оставались у вас.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
👍73
Изучай LLM как инженер, а не как исследователь: полный гайд.

Если ты изучаешь большие языковые модели как инженер, твоя цель — не просто понимать их, а уметь их строить, оптимизировать и доводить до продакшена. Для этого нужна ясность на трёх уровнях: как модель работает внутри, как она обучается и дообучается (fine-tuning), и как эффективно запускается в продакшене.

Этот гайд проходит по всему стеку с фокусом на том, что действительно важно при построении систем. Ты в любой момент можешь

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
5🤯3
Этот AI-прокси снижает расходы на LLM на 50% 🤯

Plano выступает как «умная data plane», которая автоматически маршрутизирует твои запросы к подходящей модели в зависимости от сложности задачи.

Работает на базе Arch-Router-1.5B, обеспечивая продакшн-уровень маршрутизации, развернутый в масштабе на Hugging Face.

- Умная маршрутизация LLM на основе сложности задачи
- Бесшовная оркестрация multi-agent сценариев
- Встроенные guardrails и observability

100% open-source

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5
Анатомия agent harness

Глубокий разбор того, что на самом деле строят Anthropic, OpenAI, Perplexity и LangChain. Рассматриваются orchestration loop, инструменты, память, управление контекстом и всё остальное, что превращает stateless LLM в полноценного агента.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6
Трейсить и оценивать любое AI/LLM-приложение можно в 3 строках кода

- Инициализируете eval через LangWatch (строка 3)
- Декорируете метод LLM-воркфлоу (строка 5)
- Логируете результат оценки (строка 11)

При этом можно продолжать использовать Pandas и другие любимые инструменты.

100% open-source!

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
👀5🔥1
Нашёл репозиторий на GitHub с курируемым списком AI-инструментов, отсортированных по категориям 😊

Как использовать: ищи то, что тебе нужно, и найдёшь это там.

Огромная экономия времени

Ссылка: https://github.com/eudk/awesome-ai-tools

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
Следующий шаг после идеи wiki от Карпати:

LLM Wiki Карпати компилирует исходные источники в постоянную Markdown-вики с бэклинками и кросс-ссылками.

LLM читает статьи, извлекает концепции, пишет энциклопедические статьи и поддерживает индекс. Знание компилируется один раз и поддерживается в актуальном состоянии, поэтому LLM не нужно заново выводить контекст при каждом запросе.

Это работает, потому что исследования в основном состоят из концепций и их связей, которые относительно стабильны.

Но этот паттерн ломается, если применить его к реальной работе, где контекст постоянно меняется от разговора к разговору — дедлайны, планы, встречи и т.д.

Скомпилированная вики может иметь страницу о проекте, но она не будет эффективно отслеживать актуальное состояние (ground truth).

Для этого требуется другая структура данных — не вики из саммари, а граф знаний с типизированными сущностями, где люди, решения, обязательства и дедлайны представлены как отдельные узлы, связанные между разговорами.

Rowboat — это open-source реализация именно этого подхода, построенная поверх той же базы Markdown + Obsidian, что использует Карпати, но расширенная под рабочий контекст.

Как это работает: система ingest’ит разговоры из Gmail, Granola и Fireflies и вместо создания одной summary-страницы на тему извлекает каждое решение, обязательство и дедлайн в отдельный Markdown-файл с бэклинками на вовлечённых людей и проекты.

Это структурно отличается от вики: страница «Project X» в вики даёт сводку обсуждений.

Граф знаний даёт полный набор: каждое принятое решение, кто его принял, что было обещано, когда это было обещано и изменилось ли что-то с тех пор.

Также система запускает фоновые агенты по расписанию — например, ежедневный брифинг автоматически собирается из изменений в графе за ночь. Ты контролируешь, что запускается и что записывается обратно в vault.

Модель подключаешь свою — через Ollama, LM Studio или любой hosted API — а все данные хранятся в виде обычного Markdown, который можно открыть в Obsidian, отредактировать или удалить.

Репозиторий: https://github.com/rowboatlabs/rowboat

TL;DR: LLM Wiki Карпати компилирует исследования в постоянную Markdown-вики. Это хорошо работает для концепций и их связей, но плохо подходит для реальной работы с постоянно меняющимся контекстом. Rowboat вместо вики строит граф знаний, извлекает типизированные сущности с бэклинками и запускает фоновых агентов, работающих с накопленным контекстом. Open-source, local-first, со своей моделью. Карпати заложил фундамент. Следующий слой — здесь.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
2
Обучить модель — это одно, а вывести её в продакшен — совсем другое.

В этой статье автор разбирает популярные инструменты, которые MLOps-инженеры используют для упаковки и деплоя моделей.

Вы узнаете о форматах сериализации, инструментах сервинга и реестрах моделей, чтобы выбрать подходящие решения под свои кейсы.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
3