Big Data AI
18.3K subscribers
1.17K photos
171 videos
19 files
1.16K links
@haarrp - админ

Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям

@data_analysis_ml - анализ данных

@ai_machinelearning_big_data

@itchannels_telegram - важное для программиста

РКН: clck.ru/3Fmqxe
Download Telegram
Свежие данные из интернета для ИИ-агента - одним вызовом API

Чтобы ИИ-ассистент отвечал с учётом актуальной информации, недостаточно найти ссылки. Нужно загрузить страницы, очистить HTML, разбить текст и выбрать фрагменты, которые помогут ответить на вопрос.

Smart Snippets в Yandex Search API берут эту подготовку на себя. На входе - поисковый запрос, на выходе - подходящие выдержки из найденных страниц с цитатами и ссылками на источники. Их можно сразу передать вашей модели для формирования ответа.

Размер фрагмента - около 500 токенов. Контекст не забивается страницами целиком: модель получает отобранные материалы. По данным команды продукта, это сокращает расход токенов на веб-контекст до трёх раз при том же качестве ответа.

Возможность пригодится агентам, которые ищут документацию, проверяют актуальные условия или собирают информацию о рынке. Команде при этом нужно поддерживать меньше компонентов поискового пайплайна.

Свяжитесь с экспертом, чтобы протестировать на своих запросах - по ссылке.
❤4🔥1
ChatGPT PRO - полный курс на русском

Практический курс по ChatGPT: от первого промпта до агентов, Custom GPTs, Deep Research, проектов, коннекторов и Codex.

Схемы, готовые промпты, рецепты задач, антипаттерны и чек-листы - всё в одном README.

https://github.com/justxor/ChatGPT_ru/
❤3👍2🔥2👎1
Хватит переписывать промпты: что такое harness engineering

Почему ИИ-агенты ломаются даже на топовых моделях, из каких трёх слоёв состоит надёжная система и как за пять минут собрать обвязку для Claude Code и Cursor.

Знакомая ситуация: агент выдал сломанный результат, и рука сама тянется переписать промпт. Потом в ход идёт другая модель, потом тариф с окном контекста побольше. А модель всё так же забывает инструкции, берёт не тот инструмент, пропускает проверку и рапортует об успехе там, где всё сломано.

Причина обычно сидит за пределами весов модели, в среде, где она работает. Эту среду называют harness (по-русски ближе всего слово «обвязка»), а её проектирование получило название harness engineering. Разберём, из чего состоит обвязка и как собрать свою за пять минут.

https://uproger.com/harness-engineering-ii-agenty/
👍6❤3
🤖 Зачем вызывать большую LLM, если агенту нужно просто выбрать «да» или «нет»?

Phocinae-Largha-150M-v1: модель на 144,3 млн параметров для локальных решений без генерации текста.

За один проход она отвечает «да/нет», выбирает вариант или выставляет оценку от 2 до 10. Вместе с ответом возвращает уверенность: сомнительные случаи можно передавать большой модели.

⚡ По данным авторов:
• Веса FP16 занимают 288,6 МБ, поддерживается CPU.
• Задержка на RTX 5090 составляет 21 мс.
• В тесте маршрутизации число вызовов LLM сократилось на 55%, а точность на уверенно обработанной части составила 99,36%.

Оговорка: это специализированная модель. Английский результат получен после обучения на train-части бенчмарка, китайская оценка включает машинные переводы.

modelscope.ai/models/PerryLink/Phocinae-Largha-150M-v1
👍4❤2
Z.ai выпустила GLM-Legal, отдельную модель для юристов

Z.ai представила GLM-Legal, юридическую модель на базе GLM-5.3-Flash. По словам компании, на основных юридических бенчмарках она держится на уровне frontier-моделей, хотя в основе лежит облегчённая Flash-версия.

Модель заточена под реальную юридическую работу: проверку договоров, анализ доказательств, комплаенс и похожие задачи, где нужна аккуратность с документами, а не красивые общие ответы.

Отраслевые модели на базе компактных LLM становятся отдельным трендом. Если небольшая модель после дообучения закрывает задачи юристов на уровне топовых, ее дешевле гонять на больших объемах документов и проще встроить в корпоративный контур.

Пока это закрытый доступ: API выдают по заявке. Попробовать модель в деле можно через агента AutoClaw.

Блог: https://z.ai/blog/glm-legal
API: https://z.ai/consultation/l
AutoClaw: https://autoclaw.z.ai
❤5👍2🔥2
🧠 В 22 года объяснить Гильберту его же математику

Давид Гильберт, один из величайших математиков своего времени, не мог разобраться в новой квантовой механике Гейзенберга.

По воспоминаниям его ассистента, молодой Джон фон Нейман за несколько дней изложил её в изящной аксиоматической форме. Гильберт был восхищён.

Позже фон Нейман помог построить строгий математический фундамент квантовой механики на основе гильбертовых пространств.

Получилась красивая ирония: математические идеи Гильберта стали языком новой физики, а объяснить её самому Гильберту помог 22-летний фон Нейман.

📖 Источник: Норман Макрей, «Джон фон Нейман».
❤8👍7🔥6
😁10❤6
По данным FT, Netflix сократит примерно 6% глобального штата,крупнейшие увольнения с 2022 года

Больше всего пострадают команды продукта, технологий, юристов и HR.

В компании пишут, что нужно «дисциплинированно подходить к тому, куда направлять людей и ресурсы». При этом бизнес они называют сильным и растущим и говорят, что идут по плану на полный год. То есть это оптимизация на фоне хороших показателей, а не реакция на кризис.

Крупные технологические компании продолжают перераспределять штат даже в растущем бизнесе, а вспомогательные функции и часть техкоманд попадают под нож первыми. Причины сокращений в сообщении компании не раскрываются.

Источник: https://www.ft.com/content/5f1b2f31-2067-4c3a-8093-54210a7c0e72
❤2👍2🥰2👎1
This media is not supported in your browser
VIEW IN TELEGRAM
Компании выросли из вайбкодинга — куда двигаемся дальше?

Год назад вайбкодинг обсуждали на каждом митапе. Сегодня так пишут код почти все, но быстрая генерация кода ещё не означает быстрый и качественный релиз. Если процессы в команде остались прежними, использование ИИ не даёт ощутимых результатов. Тогда в чём польза для бизнеса?

Чётких ответов на рынке пока немного. 27 ноября red_mad_robot делают ивент Робоцех, где соберутся практики ИИ из крупных компаний, которые уже встроили ИИ в разработку и получили результат. Они расскажут, какие решения прижились в продакшене, сколько времени ушло на внедрение и где нейросети пока не оправдали ожиданий. 

Послушать мало, поэтому в программу добавили ещё два воркшопа. На них участники своими руками соберут систему командной работы с ИИ-агентами и пройдут путь от задачи до работающего приложения.

↗️27 ноября, 11:00, Москва, Инженерный амфитеатр ДКС
↗️Доклады можно смотреть онлайн, воркшопы проходят только очно
↗️Билеты еще в продаже: upgrade.redmadrobot.com 
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥2
🧪 Sakana AI собрала команду ИИ-агентов для научных исследований

The Agentic Scientist объединяет агентов вроде Codex и Claude Code в полный исследовательский цикл: гипотезы, планирование, эксперименты, проверка результатов и написание статьи.

Главная идея: рост метрики ещё нужно объяснить. Система заранее задаёт критерии проверки и связывает утверждения в статье с экспериментальными данными.

В совместной работе человек ставит вопрос, направляет исследование и проверяет выводы. Агенты предлагают гипотезы, проводят эксперименты и оформляют результаты.

Одну работу, подготовленную с помощью системы, уже приняли на ALIFE 2026. Авторы делают ставку на совместные открытия человека и ИИ.

https://arxiv.org/abs/2610.18933
❤4👍3👎1
🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку

Окружение решает больше, чем кажется.

Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.

AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: https://t.me/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://t.me/gamedev
Haskell: t.me/haskell_tg

Собеседования и карьера:

DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview

Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.me/addlist/mzMMG3RPZhY2M2Iy

Полезное сверху:

ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: https://t.me/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg

Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
❤1👍1🔥1
Ник Матсакис предлагает для Rust северную звезду эпохи ИИ-агентов: ноль unsafe-кода

Один из ключевых людей в дизайне Rust опубликовал текст о том, что кодинг-агенты значат для языка. Это письменная версия доклада на REBASE в рамках SPLASH. Сам автор называет содержимое «недопечёнными идеями», так что это видение, а не предложение новых фич.

Выводы такие: люди в программировании всё ещё нужны, дизайн языков по-прежнему важен, а Rust хорошо подходит для агентной разработки и может подойти ещё лучше.

По производительности аргумент простой. Хорошие значения по умолчанию плюс явные ручки для тонкой настройки. По словам автора, люди, которые раньше вручную оптимизировали криптографический код, теперь обращаются к агентам. Вместе с профайлером вроде dial9 получается цикл: бенчмарк, профиль, агент предлагает правку, PR в репозитории.

С надёжностью сложнее. Типы удерживают агента в рамках, но тесты показывают наличие багов, а не их отсутствие, и типы гарантируют лишь отсутствие определённых классов ошибок, а не корректность результата. Тут нужны доказательства. Для Rust уже есть Verus, Creusot, Aeneas и Kani. При этом типы продолжают играть роль, потому что делают доказательства дешевле. &mut даёт гарантию уникальности, и Verus опирается на borrow checker именно ради этого, чтобы солверу было проще.

Куда, по мнению Матсакиса, стоит двигаться: более выразительная система типов (view types, внутренние ссылки, даже проверка вроде «в лог не попадают персональные данные»), расширяемый компилятор, чтобы инструменты доказательств не жили на костылях из макросов и привязке к конкретным версиям компилятора, и поддержка доказательства корректности unsafe-кода.

Северная звезда: больше никакого unsafe. Это не значит убрать ключевое слово. Это значит уметь доказать, что весь unsafe-код корректен и не приводит к неопределённому поведению.

Главной открытой проблемой автор называет дизайн, то есть решение о том, что вообще строить. Ставка на специализированные языки дизайна, которые превращают высокоуровневое намерение в проверки типов, линты или теоремы.

Для контекста Матсакис цитирует Дэвида Толная: инженеры Meta в этом году написали первосторонний Rust-кода вдвое больше, чем за предыдущие девять лет вместе взятые.

Блог: https://smallcultfollowing.com/babysteps/blog
❤3🙈1
Синтетика для агентов: зачем нужен симулятор мира

Исследовательница Юхань Ло (Yuhan Luo) опубликовала эссе с говорящим названием «Мы думаем о синтетических данных слишком узко». Её тезис: синтетика давно перестала быть задачей «прогнать модель по шаблонам и получить побольше примеров». Когда мы обучаем агентов вести целые рабочие процессы, генератор данных превращается в отдельную исследовательскую систему со своими задачами, средами, проверяющими и людьми в контуре. Разбираем главные идеи и показываем, как одна из них выглядит в коде.

https://uproger.com/sinteticheskie-dannye-dlya-agentov/
❤3👍1👎1🔥1🥰1
🔎 RAG нашёл документы. Но следует ли ответ из этих документов?

На Hugging Face опубликован Jev-RAG-Claim-Verification-130K: датасет для исследования галлюцинаций и проверки того, подтверждаются ли утверждения предоставленным контекстом.

Внутри 130 тысяч проверок, построенных на 12 118 ответах из RAGTruth. Для каждой сохранены исходная разметка и отдельное предсказание проверяющей модели jev-1.13.0.

21 181 расхождение между моделью и разметкой. В 1 265 категориальных проверках модель сообщала уверенность не ниже 90%, но её решение расходилось с эталоном. Готовый материал для разбора уверенных ошибок, хотя само расхождение ещё не доказывает ошибку модели.

https://huggingface.co/datasets/MaziyarPanahi/Jev-RAG-Claim-Verification-130K
👍2❤1