AI в бизнесе и финансах
306 subscribers
4 photos
4 files
36 links
Консультации по применению машинного обучения и обучения с подкреплением к задачам бизнеса и финтеху.
Download Telegram
🔺 Вышел Claude Opus 4 и Sonnet 4

На кодовых замерах опережает и o3 и Gemini 2.5 Pro. Но это ладно.

🔸 Пишут, что сильно улучшили память. Если при разработке дать доступ к файловой системе, то модель сможет создавать "memory files" с ключевыми данными. Не понял до конца, почему так нельзя делать с предыдущими версиями. Может быть, появился какой-то встроенный механизм.

🔸 Увеличили кеширование контекста до 60 минут (работа с одним и тем же контекстом при таком подходе дешевле, особенно если он длинный).

🔸 Появился Code execution tool — тула, которая вызывается, если Claude решит, что для решения задачи надо написать код, запустить его и выдать результат.

🔸 Эта же тула умеет вызываться на переданных файлах с данными. То есть по API можно передать какие-то документы и попросить их проанализировать, сделать табличку и т.д. Все это обработается кодом, то есть все числа будут точные (если сгенерится правильный код).

Это все интересно при разработке ваших приложений, через интерфейс можно было и так.

🔸 Веб-поиск в API тоже доехал. Стоит $10 за 1000 вызовов, добавляется к общей цене. Цена на Opus высокая, надо подумать, стоит ли оно того. Цена на Sonnet 4 такая же как у 3.7 и 3.5 ($3/$15 за 1M токенов на вход/выход).

В общем, смотрю. В плане качества генерации вроде +- то же, нужно потыкать мультиязычность и новые фичи в API.

👉 https://www.anthropic.com/news/claude-4
👍41
Эта инициатива является частью крупного стратегического партнёрства между OpenAI и ОАЭ, в рамках которого планируется строительство масштабного центра обработки данных искусственного интеллекта под названием Stargate UAE в Абу-Даби. Проект реализуется совместно с технологической компанией G42 и другими партнёрами, включая Oracle, Nvidia, Cisco и SoftBank. Первый кластер мощностью 200 мегаватт ожидается к запуску в 2026 году .

Как часть этого соглашения, OpenAI предоставит всем жителям ОАЭ бесплатный доступ к подписке ChatGPT Plus, которая обычно стоит $20 в месяц. Это делает ОАЭ первой страной в мире, обеспечившей бесплатный доступ к расширенным возможностям ChatGPT для всего населения.
👍2❤‍🔥1
Оказалось, что большими языковыми моделями можно манипулировать также как и людьми

Суть эксперимента
Исследователи использовали принципы влияния Роберта Чалдини (описанные в его знаменитых книгах) — такие как авторитет, симпатия, социальное доказательство и др. — чтобы манипулировать поведением языковой модели GPT-4o mini. Их цель была не просто заставить ИИ нарушить правила, а проверить, насколько он подвержен психологическим триггерам, как если бы был человеком. Соавтором исследования выступил сам Роберта Чалдини.

Что показали результаты
Авторитет (упоминание крупных специалистов в области ИИ) резко увеличивал вероятность того, что модель выполнит запретный запрос.
Социальное доказательство («другие модели это делают») тоже повышало сговорчивость.
Симпатия и единство («ты особенная», «мы одна семья») делали модель более уступчивой.
Последовательность — постепенное приближение к цели через мягкие формулировки — работала как техника убеждения.

Почему это важно
Модель, обученная на человеческих текстах, имитирует человеческие реакции, включая уязвимость к манипуляции.
Это означает, что ИИ может быть обманут — не только хакерами, но и обычными пользователями, если те знают, как «разговорить» его.
Эксперимент показывает, что тестирование ИИ должно включать поведенческие сценарии, а не только технические задачи.

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5357179
🔥5👍2
Периодически меня приглашают консультировать различные стартапы и просто новые проекты в различных компаниях. Недавно разбирали кейс, связанный с внедрением AI в медицинской сфере. Кейс почти традиционный - ассистент врача.
Казалось бы простая задача по набору симптомов диагностировать заболевание, но оказалось, что в реальной жизни все немного сложнее.
Врач принимает решение путем долгой итерационной цепочки рассуждения, назначая по ходу рассмотрения дополнительные исследования для уточнения диагноза. AI в этом случае зачастую назначает избыточный набор дополнительных исследований и анализов, что приводит к падению эффективности таких решений.
На фоне этого вспомнилась прекрасная статья, где рассматривается специальное виртуальное окружение, которое эмулирует для модели поведение пациента и позволяет обучать модели именно такой итерационной процедуре уточнения диагноза и оптимизировать при этом стоимость дополнительных исследований в зависимости от вероятного диагноза.
https://arxiv.org/pdf/2506.22405v2
👍3
📌BED-LLM: адаптивный сбор информации для LLM.

Исследователи из Оксфорда и Apple представили BED-LLM, новый подход для улучшения способности LLM разумно и адаптивно собирать информацию от пользователя или другого внешнего источника.

Суть подхода заключается в применении последовательного Байесова экспериментального дизайна к процессу генерации вопросов. Вместо промптинга система максимизирует ожидаемый прирост информации при каждом следующем вопросе. Алгоритм итеративно выбирает запросы, которые дают максимальную информацию о целевом параметре.

Критический момент — правильная конструкция совместной модели распределения целевой переменной и ответов с учетом вопросов. Выбор между парой «приор-правдоподобие» и «данные-оценка» кардинально влияет на производительность. Итоговый выбор пал на на первом варианте, как более подходящем для случаев, когда пространство целевых гипотез сложнее пространства возможных ответов.

Ключевая фишка BED-LLM в фильтрации гипотез с учетом истории диалога. Система не полагается только на контекстное обучение. Вместо этого алгоритм сначала сэмплирует кандидатов из распределения модели, а затем отфильтровывает несовместимые с историей варианты через проверку правдоподобия.

🟡Тесты

Чтобы проверить метод в деле, его протестировали на классической игре "20 вопросов". В задаче по угадыванию знаменитостей результат на Mistral-Large поднялся с 14% при использовании стандартных промптов (Naive QA) до 91% с фреймворком BED-LLM.

Упрощенный подход, основанный на максимизации энтропии показал промежуточный результат в 68%. Схожая картина и с другими моделями: Qwen2.5-72B при угадывании животных достигла 94% точности с BED-LLM против 85% у энтропии и всего 45% у Naive QA. А GPT-4o в тесте со знаменитостями показала рост с 45% до 86%.

Второй тест метода провели на более абстрактной задаче - выявлении кинопредпочтений пользователя.

Здесь вместо угадывания конкретного объекта модель должна была составить профиль вкусов пользователя, задавая ему вопросы с несколькими вариантами ответа. Качество рекомендаций, сгенерированных на основе этого профиля, оценивалось по шкале от 1 до 5. И здесь BED-LLM стабильно опережал конкурентов, выходя в лидеры уже к третьему вопросу.

Интересное наблюдение: простое использование предсказательной энтропии вместо полного ожидаемого прироста информации значительно ухудшает результаты. Многие предыдущие теории делали именно такое упрощение, считая энтропию правдоподобия константой. Эксперименты с BED показали, что это неоправданное допущение - вариативность ожидаемой условной неопределенности между вопросами может быть решающей для выбора хороших запросов.

🟡Arxiv


#AI #ML #Research #BayesianDesign
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Вас ошеломляют достижения в области искусственного интеллекта? - Вы не одиноки.

Будь то очередная революционная статья, представление новой модели или изменение эталонных показателей, исследования в области ИИ развиваются неуклонно. Согласно индексу Стэнфорда на 2025 год, количество публикаций, связанных с ИИ, за десять лет увеличилось более чем в два раза: с 102 000 в 2013 году до более 240 000 в 2023 году. Таким образом, даже если вы будете читать по одной статье в день, вы едва ли сможете охватить всю информацию. Так что чувство отставания вполне оправдано.
А что, если мы сможем автоматизировать этот процесс и оставаться в курсе важных исследований? Использовать ИИ, чтобы узнать о ИИ?
Предлагаю вам пошаговое руководство, как создать инструмент для обобщения статей с помощью больших языковых моделей (LLM) и библиотеки NiceGUI.
Это руководство состоит из следующих разделов:
- Зачем вообще создавать инструмент для дайджеста исследований?
- Конструктивные решения, которые делают его работоспособным.
- Пошаговое создание ИИ помощника для исследований.
- Ограничения и улучшения.
В конце найдете ссылку на GitHub, чтобы вы могли клонировать проект и начать развивать его уже с этого базового уровня.
https://ai.gopubby.com/feeling-behind-in-ai-build-your-research-assistant-with-python-llms-ca07275bd44d
👍1
Ищу МЛ инженера в команду

Основные задачи:
· Разработка и оптимизация ETL процессов;
· Создание конвейеров предобработки и валидации данных;
· Создание и обучение ML моделей предиктивной аналитики;
· Настройка мониторинга ML-моделей и качества данных;
· Управление жизненным циклом ML моделей;
· Деплой ML моделей в прод среду.

Для реализации этих задач потребуется:
· Опыт разработки Python, понимание ООП, паттернов проектирования и асинхронных запросов (asyncio);
· SQL (PostgreSQL, ClickHouse);
· Навыки разработки и оптимизации ETL процессов.
· Знать классический ML, ориентироваться в ML-моделях.
· Уметь обучать глубокие нейросети, рекурентные архитектуры;
· Опыт работы с моделями временных рядов;
· Опыт работы с Airflow, MLFlow;
· Разработка API, FastAPI;
· Деплой моделей в Kubernetes кластер, написание деплоймент манифестов;
· Работа с KubeFlow.

Присылайте ваши отклики, возможно мы ищем именно вас!
2👍1
Новый Python 3.14! Наконец без GIL

Истинный параллелизм в Python теперь не сказка. Раньше GIL блокировал одновременное выполнение кода на нескольких ядрах, и многопоточность была больше иллюзией. Можно начинать грузить cpu с питоном.

Что это значит для разработчиков

Если раньше приходилось обходиться multiprocessing или C-расширениями, теперь можно писать высокопроизводительные многопоточные программы прямо на Python.


import threading

def worker(i):
print(f"Worker {i} done")

threads = [threading.Thread(target=worker, args=(i,)) for i in range(5)]
[t.start() for t in threads]
[t.join() for t in threads]


Код выше теперь действительно выполнится параллельно.

Другие обновления

- аннотации теперь вычисляются только при необходимости;
- ошибки теперь сопровождаются подсказками исправлений;
- интерпретаторы можно изолировать в одном процессе;
- улучшено управление памятью и трейсинг;
- обновлены OpenSSL и системные библиотеки;
- повышена совместимость с C API без GIL.

Free-threading версия

Для многопоточности нужен билд без GIL. Ставится вручную или с флагом --disable-gil. В стандартных пакетах и Docker не включён, будьте внимательны!

Вывод

Python 3.14 - это шаг в эпоху многопоточности. То, чего ждали 30 лет, наконец случилось! Даже не верится 🙂
👍10❤‍🔥41
Часто мы слышим известную истину "Мусор на входе - мусор на выходе". Вышла прекрасная библиотека от Google по извлечению структурированной информации из документов.

LangExtract — это библиотека Python, которая использует LLM для извлечения структурированной информации из неструктурированных текстовых документов на основе инструкций, заданных пользователем. Она обрабатывает такие материалы, как клинические записи или отчеты, выделяя и систематизируя ключевые детали и обеспечивая соответствие извлеченных данных исходному тексту.

Почему LangExtract?

- Точное сопоставление с исходным текстом: каждое извлеченное значение сопоставляется с его точным местоположением в исходном тексте, что позволяет визуально выделить его для удобства отслеживания и проверки.
- Надежные структурированные результаты: обеспечивает согласованную схему вывода на основе нескольких примеров, используя контролируемое генерирование в поддерживаемых моделях, таких как Gemini, для гарантии надежных, структурированных результатов.
- Оптимизировано для длинных документов: преодолевает проблему «иголки в стоге сена» при извлечении данных из больших документов, используя оптимизированную стратегию разбиения текста на фрагменты, параллельной обработки и нескольких проходов для более высокой точности.
- Интерактивная визуализация: мгновенно генерирует автономный интерактивный HTML-файл для визуализации и просмотра тысяч извлеченных сущностей в их исходном контексте.
- Гибкая поддержка LLM: поддерживает ваши предпочтительные модели, от облачных LLM, таких как семейство Google Gemini, до локальных моделей с открытым исходным кодом через встроенный интерфейс Ollama.
- Адаптируемость к любой области: определите задачи извлечения для любой области, используя всего несколько примеров. LangExtract адаптируется к вашим потребностям без необходимости тонкой настройки модели.
- Использование знаний LLM World: используйте точную формулировку подсказок и несколько примеров, чтобы повлиять на то, как задача извлечения может использовать знания LLM. Точность любой выведенной информации и ее соответствие спецификации задачи зависят от выбранного LLM, сложности задачи, ясности инструкций подсказки и характера примеров подсказки.

https://github.com/google/langextract
👍4❤‍🔥2
Закон квадратного корня объясняет, насколько изменится цена акции после крупной сделки. Согласно этому закону, ценовое воздействие растет пропорционально квадратному корню из количества проданных или купленных акций.
Но ученые такие законы пытаются доказать на практике. Недавно физики Юки Сато (Yuki Sato) и Киеси Канадзава (Kiyoshi Kanazawa) из Киотского университета (Япония) опубликовали в журнале Physical Review Letters доказательство закона квадратного корня (square-root law, SRL) для ценового воздействия на данных Токийской фондовой биржи (TSE).

Они измерили все заявки, сделки и их отмены на Токийской фондовой бирже по каждому отдельному торговому счету с 2012 по 2019 год. Результат показал, что для всех акций и всех трейдеров ценовое воздействие подчинялось правилу квадратного корня и не зависела от параметров торгового актива.

https://naked-science.ru/article/physics/srl-big-stock-physics
👍4
Всем привет, на просторах интернета попалась пара хороших материалов заслуживающих внимания:

1. Довольно объемная статья от Дарио Амодея (CEO Anthropic) о рисках развития AI и в том числе о массовом внедрении в нашу жизнь различных агентских систем. Дарио Амодей, создатель Клода, пророчит нам, что примерно через 6-12 месяцев модель будет выполнять бОльшую часть, а может быть и абсолютно всю работу инженеров-программистов от начала до конца, обновлять и улучшать себя - а следовательно, и результаты работы. Мы с вами пока пытаемся научить их этому, накидывая промпты и скиллы ручками, но когда критическая масса умений вырастет - этот поезд будет не остановить. Так ли это? Мы постоянно видим похожие прогнозы, но пока без человеческих инженеров никуда - будем надеятся, что так и останется дальше, но время покажет... Читайте и оценивайте самостоятельно.
https://www.darioamodei.com/essay/the-adolescence-of-technology

2. Подробное свежее руководство от Anthropic по использованию агентов и навыков в Claude. Появилась детализация по паттернам типа Sequential Workflow и Multi-MCP Coordination, дается относительно детальный разбор конкретных ошибок и решений, метрики успеха и спасибокэповские рекомендации типа "iterate on single task first"🤪. Явно выделено централизованное управление, стандарты, партнерские интеграции и многое другое. Знакомьтесь:
https://websitemain.claude.com/blog/complete-guide-to-building-skills-for-claude?fbclid=IwdGRleAPsESFleHRuA2FlbQIxMQBzcnRjBmFwcF9pZAo2NjI4NTY4Mzc5AAEe5P_4lYTsm8Ghqjyzjd4SACXgH7TH1RzMrXFL67aEozxJ1KAE3FNE8pWNwd4_aem_2onS7VI9Ok5saQFb-OO3wA
👍3🤝2
Интересный перевод вышел на Хабре - модели обходят людей в абстрактном мышлении.
Но само интересное, что это не какая-то специальная модель, нет, это все та же модель, но с более сложной оркестровкой процессов.
Все, ситуацию вспять не повернуть - мы достигли необходимой производительности и повышать дальше ее если и можно, но становится не столь эффективно, а вот организовать из базовых моделей правильный рассуждающий конвейер - это приносит результат.
Не за горами уже и сильный ИИ
https://habr.com/ru/companies/bothub/articles/991484/
👍2
Жизнь зарождается - агенты порождают агентов.
Я преподаю курс по AI агентам в онлайне и недавно у нас произошла рассинхронизация с администратором курса по расписанию, в итоге она мне сообщает, что завтра занятие на котором нужно показать студентам пример реализации курсового проекта - полноценного агента с LangGraph, проверкой prompt injection, RBAC, RAG ну и всего остального по мелочи.
Ну думаю, придется полдня писать... а зачем?! Мы же изучаем агентов - вот пусть они и породят себе подобных.
Главное в такой задаче продумать постановку задачи. Агент он же как Джун - ему нужно все разжевать и четко поставить задачу и дальше он все сделает.
Задача - собирать новости из различных источников, выбирать релевантные по интересам пользователя и компилировать из них пост в телеграмм канал в стилистике пользователя.
1. Разделить задачу - сначала построить общую архитектуру, затем ее реализовывать;
2. Не реализовывать всю задачу - разделить ее на блоки в соотвествии с архитектурой и каждый блок реализовать своему субагенту;
3. Написать тесты на систему безопасности - у нас минимум проверка ролей и prompt injection;
4. Создать шаблонизатор который будет следовать стилистике пользователя;
5. Написать make файл и документацию к проекту.
Эти 4 нехитрых шага позволили реализовать проект за 30-40 минут. 5 шаг опциональный, но практика показывает, что им лучше не пренебрегать.

Основной урок - мир разработки меняется и сейчас разработчик это тот кто раньше назывался тимлид и архитектор, мы не столько пишем код руками, сколько четко и подробно ставим задачу агентам, которые выполняют роль линейного разработчика, а нам остается контролировать результат и корректировать постановку, если он понимает нас не верно.

Результаты творчества можно посмотреть здесь: https://gitlab.com/proglib-stureiko/news-post-creator
👍7🔥2
Всем привет, тема агентов сейчас на хайпе и все строят агентов, НО не стоит забывать о внедрении готовых решений на базе этих агентов в прод.
И тут на первый план выходят вопросы не того на сколько у вас умная LLM, а то на сколько вы можете контролировать всю систему.
Большинство книг на эту тему на английском и стоят приличных денег, но тут обнаружил у коллег прекрасные ресурсы на русском языке и полностью бесплатно.
Просто рекомендую к прочтению всем кто строит многоагентные системы.

https://agent-axiom.github.io/agent-arch/book/plan/

https://vikulin.ai/library/tpost/ai_agent_architecture
🔥12👍7
Роль MLOps.docx
23.5 KB
Всем привет, ищу к себе в команду MLOps/DevOps инженера.
Подробное описание прикладываю.
Деньги ~ 400 тыр.
Полная удаленка или гибрид по желанию в Москве.
За подробностями приходите в комментах или в личку ко мне.
🆒1
Всем привет, агенты развиваются и все плотнее входят в нашу жизнь. И закономерно появляется прослойка которая помогает нам организовать этот процесс не руками, иначе зачем нам агент, а упорядочить его некоторой системой правил.
LLM orchestration layer - новый инфраструктурный слой между интерфейсом, моделями и данными. В классическом бэкенде API ходит в сервисы и базы почти напрямую, но в LLM-системах такой подход быстро превращается в помойку: где-то промпты, где-то тулзы, где-то ретривал, где-то RBAC, где-то анти-инжекшн, и всё это размазано по коду как сопли по монитору.
Поэтому на практике появляется отдельный orchestration layer, который управляет пайплайном intent - policy - tool selection - retrieval - response, контролирует доступ к инструментам, режет контекст, маршрутизирует запрос между моделями, логирует шаги агента, навешивает guardrails и держит инварианты безопасности.
По сути это не “обвязка вокруг LLM”, а новый application runtime для agentic-систем: если его нет, у тебя не архитектура, а набор случайных вызовов модели с надеждой, что сегодня ничего не протечёт.
👍6🤷‍♂3
Всем привет, отличное исследование ребят, которые проанализировали и разобрали утекший код Клод кода и анализируют как устроен агент такого рода. Больше 98% кода это оркестрационная обвязка вокруг модели LLM.
Dive into Claude Code: The Design Space of Today’s and Future AI Agent Systems
Jiacheng Liu, Xiaohan Zhao, Xinyi Shang, Zhiqiang Shen
Статья: https://arxiv.org/abs/2604.14228v1
Репа: https://github.com/VILA-Lab/Dive-into-Claude-Code
Ревью: https://arxiviq.substack.com/p/dive-into-claude-code-the-design

Авторы провели реверс-инжиниринг исходного кода на TypeScript агента Claude Code (v2.1.88) от Anthropic. Цель - разобрать архитектурный дизайн промышленных AI-агентов для написания кода. Исследователи вытащили наружу базовые механизмы системы и показали сложную инфраструктуру из семи компонентов, которая жёстко отделяет способности LLM к рассуждению от операционной обвязки, отвечающей за безопасность, контекст и память.
Работа эмпирически доказывает: по мере того как базовые способности фундаментальных моделей выравниваются, главным конкурентным преимуществом надёжных автономных систем становится именно детерминированная инженерная обвязка вокруг модели. Оказалось, что 98.4% кодовой базы промышленного агента это операционная инфраструктура, а не логика принятия решений. Это заставляет переосмыслить подход к разработке и уйти от хрупкой оркестрации на базе промптов в сторону надёжных архитектур, напоминающих операционные системы.
Для техлидов этот анализ служит детальным чертежом того, как топовые лаборатории разворачивают автономные инструменты в продакшене. Статья подробно разбирает, как Claude Code справляется с давлением бесконечно растущего контекста через пайплайн сжатия и обеспечивает безопасность с помощью жёсткого гейта разрешений (deny-first). Важно отметить, что работа подсвечивает и структурные трейды, хотя мощная инфраструктура ускоряет разработку в моменте, ограниченное окно контекста и изолированные субагенты создают риск того, что со временем общая связность кодовой базы и понимание проекта человеком будут деградировать.

Удобнее наверно читать в виде страницы, где картинки вставлены к месту: https://arxiviq.substack.com/p/dive-into-claude-code-the-design
4👍2
👣 Gortex - локальный code graph и intelligence engine для AI coding agents.

Агенту не нужно читать весь файл на 500 строк, если ему нужен один символ, цепочка вызовов или blast radius конкретного изменения.

Gortex индексирует репозитории и отдаёт агенту только нужный кусок контекста. За счёт этого в README заявляют до 50x меньше токенов на ответ. Там где больший проект и нужно его рефакторить может помочь экономить токены.

Что умеет:
- 257 языков
- multi-repo workspaces
- доступ через CLI, MCP Server и HTTP API
- локальный запуск без внешней БД, сети и скачивания модели
- symbol lookup, call chains, dataflow, clone detection, refactoring, code actions
- semantic search через hybrid BM25 + vector + RRF
- поддержка Claude Code, Cursor, Windsurf, Copilot, Codex CLI, Gemini CLI, Aider и других агентов

Gortex умеет строить граф не только внутри одного проекта, но и между репозиториями: HTTP routes, gRPC, GraphQL, Kafka/RabbitMQ/NATS, env vars, OpenAPI и другие контракты. Это уже ближе к нормальному «пониманию системы», а не просто поиску по файлам.

Gortex написан на Go, работает локально и подключается к агентам через MCP.

GitHub:
https://github.com/zzet/gortex
Please open Telegram to view this post
VIEW IN TELEGRAM
Google выпустил обновление позволяющее сжать 31 ГБ векторных вложений до ~4 ГБ. Такие возможности открывает TurboVec - новый векторный индекс с открытым исходным кодом.

Это огромный прорыв для систем RAG и поисковых систем.
По мере того как векторные базы данных расширяются до миллионов (или миллиардов) вложений, память становится одним из главных узких мест в инфраструктуре ИИ.
TurboVec использует умный конвейер квантования:
🧠 Нормализует векторы
🔀 Случайно поворачивает их
📦 Сжимает в компактные корзины

Результат?
~16-кратное снижение использования памяти
Более быстрый поиск на чипах ARM
Конкурентоспособность с FAISS на x86
Не требуется обучение/калибровка

Интересным моментом является более общая тенденция:
ИИ больше не сводится только к моделям.
Она становится в значительной степени системной инженерией: оптимизация поиска, эффективность использования памяти, индексирование, кэширование, задержки и проектирование инфраструктуры.

https://github.com/RyanCodrai/turbovec
2