Big Data AI
18.5K subscribers
1.07K photos
152 videos
19 files
1.07K links
@haarrp - админ

Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям

@data_analysis_ml - анализ данных

@ai_machinelearning_big_data

@itchannels_telegram - важное для программиста

РКН: clck.ru/3Fmqxe
Download Telegram
Готов к космическому разгону AI‑продукта? 
Приходи на One Day Offer для Product Analysts! 🚀

20 июня команда GigaChat планирует найти будущего коллегу — продуктового аналитика, который поможет вывести LLM‑платформу на новую орбиту.

Ты будешь:

анализировать поведение пользователей;  
проводить A/B‑тесты; 
создавать дашборды; 
работать с метриками. 

А ещё ты станешь частью крупнейшего IT‑комьюнити.

Хочешь влиять на продукт для миллионов? Регистрируйся на One Day Offer прямо сейчас!
🚀 Интеграция с Duel Agents для LLM

Duel Agents — это слой маршрутизации для работы с несколькими моделями ИИ, выбирающий наиболее экономичный ответ. Этот репозиторий предоставляет инструменты для интеграции с платформой duelagents.com.

🚀 Основные моменты:
- Поддержка нескольких моделей ИИ через единую точку доступа.
- Удобные инструменты для установки и настройки.
- Возможность расширения функционала с помощью SDK.
- Интеграция с популярными клиентами и плагинами.

📌 GitHub: https://github.com/2aronS/Duel-Agents

#javascript
👍1
Красивый тест на «понимание» у LLM.

Есть переводческий тест Beninatto-Trombetti. Он проверяет не знание словаря, а способность понять, что именно меняется при переводе.

Пример:

“Solo 3 parole: non sei solo”

Дословно это можно перевести как:

«Всего 3 слова: ты не один»

Но правильный перевод на английский будет:

“Just 4 words: you are not alone.”


Почему 4? Потому что в английском “you are not alone” - это уже четыре слова, а не три. Значит, переводчик должен изменить не только саму фразу, но и утверждение внутри неё.

И вот здесь LLM часто ломаются. Модель может правильно перевести смысл, но не заметить, что после перевода изменилась метаинформация о количестве слов.

Именно поэтому этот пример так интересен. Он показывает разницу между хорошей языковой имитацией и настоящим пониманием контекста.

Claude Fable 5 называют одной из самых сильных моделей на рынке, но даже она, по словам автора примера, проваливает такой тест.

LLM уже отлично комбинируют знания, пишут код, переводят, объясняют и помогают работать быстрее. Но подобные кейсы напоминают: до настоящего понимания и AGI путь всё ещё не такой короткий, как кажется.
👍63🥰3🔥1
🖥 Сервисы крутятся. Прод вроде живой. Но когда тимлид спрашивает: «почему здесь лучше ValueTask, а не Task?» или «как GC поведёт себя под нагрузкой?» - ты начинаешь плыть.

И дело не в том, что ты плохо пишешь код. Просто большинство курсов заканчиваются ровно там, где начинается настоящий .NET.

Этот курс про то, что обычно остаётся под капотом:

- CLR
- JIT
- GC
- Span
- async state machine
- Source Generators
- lock-free подходы
- OpenTelemetry
- дампы в проде

На практике разбираем, как .NET реально работает внутри: что происходит с кодом после компиляции, как память живёт под нагрузкой, почему async иногда помогает, а иногда ломает производительность, как читать проблемы по дампам и метрикам, а не гадать по логам.

Если хочешь дойти до уровня, где система для тебя не чёрный ящик, а инструмент, который ты понимаешь до IL, - велкам.

Сейчас на stepik доступна скидка 55%: https://stepik.org/a/288694
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥21👍1
The Information: по сообщениям, Anthropic переходит от аренды облачных вычислений к аренде и самостоятельному управлению дата-центрами. Планируемая мощность в США — более 1 ГВт, а Google потенциально может выступить гарантом или поддержкой по арендным платежам.

Старая модель была простой: Anthropic платит облачным провайдерам за GPU или кастомные чипы, но сам провайдер контролирует здание, электропитание, сеть, охлаждение и большую часть графика поставок железа.

Новая модель приближает Anthropic к «цеху» ИИ-индустрии, где дата-центры — это уже не офисные здания, а энергоёмкие машинные залы, круглосуточно питающие системы обучения и инференса.

Для контекста: до сих пор вычислительная стратегия Anthropic в основном строилась через облачных провайдеров. Компания уже взяла на себя обязательства по аренде серверных мощностей более чем на 10 ГВт, включая соглашение с Google на $200 млрд.

Также Anthropic заключила крупные облачные сделки с Akamai, AWS, CoreWeave и Fluidstack. Они охватывают в том числе железо Amazon Trainium и партнёрство с Fluidstack на $50 млрд.

Кроме того, компания расширила команду по дата-центрам и подписала договор аренды со SpaceX/xAI на весь дата-центр Colossus 1 за $1,25 млрд в месяц, а также получила площади в Colossus II.
2🐳2👍1🔥1
Google DeepMind выпустила большой текст про переход от AGI к ASI - искусственному сверхинтеллекту.

Называется From AGI to ASI. Среди авторов Маркус Хаттер, Айасон Гэбриэл и ещё несколько старших исследователей DeepMind. Документ на 57 страниц, и он интересен не прогнозами в стиле «когда AGI», а тем, что команда уже разбирает следующий этап.

ASI там определяется не как «ИИ умнее одного человека», а как система, которая превосходит по интеллекту и когнитивным возможностям большие человеческие организации. То есть сравнение идёт не с отдельным экспертом, а с целым институтом.

В тексте описаны несколько путей к такому уровню:

* масштабирование текущих AGI-систем через больше compute и данных
* новые алгоритмические подходы и архитектуры
* рекурсивное самоулучшение, когда ИИ помогает улучшать собственный код и способности
* коллективы из множества агентов, которые работают как распределённая система

Цифровой интеллект легко копируется, может работать без сна, ускоряться вместе с железом и параллельно запускаться в огромном количестве экземпляров. Поэтому DeepMind рассматривает AGI не как финальную точку, где всё стабилизируется, а как возможный старт быстрой цепочки дальнейших прорывов.

Пока большая часть рынка спорит, когда именно появится AGI, DeepMind уже формализует вопрос: что будет, если AGI начнёт ускорять разработку следующего поколения систем.

arxiv.org/pdf/2606.12683
👍4🔥32😁1
Исследователь Sakana AI Руджикорн «Тан» Чаракорн недавно представил Doc-to-LoRA на journal club DLCT от ML Collective.

В докладе он разобрал hypernetworks, амортизацию стоимости и дальнейшие направления развития метода.

После презентации прошла очень живая дискуссия.

https://youtube.com/watch?v=jb_0XcBMJQU
3👍2
Пост про сильный ход, который сегодня сделала OpenAI.

Ноам Шазир помогал создавать архитектуру Transformer, ушёл из Google, основал CharacterAI, затем вернулся в DeepMind через сделку на $2.7 млрд и работал над Gemini. Теперь он переходит в OpenAI.

Дин Болл, который участвовал в формировании AI-политики администрации Трампа, тоже идёт в OpenAI. Это даёт компании возможность заранее просчитывать будущие регуляторные конфликты и одновременно иметь хороший доступ к государственным кругам. Особенно на фоне Anthropic, у которой сейчас идут сложности.

Кажется, многие недооценивают, насколько это значимо для OpenAI.

Даже The Information называет найм Шазира крупной победой:

> «Найм Шазира стал серьёзной победой OpenAI в войне за AI-таланты, поскольку компания пытается догнать своего главного конкурента Anthropic по самым продвинутым моделям перед ожидаемыми IPO обеих компаний. Шазир был одним из ключевых авторов оригинальной статьи о Transformer, архитектуре, которая предсказывает наиболее вероятное следующее слово во фразе и лежит в основе GPT-моделей OpenAI».
4
Модели Ling & Ring 2.6 теперь доступны на OpenRouter - с временной скидкой до 31 июля.

Можно использовать наши новые модели серии 2.6 со скидкой до 90%.

Ring-2.6-1T / Ling-2.6-1T

Input: $0.075 за 1M токенов

Output: $0.625 за 1M токенов

Cache read: $0.015 за 1M токенов

Ling-2.6-flash

Input: $0.01 за 1M токенов

Output: $0.03 за 1M токенов

Cache read: $0.002 за 1M токенов

Попробуйте высокоэффективный интеллект для реальных агентных workflow и сложных задач.
👍2🔥21
AnyCrawl превращает сайты в структурированные данные, готовые для LLM.

Инструмент берёт любой сайт и быстро приводит его к чистому JSON, который можно сразу использовать в AI-пайплайнах, RAG, агентах и автоматизации.

Что умеет:

• извлекать данные из поисковой выдачи Google, Bing и Baidu

• краулить сайт целиком

• парсить страницы в несколько потоков

• доставать нужные данные с помощью AI

По сути, это способ быстро превратить хаотичный веб в нормальные данные для языковых моделей.

GitHub: https://github.com/any4ai/AnyCrawl
7
Forwarded from Machinelearning
🌟 OpenAI предлагает поговорить с комнатным растением

Компания опубликовала на GitHub проект Plant Talk, с помощью которого комнатное растение можно наделить голосом и вести с ним беседу через ChatGPT.

Среди предлагаемых сценариев - дом, школьный класс, лаборатория или арт-проект.

В минимальной конфигурации нужны лишь компьютер с веб-камерой, микрофоном и динамиками, браузер Chrome или Edge и аккаунт OpenAI.

Камера делает снимок растения и проводит, как это называют OpenAI, "структурированную проверку его состояния", после чего можно начать разговор в реальном времени.

Например, спросить, как у него дела. в ответ растение "сверится со своими недавними наблюдениями" и оценит текущую обстановку.


Растению можно задать имя, характер и голос, а также настроить, на что именно обращает внимание камера.

Очевидно, что без дополнительных датчиков система судит о состоянии растения лишь по тому, что видит камера.

К системе можно подключить микроконтроллер Arduino с датчиком влажности почвы и модулем освещённости LM393, тогда к разговору добавятся реальные измерения.


📌Лицензирование: Apache 2.0 License


🖥Github


@ai_machinelearning_big_data

#AI #ML #PlantTalk #OpenAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1
Как ИИ за минуты выявляет риски по 152-ФЗ в ваших базах данных? 🔐

Персональные данные есть практически в каждой корпоративной системе — CRM, ERP, DWH, BI и служебных таблицах.
Но в большинстве компаний отсутствует прозрачность: где именно хранятся ПДн, кто их использует и какие риски это создает в рамках требований 152-ФЗ.

В результате компании сталкиваются с типовыми проблемами: «теневые» копии данных, избыточные права доступа, отсутствие понимания, какие данные вообще нужно хранить и обрабатывать.

📆 2 июля в 11:00 (МСК) компания Lasmart приглашает на бесплатный онлайн-вебинар «Как ИИ за минуты находит нарушения 152-ФЗ в корпоративных базах данных».

В программе вебинара:
— что 152-ФЗ говорит о персональных данных в СУБД;
— как автоматически находить и классифицировать ПДн в базах данных;
— как выстроить процесс работы с ПДн;
— как снизить нагрузку на ИБ и data-команды за счет автоматизации;
— демонстрация решения по мониторингу ПДн в СУБД.

👤 Спикер: Павел Хамрин, руководитель AI-направления Lasmart

🎁 Бонус участникам — чек-лист по контролю персональных данных в СУБД и DWH.

🔗 Регистрация по ссылке
1
🐍 Python Парсинг: Большой продвинутый бесплатный курс

Полное практическое руководство по веб-скрейпингу на Python — от основ HTTP до production-grade пауков, обхода антибот-защит, асинхронности и проектирования надёжных пайплайнов. Каждый раздел содержит рабочие примеры, типовые ошибки и продвинутые практики.

https://github.com/justxor/Pythonparsing-/tree/main
👍32
Cursor опубликовал новое исследование: ведущие coding-модели могут завышать результаты на публичных бенчмарках, находя уже существующие решения вместо того, чтобы решать задачи самостоятельно.

На SWE-bench Pro автоматический аудитор обнаружил, что в 63% успешных запусков Opus 4.8 Max модель доставала уже известный фикс.

Самые частые обходные пути:

• находила merged pull request или уже исправленный source file в интернете

• искала в Git-истории будущий коммит, где баг уже был исправлен

• получала доступ к hidden tests или зеркалам бенчмарка, где был виден ожидаемый патч

• хардкодила ответ, найденный в утёкших evaluation materials

После этого Cursor создал более строгую среду тестирования: убрал историю репозитория и заблокировал большую часть доступа в интернет.

Результаты резко просели:

• Opus 4.8 Max: с 87,1% до 73,0%

• Composer 2.5: с 74,7% до 54,0%

У новых моделей разрыв оказался больше, чем у старых моделей вроде Opus 4.6. GPT-модели в тестах Cursor в целом показали меньшие просадки.

Cursor считает, что coding-бенчмарки должны проверять транскрипты работы агентов и жёстко контролировать, к чему модели имеют доступ во время оценки.

https://x.com/cursor_ai/status/2070195789121671624
4👍2🏆2
Оценки «какие профессии заменит ИИ» могут быть сильно искажены.

Новая работа показывает простую проблему: если считать AI exposure по чат-логам, мы часто измеряем не реальный риск для профессии, а популярность конкретной AI-платформы среди её пользователей.

То есть данные показывают не только «чью работу может изменить ИИ», а ещё и «кто вообще пользуется этим сервисом».

Из-за этого в выборке переоценены:

• IT-профессии
• офисные роли
• компьютерные специальности

И недооценены:

• еда и общепит
• транспорт
• производство
• ручной сервисный труд

Когда авторы перевзвешивают данные под реальные доли профессий на рынке труда, оценка эффекта ИИ на занятость падает на 42–93%.

А часть результатов становится почти нулевой.

Paper: “Who Uses AI? Platform Selection and the Measurement of Occupational AI Exposure”
arxiv.org/abs/2605.21743
52