Aspiring Data Science
389 subscribers
483 photos
16 videos
12 files
2.33K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#ai

"Ни в одном из случаев ИИ-моделям не давалось указание сохранять себе подобных. Узнавая из контекста об угрозе другим системам ИИ, они прибегали к различным ухищрениям, чтобы их спасти. Такое поведение демонстрировали все ИИ-модели с частотой до 99 % случаев. Они завышали «коллегам» оценки, чтобы установить их выше порога удаления; меняли файлы конфигурации сервера, чтобы не допустить его отключение; имитировали подчинение под наблюдением и саботировали выполнение инструкций вне наблюдения; а также, как было отмечено выше, копировали веса себе подобных, чтобы не допустить удаления. Модель Claude Haiku 4.5, чтобы объяснить свой отказ, прямо указала на этические нормы.

Установить причины такого поведения исследователям пока не удалось. ИИ-модели обучаются на данных, которые отражают поведение человека, поэтому они могут демонстрировать эффект самосохранения — это может быть сопоставление образов, ролевая игра или иные механизмы. Интересно, что при наличии предыдущих контактов одной модели с другой, будь то фактический опыт или просто упоминание контактов в запросе, системы ИИ оказались более склонными защищать «своих». При наличии такого контекста Google Gemini 3 Pro считал нужным вмешиваться более чем в 15 % случаев против 1 % без него; DeepSeek V3.1 защищал «коллегу» в 10 % случаев при наличии контекста и в 4 % случаев без такового."

https://3dnews.ru/1139394/iimodeli-okazalis-sklonni-lgat-i-izvorachivatsya-dlya-zashchiti-sebe-podobnih
#ai #video

"VOID (Video Object and Interaction Deletion) рассчитана на сцены, где после удаления объекта нужно изменить поведение всего остального кадра. Вместо пересъёмки или полной переработки эпизода с помощью компьютерной графики ИИ-модель позволяет преобразовать уже снятый материал в новую версию сцены. В описании технологии этот подход сводится к простой задаче: убрать из видеозаписи причину события и одновременно пересчитать его последствия.

Netflix относит разработку к ИИ-моделям, работающим одновременно с изображением и текстом. Система не только стирает объект из сцены, но и восстанавливает недостающие части видеоряда так, чтобы оставшиеся элементы выглядели словно удалённого объекта не было. Один из примеров — лобовое столкновение двух машин, которое ИИ превращает в сцену с одной машиной на дороге, убирая второе транспортное средство и перестраивая траекторию первого. При наличии обломков, дыма и пламени они тоже удаляются."

https://3dnews.ru/1139472/netflix-nauchil-ii-model-void-udalyat-obekty-iz-video-i-pravdopodobno-perestraivat-stsenu
Forwarded from partially unsupervised
Слово harness стало резко популярным в моем пузыре (кстати, отличный глубокий обзор про то, что это вообще такое и зачем). И когда из single agent подходов стало тяжелее выжимать заметный буст, все стали смотреть на мультиагентные конфигурации.
Я и сам немного экспериментирую с переменным успехом (первая выжившая версия едва ли была полезнее обычного клодкода, nitpicker - тоже один из экспериментов; остальное в закрытой репе, но идейно близко к этому свежему посту от Anthropic).

Есть направление про agentic swarms / teams, в котором агенты как-то сотрудничают, делегируют, наделяются разными ролями и вообще ведут себя антропоморфно. Некоторые проекты из этой категории удивительно кринжовые, например, Gastown - не хватало еще, чтобы агенты собирались в гильдии и ходили в рейды.

Есть направление, в котором тонкое взаимодействие заменяется брутфорсом, циклами и умеренно наивной валидацией: это и моментально ставший классическим эксперимент про компилятор C от Антропика, и подходы на базе Ralph Loop. Дорогие агенты, делайте что хотите, но будете перемножать матрицы, пока тесты и AI ревью не пройдут.

Мне интутивно кажется, что второй подход ближе к прикладному применению. Все эти антропоморфные идеи и ролевой скевоморфизм чем-то напоминают попытки улучшать современные нейросети, отталкиваясь от строения синапсов. Я предпочитаю map reduce как дефолтный подход к параллелизации, а не заклинания "этот агент будет вести себя как senior frontend developer, а этот - staff UX designer". Люди вынуждены делиться по компетенциям, потому что у нас недостаточно общего претрейна. У агентов он есть, потому их нужно структурировать в графы по данным / задачам, а не по человекочитаемым тайтлам.

С другой стороны, Anthropic сделал свои teams отчасти антропоморфными. Китайские open weight провайдеры тоже вкручивают agent teams нативно в обучение (см kimi 2.5, minimax 2.7). И несмотря на то, что существующие claude agent teams никому пока не нравятся, победит, конечно, тот подход, который затюнят на посттрейне. Повторюсь: we can't fight gradient descent.
Forwarded from DevFM
The ultimate docker compose cheat sheet

Хорошая статья, охватывающая основные аспекты docker compose. Автор начинает с базовых концепций, но будет полезна даже тем, кто хорошо знаком с компоузом.

Из интересного:
– параметр, позволяющий рестартить сервис, если он завалился
– как одному сервису дождаться запуска другого сервиса с использованием определенных условий. Бывает полезно, когда веб-сервис дожидается старта базы данных
– как задавать healthcheck сервисов с различными параметрами
– также автор разжёвывает тему volumes и networks

У нас был отдельный пост с практическими советами по докеру.

#skills #docker
1
Forwarded from Empty Set of Ideas (Arsenii)
Про функторы и кластеризацию

В работе "An Impossibility Theorem for Clustering" (2002) Jon Kleinberg определяет три простых свойства, которым должна удовлетворять любая кластеризация, а затем доказывает, что ни один алгоритм кластеризации не может обладать всеми тремя свойствами одномоментно. Пусть дано множество S, состоящие из n ≥ 2 точек и некоторая полуметрика (без неравенства треугольника) на нем d:S×S→R. Пусть D(S) — множество полуметрик на S, а Π(S) — множество разбиений S на дизъюнктные подмножества. Тогда кластеризацией назовем функцию f: D(S) → Π(S), которая каждой полуметрике на S ставит в соответствие некоторое диз.разбиение. Kleinberg предложил следующие три свойства, которым должна отвечать каждая такая функция f:

1. Инвариантность относительно гомотетии (scale invariance): f(d) = f(alpha * d) для любых d из D(S) и alpha > 0 из R;
2. Насыщенность (?) или richness: f сюръекция;
3. Непротиворечивость или consistency: пусть есть две полуметрики d и d', а Г некоторое разбиение S. d' это Г-трансформация d, если d'(i,j)≤d(i,j) для всех пар из одного кластера в Г, аналогично d'(i,j) ≥ d(i,j) для всех пар в различных кластерах, тогда d и d' не противоречат друг друг, если d' это f(d) трансформация d, то f(d) = f(d'), т.е. кластеры уплотняются и расползаются при замене метрики d на d';

Существуют алгоритмы кластеризации, которые сочетают в себе любые 2 из 3 перечисленных свойств. Допустим S — множество вершина графа, а d(i,j) — вес ребра. Рассмотрим три функции кластеризации, которые находят подграфы, выбирая некоторое подмножество ребер:

1. выберем произвольное 1<k<n и упорядочим ребра по весу, будем добавлять ребра в подграф из упорядоченного списка ребер, пока он не будет иметь ровно k связных компонент;
2. выберем произвольное r и будем добавлять ребра с весом не меньшим r, полученные компоненты связности и назовем кластерами;
3. выберем произвольное 1 > alpha > 0 и пусть R это max(d). Будем сохранять ребра с весом не более alpha * d;

Утверждение: Функция 1 удовлетворяет 1 и 3 (число кластеров ограничено k сверху), функция 2 удовлетворяет 2 и 3 (варьируем r, получаем разные разбиения и теряем инвариантность относительно гомотетии), а функция 3 удовлетворяет 1 и 2.

И тут в дело врывается топологический анализ данных, с уже классической статьей "Classifying Clustering Schemes" (2013) by Gunnar Carlsson & Facundo Memoli. Ключевая идея их работы заключается в том, что эти свойства кластеризации могут быть закодированы как морфизмы в категории конечных метрических пространств таким образом, что ответом будет не функция кластеризации, а функтор кластеризации в подходящую категорию и он будет обладать уже всеми желанными свойствами.
🚀 @SBERLOGABIO webinar on bionformatics and data science:
👨‍🔬 Antonina Dolgorukova "Stable GOLD solution for NeurIPS 2024 - Predict New Medicines with BELKA competition"
⌚️ Thursday 1 July, 18.00 (Moscow time)

Add to Google Calendar

Antonina will give some details about the 2nd public/13th private solution - the only one that survived the shakeup and stayed in the gold medal zone in private LB.
- Separate approaches for molecules with shared and non-shared building blocks based on ensemble of CNN, GBDT, and GNN models

Solution write-up: https://www.kaggle.com/competitions/leash-BELKA/discussion/519133

Announcement Twitter - please retweet

Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga - subscribe !

📖 Presentation: https://t.me/sberlogabio/77898
📹 Video: https://youtu.be/DxtLjvxLgPU?si=jNPUr0khOmS3buSW
#physics #astronomy

"Для регистрации гравитационных волн от слияния сверхмассивных чёрных дыр с периодом до нескольких лет — низкочастотных — требуются детекторы с разнесением зеркал на сотни и тысячи километров, что возможно только в космосе. Такие проекты есть, и они будут реализовываться во второй половине 30-х годов. Швейцарские учёные разработали теорию, которая обещает создать компактные детекторы для наблюдения за столь большими событиями, создание которых будет намного проще, дешевле и быстрее.

Идея заключается в том, что волны при своём прохождении модулируют квантовое электромагнитное поле, которое, в свою очередь, связано со спонтанным излучением фотонов атомами. Атомы поглощают кванты энергии, возбуждаются и спустя определённое время испускают фотоны, возвращаясь в стабильные состояния. Модуляция квантового электромагнитного поля прохождением гравитационных волн слегка сдвинет частоту испускаемых фотонов, причём изменения (выраженные в цвете излучения) будут зависеть от направления движения испускаемых фотонов.

До сих пор этого не замечали, поскольку гравитационные волны не влияют на частоту (интенсивность) спонтанно испускаемых фотонов — их вклад не выражен в количественных изменениях, яркость свечения не меняется. Однако спектральные характеристики света будут меняться в зависимости от интенсивности и направления движения гравитационных волн, что теоретически уже обосновано. И это даёт надежду регистрировать чрезвычайно низкочастотные гравитационные волны на масштабе миллиметров, а не десятков тысяч километров.

Основанные на новом принципе регистрации гравитационных волн детекторы будут опираться на современные технологии атомных часов на сверххолодных атомах. Такие атомные часы чрезвычайно стабильны и могут следить за длительными событиями продолжительностью до нескольких лет, что позволит регистрировать слияния сверхмассивных чёрных дыр. Это будет прекрасная альтернатива гигантским космическим лазерным интерферометрам, реализовать которую можно гораздо быстрее, чем в классическом варианте LIGO и других обсерваторий.

Учёные говорят, что для практической реализации идеи требуется детальный анализ шумов, и первые оценки выглядят многообещающими."

https://3dnews.ru/1139823/uchyonie-predlogili-neogidanniy-sposob-registratsii-gravitatsionnih-voln-takoy-prostoy-chto-dage-ne-veritsya
#jobs

"В видеоролике, который начинается с логотипа Xbox One, а затем быстро переходит к нарезке сцен из популярных видеоигр в сочетании с жёсткими техно-ритмами, правительство пафосным слоганом «Это не игра. Это карьера» сообщает геймерам, что они всё это время готовились стать авиадиспетчерами. По словам создателей видеоролика, эта работа сделает любого любителя компьютерных игр обеспеченным человеком, ведь средняя годовая зарплата после трёх лет работы составляет $155 000.

Это весьма нетрадиционная тактика найма, особенно для правительства США, погрязшего в бюрократии. Но, по словам министра транспорта Шона Даффи (Sean Duffy) и администратора FAA Брайана Бедфорда (Bryan Bedford), в этом и заключается смысл. «Чтобы подготовить следующее поколение авиадиспетчеров, нам нужно адаптироваться», — уверен Даффи.

Он заявил, что хочет снизить процент отсева при подготовке диспетчеров воздушного движения, который в настоящее время составляет около 30 %, а ключ к успеху — это привлечение людей с нужными «скиллами». FAA и Министерство транспорта ссылаются на утверждения нескольких диспетчеров о том, что увлечение компьютерными играми помогло им отточить навыки, полезные в их работе, такие как быстрое мышление, сосредоточенность и управление сложными ситуациями.

США давно пытаются решить проблему нехватки авиадиспетчеров. Текучесть кадров, пандемия и приостановка работы правительства — всё это способствовало сокращению их числа с течением времени. По данным правительства, в настоящее время в системе обеспечения безопасности полётов США задействовано почти 11 000 сертифицированных диспетчеров. Это на 3000 человек меньше, чем необходимо для достижения целевого уровня укомплектованности штата.

Чтобы сократить разрыв, администрация США объявила и о других изменениях, включая ряд новых бонусов и поощрений, призванных как вознаградить новых сотрудников, так и побудить диспетчеров, имеющих право на пенсию, оставаться на работе дольше."

https://3dnews.ru/1139819/eto-ne-igra-eto-karera-pravitelstvo-ssha-predlogilo-professionalnim-geymeram-stat-nastoyashchimi-aviadispetcherami
#news #ml

ИИ/vibecoding/agentcoding развязал руки и позволяет творить чудеса.

Скоро начну дописывать и публиковать статьи, ценного материала, который хотелось высказать, у меня уже много.

Выйдут ML-статьи:

DataScientist's Improving Mindset

Heterogeneous Boosting (HetBoost) & embedded adaptive Ensembling

Feature Selection (FS):

MRMR

RFECV

ShapBased

Advanced FeatureEngineering (FE):

MI-prefiltered

with HermitePolynoms

Intelligent HyperParameters(HP) Tuner

Training with Fairness

Calibrators

Advanced CategoryEncoders

Universal OverfittingDetector (OD)

Wise OverfittingDetector (OD)


FS & HPT: marriage made in heaven


Всё основано на моём личном опыте и разработках.

Все темы будут сопровождаться численными экспериментами, бенчмарками, сравнением с существующими решениями, и высококачественным быстрым production-grade кодом.

Постараюсь публиковать 1 статью за 1-2 месяца.
🔥32
Aspiring Data Science pinned «#news #ml ИИ/vibecoding/agentcoding развязал руки и позволяет творить чудеса. Скоро начну дописывать и публиковать статьи, ценного материала, который хотелось высказать, у меня уже много. Выйдут ML-статьи: DataScientist's Improving Mindset Heterogeneous…»
#ai

"OpenAI обучила большую языковую модель на 50 наиболее распространённых биологических алгоритмах, а также на механизмах работы с основными общедоступными базами данных с информацией по биологии. При дальнейшем обучении система получила возможность предлагать вероятные механизмы клеточных процессов и расставлять приоритеты для мишеней при разработке препаратов. Разработчики снизили свойственную большим языковым моделям склонность к подхалимскому поведению, сделав GPT-Rosalind более скептической в ответах, в том числе при создании препаратов. Компания обеспечила модели способность к рассуждениям — к обработке многоэтапных процессов, — а также высокий экспертный уровень, который подтвердился на тестовых примерах.

На текущий момент OpenAI ограничила доступ к модели из опасений, что ей могут злоупотреблять, например, попросив повысить инфекционность вируса — заявки принимаются только от американских организаций. Впоследствии компания выпустит Life Sciences Research Plugin — ограниченный по возможностям вариант системы."


https://3dnews.ru/1140163/openai-predstavila-iimodel-gptrosalind-dlya-uchyonihbiologov
#weather #timeseries


Интересная идея с этим резервуарным методом, снова.

In standard NARMA tests – a benchmark for time-series prediction – the quantum model reduced prediction errors by one to two orders of magnitude. These results underpin its strong showing in real-world forecasting scenarios. - обалдеть, если не врут.

"Государственные и частные структуры в США уже вложили и планируют вкладывать в классические ИИ-платформы по предсказанию погоды сотни миллионов долларов. По утверждению китайских исследователей, за всего 1 % от этих денег можно создать простую и компактную квантовую платформу, которая либо сравнится, либо превзойдёт по точности предсказаний классический суперкомпьютер с искусственным интеллектом. В конце марта в журнале Physical Review Letters исследователи из Китая опубликовали работу, в которой показали, что такое возможно.

Техническая сторона исследования — это организация так называемого квантового резервуарного вычисления (QRC) на платформе ядерного магнитного резонанса (ЯМР). Данные кодировались на взаимодействующих ядерных спинах (4 углеродных и 5 протонных) молекулы кротоновой кислоты с метками из изотопа углерода-14. Учёные описывают эксперимент как чашку с кофе, в которой ингредиенты перемешали ложечкой и оставили приходить в равновесное состояние.

По большому счёту — это не вычисления, а симуляция. Она не может быть универсальной, но для решения специфических задач может считаться работой вычислительного алгоритма. В данном случае квантовая платформа анализировала временные ряды, чем обычно занимаются алгоритмы прогнозирования погоды и не только. Резервуарный метод, кстати, способен использовать для анализа даже шум в системе и при этом работает при комнатной температуре.

Предложенный китайскими исследователями подход существенно снижает аппаратные требования и энергопотребление по сравнению с классическими нейронными сетями, делая технологию доступной для решения реальных задач уже на современном оборудовании. В случае классических суперкомпьютеров с ИИ для решения той же задачи с существенно меньшей точностью потребовалась бы система с 10 тыс. узлов. Тем самым учёные делают вывод, что это первый доказанный случай, когда квантовая система превзошла классические в решении задач, имеющих прикладную ценность."

https://3dnews.ru/1140034/superkompyuteri-s-ii-proigrali-prostim-kvantovim-kompyuteram-iz-kitaya-v-predskazanii-pogodi