Aspiring Data Science
373 subscribers
425 photos
11 videos
10 files
1.87K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#llms #ai #gpt #math #ensembling #diversity

Недавно на ютубе смотрел видео о применении компьютера (в частности, языка Julia для исследования проблемы 196), спросил в комментах математика (явно советской школы), который написал статью по модификации проблемы, не пробовал ли он ИИ для генерации кода, да и вообще обкатки идей, на что получил кажущийся высокомерным ответ, мол, этот ваш ИИ слишком слаб для моих задач. Повеяло Сурдиным, в общем ) Я такой думаю, да что ж вы за гиганты мысли такие, что он для вас слаб и неточен, я вот прекрасно с ним работаю и оочень доволен. А вот и пример.


Q.: Suppose i'm running HPT/HPO for some model on a particular dataset, and I plan to later use more than one HP combinations to form an ensemble. Now, am I looking for HPs producing un-correlated predictions (zero MI), or anti-correlated predictions (corrcoeff=-1)?

A.: You're looking for hyperparameter (HP) combinations that produce uncorrelated predictions (zero mutual information, MI ≈ 0) rather than strictly anti-correlated ones (corrcoeff=−1).

Why uncorrelated predictions?
Ensemble Diversity: The key to a strong ensemble is combining diverse but individually strong models. If two models are perfectly anti-correlated (ρ=−1), their predictions will cancel each other out when averaged, leading to little to no improvement.
Reduction in Variance: The goal of an ensemble is to reduce variance and improve generalization. If the models are uncorrelated, they make different kinds of errors, so their combination will smooth out those errors.
Avoiding Overcompensation: A correlation of −1 means that one model's overestimation is exactly another model's underestimation, which could lead to instability in the ensemble.

How to achieve this?
Optimize for performance first: Choose hyperparameters that result in good individual models.
Select diverse models: Instead of maximizing anti-correlation, look for models that make errors in different places (measured by MI or correlation).
Use decorrelation techniques: Cluster models based on prediction similarity and pick those with the lowest pairwise correlation.
In short, low correlation (not necessarily negative) is desirable, but enforcing perfect anti-correlation is counterproductive.


Вот эта интересная идея, о которой я и не подумал, Cluster models based on prediction similarity and pick those with the lowest pairwise correlation. А ведь интересная визуализация может получиться. Хоть какое-то реальное применение для unsupervised ML 😅

Q.: What are other practical means to look for models that make errors in different places, except MI?

A.: Aside from mutual information (MI), there are several practical ways to identify models that make errors in different places when forming an ensemble:

Disagreement Rate (Prediction Diversity Index)
For classification, measure how often two models make different predictions on the same data points.
Higher values indicate greater diversity.

Jaccard Similarity for Misclassified Samples
Compute the Jaccard index for misclassified examples between two models:
Lower values mean models make mistakes on different samples.

Double-Fold Cross-Validation Differences
Train models on different folds and analyze how much their predictions differ on holdout sets.
If a model performs well on Fold 1 but poorly on Fold 2, and another model shows the opposite behavior, they might complement each other.

Shapley Value or Feature Importance Differences
Compare the features each model relies on using SHAP, permutation importance, or Gini importance.
If two models prioritize different features, they likely capture different aspects of the data.

Orthogonality of Prediction Vectors (in High-Dimensional Spaces)
Compute cosine similarity between prediction vectors:
Lower cosine similarity implies more independent predictions.
2
#deepmind #alphageometry #llms #ai #gpt

"AlphaGeometry2, используя лингвистическую модель на основе архитектуры Gemini и усовершенствованный механизм символической дедукции способна определять стратегии решения задач с точностью, превосходящей возможности большинства экспертов-людей.

Принятый подход объединяет два основных компонента: лингвистическую модель, способную генерировать предложения на основе подробного геометрического описания, и символический механизм DDAR (Deductive Database Arithmetic Reasoning), который проверяет логическую связность предлагаемых решений, создавая дедуктивное замыкание на основе доступной информации.

Проще говоря, модель Gemini AlphaGeometry2 предлагает символическому механизму шаги и конструкции на формальном математическом языке, и механизм, следуя определённым правилам, проверяет эти шаги на логическую согласованность.

Ключевым элементом, который позволил AlphaGeometry2 превзойти по скорости предшественника AlphaGeometry, является алгоритм SKEST (Shared Knowledge Ensemble of Search Trees), который реализует итеративную стратегию поиска, основанную на обмене знаниями между несколькими параллельными деревьями поиска. Это позволяет одновременно исследовать несколько путей решения, увеличивая скорость обработки и улучшая качество сгенерированных доказательств.

Эффективность системы удалось значительно повысить с новой реализацией DDAR на C++, что в 300 раз увеличило её скорость по сравнению с версией, написанной на Python.

Вместе с тем из-за технических особенностей AlphaGeometry2 пока ограничена в возможности решать задачи с переменным числом точек, нелинейными уравнениями или неравенствами. Поэтому DeepMind изучает новые стратегии, такие как разбиение сложных задач на подзадачи и применение обучения с подкреплением для выхода ИИ на новый уровень в решении сложных математических задач.

Как сообщается, AlphaGeometry2 технически не является первой ИИ-системой, достигшей уровня золотого медалиста по геометрии, но она первая, достигшая этого с набором задач такого размера.

При этом AlphaGeometry2 использует гибридный подход, поскольку модель Gemini имеет архитектуру нейронной сети, в то время как её символический механизм основан на правилах.

Сторонники использования нейронных сетей утверждают, что интеллектуальных действий, от распознавания речи до генерации изображений, можно добиться только благодаря использованию огромных объёмов данных и вычислений. В отличие от символических систем ИИ, которые решают задачи, определяя наборы правил манипуляции символами, предназначенных для определённых задач, нейронные сети пытаются решать задачи посредством статистической аппроксимации (замены одних результатов другими, близкими к исходным) и обучения на примерах. В свою очередь, сторонники символического ИИ считают, что он более подходит для эффективного кодирования глобальных знаний.

В DeepMind считают, что поиск новых способов решения сложных геометрических задач, особенно в евклидовой геометрии, может стать ключом к расширению возможностей ИИ. Решение задач требует логического рассуждения и способности выбирать правильный шаг из нескольких возможных. По мнению DeepMind, эти способности будут иметь решающее значение для будущего универсальных моделей ИИ."

https://3dnews.ru/1117969/iimodel-ot-deepmind-reshaet-zadachi-na-urovne-zolotih-medalistov-megdunarodnoy-matematicheskoy-olimpiadi
👍1
#llms #ai #mistral #pdf #ocr

"Mistral OCR доступен на собственной платформе компании, а также в инфраструктуре облачных партнёров Mistral, таких как AWS, Azure и др. Для компаний, которые работают с конфиденциальными или секретными данными, Mistral предлагает версию API для локального развёртывания. В компании заявили, что Mistral OCR работает лучше, чем аналогичные API от Google, Microsoft или OpenAI. Компания протестировала свой API на сложных PDF-документах, в том числе содержащих математические выражения, сложные макеты и таблицы."

https://3dnews.ru/1119379/mistral-ai-predstavila-instrument-kotoriy-prevratit-lyuboy-pdfdokument-tekstoviy-fayl-dlya-ii
#ai #llms #gpt

"В моделях семейства GigaChat 2.0 улучшена работа с контекстом беседы: они способны отвечать на сложные длинные вопросы и анализировать увеличенные объёмы текста. Если ранее максимальный объём составлял 48 страниц A4 (шрифт 14 pt), то теперь этот показатель вырос до 200 страниц. Это позволяет создавать более качественные чат-боты на основе GigaChat 2.0. Вдвое увеличилась способность следовать инструкциям пользователя, а качество ответов на вопросы повысилось на 25 %.

Флагманская GigaChat 2 MAX заняла первое место среди ИИ-моделей в независимом тесте MERA для русского языка. В бенчмарках MMLU на русском и английском она показала результаты на уровне мировых лидеров и по некоторым критериям превзошла их."

https://3dnews.ru/1119676/sber-predstavil-silneyshiy-russkoyazichniy-ii-gigachat-20
#ai #llms #math

"Для анализа были использованы шесть задач с USAMO 2025 года, организованного Математической ассоциацией Америки. ИИ-модели тестировались сразу после публикации заданий для минимизации риска утечки данных в обучающие выборки. Средняя результативность по всем ИИ-моделям при генерации полных доказательств составила менее 5 % от максимально возможных баллов. Системы оценивались по шкале от 0 до 7 баллов за задачу с учётом частичных зачётов, выставляемых экспертами. Лишь одна модель — Gemini 2.5 Pro компании Google — показала заметно лучший результат, набрав 10,1 балла из 42 возможных, что эквивалентно примерно 24 %. Остальные модели существенно отставали: DeepSeek R1 и Grok 3 получили по 2,0 балла, Gemini Flash Thinking — 1,8 балла, Claude 3.7 Sonnet — 1,5 балла, Qwen QwQ и OpenAI o1-pro — по 1,2 балла. ИИ-модель o3-mini-high компании OpenAI набрала всего 0,9 балла. Из почти 200 сгенерированных решений ни одно не было оценено на максимальный балл.

Исследование подчёркивает фундаментальное различие между решением задач и построением математических доказательств. Стандартные задачи, такие как вычисление значения выражения или нахождение переменной, требуют лишь конечного правильного ответа. В отличие от них, доказательства требуют последовательной логической аргументации, объясняющей истинность утверждения для всех возможных случаев. Это качественное различие делает задачи уровня USAMO значительно более требовательными к глубине рассуждения.

Авторы исследования выявили характерные модели ошибок в работе ИИ. Одной из них стала неспособность поддерживать корректные логические связи на протяжении всей цепочки вывода. На примере задачи №5 USAMO 2025 года ИИ-модели должны были найти все натуральные значения k, при которых определённая сумма биномиальных коэффициентов в степени k остаётся целым числом при любом положительном n. Модель Qwen QwQ допустила грубую ошибку, исключив возможные нецелые значения, разрешённые условиями задачи, что привело к неправильному окончательному выводу, несмотря на правильное определение условий на промежуточных этапах.

Характерной особенностью поведения моделей стало то, что даже в случае серьёзных логических ошибок они формулировали свои решения в утвердительной форме, без каких-либо признаков сомнения или указаний на возможные противоречия. Это свойство имитации рассуждения указывает на отсутствие у ИИ-моделей механизмов внутренней самопроверки и коррекции вывода.

Авторы отметили также влияние особенностей обучения на качество решений. Тестируемые ИИ-модели демонстрировали артефакты оптимизационных стратегий, применяемых при подготовке к стандартным бенчмаркам: например, принудительное форматирование ответов с использованием команды \boxed{}, предназначенное для удобства автоматизированной проверки. Эти шаблонные подходы приводили к ошибкам в контексте задач, где требовалось развёрнутое доказательство, а не только числовой ответ."

https://3dnews.ru/1121911/uchenye-vyyavili-nesposobnost-ii-stroit-matematicheskie-dokazatelstva-na-zadachakh-usamo-2025-goda
#astronomy #ai #llms

"Основная задача ИИ на борту — предоставлять астронавтам рекомендации без необходимости постоянного обмена данными с Землёй. Кроме того, Space Llama занимается первичной обработкой данных с бортовых датчиков, отправляя на Землю уже готовую аналитику вместо исходных необработанных потоков. Это позволяет существенно экономить трафик, который на МКС всегда ограничен.

Как сообщили Meta и Booz Allen, ИИ Space Llama предназначен для поддержки в проведении экспериментов в научной лаборатории на станции — ISS National Laboratory (Национальная лаборатория Международной космической станции).

Meta уточняет, что астронавты могут использовать Space Llama для извлечения данных из технических справочных документов. Кроме того, реализация Llama 3.2 в системе позволяет обрабатывать мультимодальные файлы благодаря встроенным функциям компьютерного зрения. Для работы ИИ не требуются инструкции с Земли, а значит, он способен выполнять вычисления даже при ограниченной пропускной способности сети."

https://3dnews.ru/1121919/na-mks-podselili-iskusstvenniy-intellekt-on-budet-pomogat-kosmonavtam-sovetami
#ai #gpt #llms

"Оказалось, что на базовом уровне ИИ похожим образом сортирует данные о предметах, как это происходит в соответствующих областях головного мозга человека. При этом текстовая модель оказалась «человечнее», чем мультимодальная. Но обе они демонстрировали хотя и не человеческую, но похожую в свей основе схему анализа и классификации объектов.

Между ИИ и человеком разумным больше общего, чем считалось, резюмируют учёные. Новая работа поможет точнее понимать логику, которой руководствуется ИИ, что позволит сделать его ещё лучше."

https://arxiv.org/abs/2407.01067
#ai #gpt #llms

Рыжий Марков - молодцом, на сложные вопросы отвечает как по писаному. Грамотный!

Позабавил момент, когда Карякин сообщил интервьюверу, что современные шахматные программы - это "большие калькуляторы".

Это показывает, что, как правило, бессмысленно спрашивать о работе современных шахматных программ хорошего шахматиста - он просто этого не знает, хотя будет уверен в обратном. Примерно как экзаменовать Крамника по статистике и её применении в шахматах )

https://youtu.be/U8k8K-S-95I?si=9tt1HKCoNr7EjdDC
#ai #llms #gpt #gemini

Обалдеть. А ведь раньше для этого требовалась работа целого коллектива..

"Новейшая функция ИИ-приложения Google Gemini позволяет создавать персонализированные иллюстрированные сборники рассказов с озвучкой для детей. Искусственному интеллекту можно поручить создание любой истории на основе текстового запроса. В качестве «вдохновения» для рассказов ИИ способен использовать фотографии, изображения и файлы пользователя.

Gemini, например, можно попросить придумать рассказ, который объяснит ребёнку строение Солнечной системы или расскажет о важности доброго отношения к младшим братьям и сёстрам. Также ИИ можно поручить написать целый сборник на основе детских рисунков.

В итоге получается десятистраничная книга с иллюстрациями и аудиосопровождением. Gemini позволяет прослушивать её в разных тональностях — с более высоким или низким голосом. Также доступна возможность поделиться ссылкой на книгу или скачать её для последующей печати.

Новая функция Gemini по созданию рассказов поддерживает 45 языков, в том числе русский, и доступна по всему миру — как в мобильном приложении Gemini, так и в его версии для ПК."

https://3dnews.ru/1127154/google-nauchila-gemini-sozdavat-komiksi-i-illyustrirovannie-knigi-rasskazov-na-russkom-i-drugih-yazikah
😭1
#coding #llms #gpt #ai

"Гендиректор GitHub побеседовал с 22 разработчиками, которые пользуются инструментами ИИ и выделил четыре этапа их перехода в новое качество: «скептик», «исследователь», «соавтор» и «стратег». На последней стадии разработчики уже не пишут код, а делегируют эту задачу агентам ИИ — человеку же остаётся уточнять запросы и заниматься проверкой сгенерированных реализаций."

Ну фиг его знает, из того, что я вижу, стратегом пока не станешь. Максимум соавтором. Слишком много дерьма приходится за LLM-ками разгребать в кодинге. Что не отменяет крутого прогресса и невероятности самого факта.

https://3dnews.ru/1127339/glava-github-razrabotchiki-budushchego-ne-budut-pisat-kod-oni-budut-upravlyat-ii
#openai #llms #gpt #chatgpt #vibecoding

Немного о моём опыте кодинга с chatgpt-5.

Как раз так совпало, что в день релиза 5-ки я решал задачу средней сложности, искать своё старое решение на VB6 было лень, и я решил закодить LLM-ками.
Ну и как раз запулил формулировку в chatgpt-5.

Но, видно, при выкатке чего-то напутали, и результаты я получил отвратительные. Перешёл в Клод, Грок, Дипсик (не платные) - не помогло. Клод написал красивые визуализации, но сам алгоритм не осилил.

Через пару дней снова отдал chatgpt-5 - сразу успешно!

Причем она очень уверенно отзащищалась на мои коварные вопросы и edge cases, и отстояла свою версию кода.
Я почувствовал уровень.