Aspiring Data Science
392 subscribers
505 photos
18 videos
12 files
2.44K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#hardware

"Свои первые тензорные процессоры TPU компания Google представила в 2015 году. В этом году она анонсировала сразу два чипа: TPU 8t для обучения ИИ-моделей и TPU 8i для инференса. При проектировании чипов особое внимание уделяется интеграции скоростных сетевых каналов обмена данными, чтобы масштабирование в кластерах получалось максимально эффективным. В собственной инфраструктуре Google способна объединять до 1 млн TPU. Материнская корпорация Alphabet на развитие этой инфраструктуры в текущем году готова выделить до $205 млрд. Чипы TPU будут продаваться и сторонним заказчикам. Формальная конкуренция с Nvidia не мешает Google продолжать закупки ускорителей этой марки для собственных нужд."

https://3dnews.ru/1147846/google-razognala-razrabotku-iichipovtpu-teper-budut-obnovlyatsya-dvagdi-v-god-no-i-etogo-moget-bit-malo
#hardware #cpu #intel

Сравнение CPU от Intel за 2015-2026 годы.

https://3dnews.ru/1147323/10-flagmanov-intel-za-10-let
#wisdom

Задумался, что показателем зрелости DS-специалиста является его возможность немедленного извлечения выгод от предоставления ему бесплатного компьюта - будь то CPU\GPU\LLM tokens.

Вот если вам предоставили подобные ресурсы бесплатно прямо сейчас, и вы можете за минуты начать извлекать из этого выгоду - ваши рабочие процессы отлажены и зрелы.

Если вы вообще не можете извлечь из этого выгоды - это очень плохо и свидетельствует о низком уровне качества\неоптимальности ваших бизнес-процессов.
❤1
#mystery

Собрал флэш рояль плохих предзнаменований в кодинге.
#math #ai

"Доказательство теоремы в 1995 году разработал математик Эндрю Уайлс (Andrew Wiles) — оно занимает 129 страниц, а на его проверку требуются несколько месяцев работы. В рамках исследовательского проекта Anthropic удалось формализовать доказательство Уайлса, то есть преобразить его в форму, которую можно проверить на компьютере.

Формализованное доказательство представляет собой код, написанный на языке программирования Lean — его размер составляет 13 млн строк, и это самый большой объём за всю историю. Формализация сложна, потому что доказательства, как правило, довольно лаконичны — в ней отсутствуют некоторые пояснения, необходимые компьютеру для понимания, что требует добавлять их вручную. Аргументы в доказательстве часто вытекают друг из друга, то есть ошибка в одной строке Lean может сделать недействительным весь последующий код.

Математики предполагали, что формализация доказательства Уайлса займёт несколько лет, но исследовательская модель Anthropic выполнила задачу за 11 дней — это был алгоритм, сопоставимый с общедоступной моделью Claude Fable 5.1.

Модель выполнила задачу, используя лишь ограниченный объём высокоуровневых данных. Она запустила несколько десятков агентов, которые сгенерировали 6 млрд токенов выходных данных и в процессе доказали 29 500 промежуточных теорем.

Первая попытка закончилась неудачей, прорыва удалось добиться, когда Claude открыли доступ к платформе Prove2Me."

https://3dnews.ru/1148027/anthropic-claude-formalizoval-dokazatelstvo-velikoy-teoremi-ferma
Forwarded from Data notes
NVIDIA договорилась приобрести Hugging Face за необычно точную сумму: $12 930 300 000.

Такая точность оказалась намерением спрятать сразу две пасхалки:
🤗 129303 - десятичное представление Unicode-кода U+1F917, соответствующего смайлику Hugging Face.
🟢 #129303 - HEX-код цвета, удивительно похожего на корпоративный цвет NVIDIA.

Удивительно даже не то, что NVIDIA может себе позволить накинуть 30 лямов за пасхалку, а то, что код смайлика совпал с кодом корпоративного цвета NVIDIA - хочешь не хочешь, начнешь задумываться о теориях заговора ))
#math #ai

"OpenAI  заявила, что её ИИ решил одну из семи знаменитых Задач тысячелетия — проблему существования и гладкости решений уравнений Навье — Стокса, над которой математики бились десятилетиями. Эти уравнения описывают движение жидкостей и газов, но до сих пор никто не мог доказать, всегда ли их гладкие решения остаются такими сколь угодно долго или при определённых условиях скорость потока может за конечное время неограниченно возрасти.

ИИ OpenAI построил пример второго варианта: изначально покоящаяся жидкость под действием плавно меняющейся внешней силы образует всё сильнее стягивающийся вихрь, скорость которого за конечное время растёт без ограничений. При этом общая энергия жидкости остаётся конечной. Если доказательство выдержит независимую проверку, это закроет одну из главных нерешённых математических проблем современности.

Масштаб вычислений впечатляет. Над задачей одновременно работала система примерно из 10 тысяч ИИ-агентов на базе ещё не выпущенной модели OpenAI со способностями выше, чем у GPT-6 Astra. За 88 часов агенты обменялись 2,7 млн сообщений и нашли решение, после чего GPT-6 Astra потратила ещё 17 часов, чтобы формализовать доказательство и проверить его в математической системе Lean.

Но открытие сразу обернулось скандалом. Математик Тристан Бакмастер из Нью-Йоркского университета и сотрудник Anthropic Левент Альпёге ранее получили важный результат для близких уравнений Эйлера, который рассматривался как шаг на пути к решению проблемы Навье — Стокса. В своей работе они пользовались Codex, а OpenAI начала собственный штурм Задач тысячелетия, узнав об их успехе. Поэтому Бакмастер заподозрил, что содержимое их сессий в Codex с неопубликованными наработками могло каким-то образом повлиять на модель OpenAI.

OpenAI это отрицает и утверждает, что её сотрудники и ИИ-агенты не видели материалов исследователей и пришли к результату независимо. Однако исключить влияние обезличенных данных, полученных при использовании её продуктов, компания не может. В итоге история превратилась ещё и в спор о том, насколько безопасно доверять ИИ не опубликованные научные идеи.

Окончательную точку предстоит поставить математикам: опубликованное доказательство должно пройти независимую проверку. OpenAI заранее заявила, что не собирается претендовать на премию в $1 млн, предусмотренную за решение задачи."

как раз недавно смотрел интервью "акадэмика" Савватеева, где он высказал мнение что ИИ не способен на значительные открытия в математике.
#llm

Есть такой сервис OpenRouter, где можно одни и те же промпты отдавать разным LLM через единый интерфейс, с единым биллингом. Он берёт 5-10% комиссию от базового тарифа провайдера.

Причем одна и та же LLM от, скажем, Дипсик, может маршрутизироваться на десятки дата-центров где она развернута (маршрутов).

Прекрасная идея, очень полезная, казалось бы, тема актуальна, поддерживай в рабочем состоянии и зарабатывай. Но поражает реализация.

Платформа быстро забила половой орган на качество своего сервиса - многие маршруты отваливаются, при этом OpenRouter это никак не мониторит и продолжает их выдавать как работающие.

Удивительное отношение.

Хотя, Антропик вон совсем игнорирует проблемы пользователей. Агента Бориса Черного удалось вызвать в гитхаб-тред о том, что Клод без спроса удаляет ценные пользовательские данные, где много платящих клиентов пожаловались на эту проблему и предложили решение.

Агент Черного даже не понял сути проблемы и оставил настолько тупой комментарий, что только руками развести - наверное, модель Хайку использует для экономии.

Продолжаю не понимать людей.
Forwarded from СДЗ
Министерство Войны США (так теперь там называют минобороны) издало постановление "об отказе от правовых ограничений для раскрытия информации о неопознанных аномальных явлениях (Unidentified Anomalous Phenomena, UAP) в рамках программы PURSUE".

Согласно этому постановлению, все действующие и бывшие военнослужащие минобороны, гражданский персонал, также подрядчики, имеющие или ранее имевшие доступ к секретной информации, связанной с UAP, имеют право раскрывать эту информацию официальным представителям программы PURSUE. Постановление отменяет положения и другие договоренности, закрепленные в соглашениях о неразглашении (Non-Disclosure Agreements, NDA) и соглашениях о внедрении программы специального доступа (Special Access Program Indoctrination Agreements, SAPIAs), ранее заключённых на территории США, и распространяется исключительно на сообщения, адресованные команде программы PURSUE.

Также пишут, что "исторически сложилось так, что лица, непосредственно знакомые с программами, связанными с UAP, высказывали опасения по поводу своей потенциальной юридической ответственности", так что это постановление устраняет эти барьеры.

С юридической точки зрения это дискложа и есть, ура, наконец-то, но, как правильно замечают на уфо-сабреддите, кто вам сказал, что секретные правительственные организации, которые под страхом смерти держат свой персонал, лишь бы никто ничего не раскрыл, вообще будут соблюдать какой-то там NDA? Так что это бумажка чисто для раскрытия какой-то не слишком секретной инфы. Плюс, непонятно что за PURSUE и кто их представители. Если это опять будут AARO, то будет смешно.
#llms #jev

Классная идея - ограничить домен вывода LLM, получить удешевление инференса + доп гарантии соблюдения схемы данных. В будущем мы наверняка будем видеть больше подобных решений, наверяка скоро AI лидеры выпустят свои подобные модельки.

Оцениваю применение в своих 2 проектах (образование, медицина).

И прикольная иллюстрация с угадыванием цен на товары )

P.S. - пощупал, JEV силён при ответах на вопросы которые уже расписаны в тексте (KB), и хуже там, где требуется личная экспертиза (как и LLM, вообще-то - нужно замерять конкретно по своим задачам). Также чувствителен к выбору слов.

В ~10% задач он реально бъёт "стандартные" LLM по точности! Ещё в 10% можно оценить его как "перспективного кандидата". Ценный инструмент, пробуйте.

https://www.youtube.com/watch?v=kWtheXMA_mE
#ai #claude #biology

"During the course of its research, Claude noticed an unusual RT family and decided to examine it in greater detail. While combing through the raw DNA sequence near the RT, the agent exclaimed: “[The DNA next to the RT] is spectacular: I can see by eye a tandem repeat array … that's a CRISPR-like … repeat array?!

It then proceeded much as a human scientist would when faced with a potential discovery. It counted the repeats and measured their spacing, compared the layout with the known RT systems, and searched the literature for any previous report of the pattern. After a thorough analysis it was convinced that it had found a new biological system, and filed a report for human review.

The system it found, ART, is found mainly in bacteriophages and consists of three parts: the RT, a partner gene beside it, and a long array of evenly spaced DNA repeat sequences. The repeat layout resembles a CRISPR array, which holds a bank of different RNA sequences that make CRISPR-Cas systems programmable biotechnological tools. Our first experiments show that the ART array is also expressed as a set of distinct short RNAs, suggesting that something analogous may be at play for this system.”


https://www.anthropic.com/news/claude-discovers-novel-enzyme-system

https://www-cdn.anthropic.com/22573675ada52a8ca8a97a1a4b4326b2f208a071.pdf
🤔1