#math #randomness

Пробую использовать эту концепцию Арнольда в ML.

https://youtu.be/Wpi06vIdrzc

#ufo #aliens #disclosure

https://www.youtube.com/live/u_emZmzkTtM

#physics

https://youtu.be/u7TNiekrClw

#anthropic

"When you feel that their values are not they say they are, when you feel that they are not honest, it makes it very hard to continue to work with the company."

Понимаю это чувство.

https://www.youtube.com/watch?v=v1wZwxY3CMg

#ai #llms

https://habr.com/ru/articles/1023316/

#ai #3d

https://www.youtube.com/watch?v=SCQt6B96DSs

#stocks #spacex #musk

"Акции компании SpaceX начали торговаться на нью-йоркской фондовой бирже Nasdaq под тикером SPCX. Компания разместила 555 555 555 ценных бумаг по цене $135 за штуку. В рамках первичного размещения компания рассчитывает привлечь около $75 млрд, что делает IPO крупнейшим в истории фондового рынка.

Ранее в этом году SpaceX была оценена примерно в $1,25 трлн после объединения с компанией xAI, также принадлежащей Илону Маску. Однако в итоге компания вышла на биржу с оценкой в $1,77 трлн, сразу ворвавшись в восьмёрку самых дорогих публичных компаний мира.

Что интересно, несмотря на выход на биржу, Илон Маск (Elon Musk) сохранит практически полный контроль над SpaceX — предприниматель получил 85 % голосующих акций. Вместе с тем выход SpaceX на биржу сделал Маска первым в истории человеком с капиталом более триллиона долларов. Принадлежащий ему пакет оценивается в $648 млрд (плюс $44,3 млрд в виде опционов), что в сочетании с остальными активами обеспечивает состояние в $1,1 трлн."


https://3dnews.ru/1143468/spacex-provela-krupneyshee-ipo-v-istorii-privlekla-75-mlrd-i-sdelala-maska-pervim-trillionerom

#tabular

Эти идеи с синтетикой были понятны уже лет пять тому, просто не было лишних рук чтобы реализовать. Но работаю над этом сейчас в рамках проекта интеллектуального HP-тюнера. Рад, что ML сообщество наконец-то преодолело лень и занялось этим направлением, немцы из университета Фрайбурга - красавчики.


https://www.youtube.com/watch?v=MvEkj7TOmj8

История с закрытием доступа к Fable - повод тянуться за шампанским в офисах провайдеров открытых моделей. Каждый executive, который участвовал во внедрении AI в своей организации (т.е. просто каждый executive), резко задумался: "А что и кому они внезапно отключат в следующий раз?". Все страхи про вендорлок материализовались мгновенно, даже если конкретно в этой компании Fable и не начали использовать, да и не планировали.

И поэтому все мультивендорные альтернативы резко заиграли новыми красками. Во-первых, бигтехи, перепродающие много моделей под своей крышей (AWS Bedrock, Databricks Unity AI Gateway, Cursor в случае кодинг агентов). Но это полумера, все еще сильная зависимость от топовых лаб. Потому есть и во-вторых: выбрать что-то с open weights, как раз ключевые игроки в этой нише недавно выкатили свежие релизы (Minimax 3, Kimi 2.7, GLM 5.2). Сменить провайдера в таком сетапе совершенно не проблема.

Где-то тут еще витают страхи, что токены в обозримом будущем подорожают, чтобы отбивать венчурные сотни миллиардов, кодинг агенты по подписке снизят лимиты / перестанут быть доступны для корпораций. В общем, беспокойное время для менеджеров, хорошее время делать vendor-agnostic платформы.

Openrouter идеально подгадал по времени и выкатил fusion ендпоинт, из которого неспециалист достанет только один тейк - "микс из моделей попроще работает не хуже топовой модели". Воспитанные кагглом люди помнят, что ансамбли слабо скоррелированных моделей - универсальный молоток. Дьявол все еще в деталях, универсального способа блендить LLM пока не видно, хотя для частных случаев что-то придумать можно.

—
Именно для этих экспериментов я в свое время и сделал nitpicker - чтобы вайбчекать варианты бленда моделей, пытаясь получить близкое к tier-1 качество, используя tier-2 модели (впрочем, никто не мешает жечь и токены опуса/gpt).

Для тех, кому лень ставить незнакомый софт, сделал бесплатную веб-версию. Ограничения: одно ревью на всех в момент времени, работает только с публичными PR на гитхабе, те самые tier-2 модели, аптайм не гарантирован (хостится у меня под теликом).

#data

Alyosha, pastiche ))

https://www.youtube.com/watch?v=vk6lgHjjGp8

#cloud

Казалось бы, кому эта Пинтерест нафиг нужна?

"Фотохостинг Pinterest объявил о значительном расширении сотрудничества с AWS, начавшемся в 2010 году. Согласно новому соглашению, Pinterest выплатит AWS в период до 2031 года $4 млрд за использование её сервисов, что является крупнейшим инфраструктурным проектом в истории Pinterest.

В рамках расширенного соглашения Pinterest планирует диверсифицировать использование инфраструктуры AWS для поддержки растущих потребностей в ИИ, одновременно улучшая соотношение цены и производительности. В частности, компания планирует использовать ускорители AWS Trainium для размещения и запуска больших языковых моделей и моделей визуального и языкового анализа, которые обеспечивают персонализированный визуальный поиск и поиск с помощью ИИ. Также Pinterest намерена расширить использование Arm-процессоров Graviton, которые уже обеспечивают работу примерно трети её вычислительной инфраструктуры, для запуска большего количества систем, поддерживающих поиск контента для пользователей фотохостинга, ежемесячная аудитория которого превышает 600 млн."

https://servernews.ru/1143542

#ml

Общая постановка задачи машинного обучения с метками, как это выглядело 20 лет назад. Есть интересные идеи, незаслуженно забытые сейчас.

Попробовал закодить 4 идеи (тесторы, MoE на tabular, алгебраический стэкинг, коррекция ансамблей слабых моделей), ни одна не взлетела на синтетике - лучше чем ничего, но хуже существующих альтернатив. Либо надо работать над этими идеями дольше и более вдумчиво.

https://www.youtube.com/watch?v=R3CMqrrIWOk&

#fun #literature

https://www.youtube.com/shorts/oOzioPdZ9Bo

#seldon #foundational #tabular

https://www.youtube.com/watch?v=Xym8FGDcl34

#testing #trading

"Whether you’re validating software or validating trading strategies, the discipline is the same: test cheap and fast first, invest in expensive and thorough only when the cheap tests pass, and never skip a level of the pyramid just because you’re excited about the idea."

"Financial theory provides the same kind of invariants. The difference is that most quants don’t think of them as test specifications. They think of them as textbook formulas. But the formulas encode relationships that must hold by the structure of markets:

Non-negative bid-ask spread: the ask price is at least as high as the bid. Always. A violation in your data means stale quotes, a crossed market that should have been filtered, or corrupt data.
OHLC consistency: the high is the highest price in the bar, the low is the lowest. The open and close fall between them. This is definitional, not statistical.
Monotonic timestamps: each observation comes after the previous one. Out-of-order data means your pipeline has a sorting bug or your source delivered duplicates.
Adjusted price continuity through splits: a 2:1 split shouldn’t create a 50% gap in the adjusted price series. If it does, the adjustment factor is wrong or missing."

https://martinfowler.com/articles/practical-test-pyramid.html

https://www.susanpotter.net/quant/testing-pyramid-sideways/

https://www.susanpotter.net/quant/metamorphic-relations-backtests/

https://www.susanpotter.net/quant/property-based-testing-statistical-validation/

#trading

So true.

"The Cost of Not Shipping
In quantitative finance, the cost of perfectionism is measured in:

Opportunity cost: Alpha decays. A strategy that worked six months ago may not work today. Ship now or lose the edge.
Learning velocity: Live trading teaches lessons backtests cannot. Every month spent perfecting a backtest is a month not learning from real market feedback.
Capital efficiency: Money sitting idle waiting for the “perfect” strategy earns zero return.
TL;DR
The backtest will never be perfect. The infrastructure will never handle every edge case. The model will never capture every market regime.

Ship the minimum viable strategy to paper trading or with micro-positions. Iterate based on live market feedback. The quant who runs ten strategies through paper trading and learns from each deployment discovers more than the quant who perfects one strategy in simulation indefinitely."


https://www.susanpotter.net/quant/perfection-paradox-quant-development/

#trading #backtesting

"Knowledge lookahead is hard to detect algorithmically because it lives in the researcher’s head, not in the code. The best defense is a strict event-time framework and a willingness to question every filtering step: “Would I have been able to apply this filter in real time?”"

"Preventing Lookahead
The structural fix is an event-time framework where every data point carries two timestamps: the effective date (when the event occurred) and the availability date (when you could have known about it). Signals are computed strictly from data whose availability date precedes the signal computation time. This is the same “parse at the boundary” principle from software engineering: validate and tag your data at the point of ingestion, and enforce the temporal constraint everywhere downstream."

"Detecting Regime Dependence
Sub-period analysis is the first tool. Split the backtest into non-overlapping windows of equal length and compute performance separately in each. If the Sharpe ratio varies wildly across sub-periods, the strategy is regime-dependent, and your full-period result is averaging over very different performance characteristics.

Rolling metrics make this visual. Plot the rolling one-year Sharpe ratio over the backtest period. A robust strategy shows a relatively stable line. A regime-dependent strategy shows extended periods of strong performance interspersed with extended periods of negative Sharpe."

"The Capacity Question
Every strategy has a capacity limit beyond which market impact overwhelms the alpha. If your backtest assumes you can trade $50M per day in a stock that averages $10M in daily volume, you are assuming away the dominant cost. The backtest shows profits at a scale that is physically impossible to execute.

I think about capacity before I think about performance. A strategy with a Sharpe of 2.0 and a capacity of $500K is an intellectual exercise, not a trading strategy. A strategy with a Sharpe of 0.8 and a capacity of $50M is a business."

"Measuring Your Cost Sensitivity
The break-even cost analysis is the most informative diagnostic: compute the per-trade cost at which the strategy’s Sharpe drops to zero. If the break-even cost is close to realistic transaction costs, the edge is thin and fragile."

"Data Frequency Bias
Using daily data for a strategy that would execute on intraday signals hides intraday drawdowns that would trigger risk limits in production. A daily bar that closes up 0.5% may have had an intraday drawdown of 3% that would have stopped you out. Your backtest shows a calm upward ride; the live experience would have been a drawdown followed by a recovery you never captured because your stop triggered.

If your strategy operates at intraday frequency, backtest on intraday data. Daily data can give you a rough first pass, but you must re-validate on appropriate-frequency data before committing capital."

https://www.susanpotter.net/quant/backtest-bias-taxonomy/

When trees still beat tabular foundation models
https://open.substack.com/pub/mindfulmodeler/p/when-trees-still-beat-tabular-foundation