Aspiring Data Science
389 subscribers
483 photos
16 videos
12 files
2.33K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#cloud

Казалось бы, кому эта Пинтерест нафиг нужна?

"Фотохостинг Pinterest объявил о значительном расширении сотрудничества с AWS, начавшемся в 2010 году. Согласно новому соглашению, Pinterest выплатит AWS в период до 2031 года $4 млрд за использование её сервисов, что является крупнейшим инфраструктурным проектом в истории Pinterest.

В рамках расширенного соглашения Pinterest планирует диверсифицировать использование инфраструктуры AWS для поддержки растущих потребностей в ИИ, одновременно улучшая соотношение цены и производительности. В частности, компания планирует использовать ускорители AWS Trainium для размещения и запуска больших языковых моделей и моделей визуального и языкового анализа, которые обеспечивают персонализированный визуальный поиск и поиск с помощью ИИ. Также Pinterest намерена расширить использование Arm-процессоров Graviton, которые уже обеспечивают работу примерно трети её вычислительной инфраструктуры, для запуска большего количества систем, поддерживающих поиск контента для пользователей фотохостинга, ежемесячная аудитория которого превышает 600 млн."

https://servernews.ru/1143542
#ml

Общая постановка задачи машинного обучения с метками, как это выглядело 20 лет назад. Есть интересные идеи, незаслуженно забытые сейчас.

Попробовал закодить 4 идеи (тесторы, MoE на tabular, алгебраический стэкинг, коррекция ансамблей слабых моделей), ни одна не взлетела на синтетике - лучше чем ничего, но хуже существующих альтернатив. Либо надо работать над этими идеями дольше и более вдумчиво.

https://www.youtube.com/watch?v=R3CMqrrIWOk&
#testing #trading

"Whether you’re validating software or validating trading strategies, the discipline is the same: test cheap and fast first, invest in expensive and thorough only when the cheap tests pass, and never skip a level of the pyramid just because you’re excited about the idea."

"Financial theory provides the same kind of invariants. The difference is that most quants don’t think of them as test specifications. They think of them as textbook formulas. But the formulas encode relationships that must hold by the structure of markets:

Non-negative bid-ask spread: the ask price is at least as high as the bid. Always. A violation in your data means stale quotes, a crossed market that should have been filtered, or corrupt data.
OHLC consistency: the high is the highest price in the bar, the low is the lowest. The open and close fall between them. This is definitional, not statistical.
Monotonic timestamps: each observation comes after the previous one. Out-of-order data means your pipeline has a sorting bug or your source delivered duplicates.
Adjusted price continuity through splits: a 2:1 split shouldn’t create a 50% gap in the adjusted price series. If it does, the adjustment factor is wrong or missing."

https://martinfowler.com/articles/practical-test-pyramid.html

https://www.susanpotter.net/quant/testing-pyramid-sideways/

https://www.susanpotter.net/quant/metamorphic-relations-backtests/

https://www.susanpotter.net/quant/property-based-testing-statistical-validation/
#trading

So true.

"The Cost of Not Shipping
In quantitative finance, the cost of perfectionism is measured in:

Opportunity cost: Alpha decays. A strategy that worked six months ago may not work today. Ship now or lose the edge.
Learning velocity: Live trading teaches lessons backtests cannot. Every month spent perfecting a backtest is a month not learning from real market feedback.
Capital efficiency: Money sitting idle waiting for the “perfect” strategy earns zero return.
TL;DR
The backtest will never be perfect. The infrastructure will never handle every edge case. The model will never capture every market regime.

Ship the minimum viable strategy to paper trading or with micro-positions. Iterate based on live market feedback. The quant who runs ten strategies through paper trading and learns from each deployment discovers more than the quant who perfects one strategy in simulation indefinitely."


https://www.susanpotter.net/quant/perfection-paradox-quant-development/
1
#trading #backtesting

"Knowledge lookahead is hard to detect algorithmically because it lives in the researcher’s head, not in the code. The best defense is a strict event-time framework and a willingness to question every filtering step: “Would I have been able to apply this filter in real time?”"

"Preventing Lookahead
The structural fix is an event-time framework where every data point carries two timestamps: the effective date (when the event occurred) and the availability date (when you could have known about it). Signals are computed strictly from data whose availability date precedes the signal computation time. This is the same “parse at the boundary” principle from software engineering: validate and tag your data at the point of ingestion, and enforce the temporal constraint everywhere downstream."

"Detecting Regime Dependence
Sub-period analysis is the first tool. Split the backtest into non-overlapping windows of equal length and compute performance separately in each. If the Sharpe ratio varies wildly across sub-periods, the strategy is regime-dependent, and your full-period result is averaging over very different performance characteristics.

Rolling metrics make this visual. Plot the rolling one-year Sharpe ratio over the backtest period. A robust strategy shows a relatively stable line. A regime-dependent strategy shows extended periods of strong performance interspersed with extended periods of negative Sharpe."

"The Capacity Question
Every strategy has a capacity limit beyond which market impact overwhelms the alpha. If your backtest assumes you can trade $50M per day in a stock that averages $10M in daily volume, you are assuming away the dominant cost. The backtest shows profits at a scale that is physically impossible to execute.

I think about capacity before I think about performance. A strategy with a Sharpe of 2.0 and a capacity of $500K is an intellectual exercise, not a trading strategy. A strategy with a Sharpe of 0.8 and a capacity of $50M is a business."

"Measuring Your Cost Sensitivity
The break-even cost analysis is the most informative diagnostic: compute the per-trade cost at which the strategy’s Sharpe drops to zero. If the break-even cost is close to realistic transaction costs, the edge is thin and fragile."

"Data Frequency Bias
Using daily data for a strategy that would execute on intraday signals hides intraday drawdowns that would trigger risk limits in production. A daily bar that closes up 0.5% may have had an intraday drawdown of 3% that would have stopped you out. Your backtest shows a calm upward ride; the live experience would have been a drawdown followed by a recovery you never captured because your stop triggered.

If your strategy operates at intraday frequency, backtest on intraday data. Daily data can give you a rough first pass, but you must re-validate on appropriate-frequency data before committing capital."

https://www.susanpotter.net/quant/backtest-bias-taxonomy/
Forwarded from kyrillic
Про AI пузырь, ч.4: что не так с OpenAI. Это компания - главный "consumer-локомотив" всей AI индустрии, ключевой продукт которой - не сама технология genAI, а ChatGPT. Это видно по доле API в выручке, по разным данным ее 15-20%, что непростительно мало для революционной технологии.

1️⃣ Про неоправданные расходы OpenAI не сказал только ленивый, они в принципе не могут окупиться, даже теоретически. Наверняка планы будут пересматриваться.

Например я писал, что сделка с Nvidia на $100 млрд - это не сделка, а letter of intent (то есть просто интерес, без обязательств). И эта "сделка" уже по сути отменена, но свои охваты и внимание медиа компании уже получили.

2️⃣ Недавний раунд OpenAI на $110 млрд, самый большой в истории венчурной индустрии, - не совсем раунд. Это больше похоже на пыль в глаза обывателю из медиа. Лучше меня про это написал Денис Ефремов, цитата:

❗️Итого, что мы имеем по самому крупному раунду в истории венчурного рынка:
Чистых денег <30% раунда, остальное, вероятно, – circular financing.
~31% – финансирование отложенное, при выполнении условий.
Главные инвесторы – публичные компании, которые уже признали или скоро признают выручку и получат 10-20х на вложенные инвестиции в виде роста СВОЕЙ капитализации.
NVIDIA инвестирует в 3 раза меньше, чем могла.
Венчурных фондов в инвесторах нет.
Саудитов нет.


Еще раз: венчурные инвесторы не захотели участвовать в этом раунде! Выводы о вере в будущее genAI можете сделать сами.

3️⃣ Самый вероятный исход для OpenAI - это поглощение Майкрософтом, которому и так уже принадлежит 20%.

Может быть и IPO, но это раскроет финансы, включая ужасные цифры главного в мире genAI продукта (пост об этом). Это ударит по всем AI-стартапам, чего конечно не хотелось бы.

4️⃣ OpenAI часто сравнивают с известными компаниями, сжигавшими миллиарды, но это совсем неверное сравнение.

Убер субсидировал поездки, чтобы захватить рынок и убить конкурентов: в городах где побеждал, он поднимал цены и выходил на операционную прибыль. У OpenAI нет возможности захватить локальный рынок. И нет сетевого эффекта между пользователями.

У Амазона каждый потраченный доллар создавал актив на балансе. OpenAI тратит миллиарды на компьют, который арендует у Майкрософта, и на исследования, которые устаревают.

AWS почти сразу показывал положительную юнит-экономику, которой у OpenAI нет спустя 3+ года, и кажется не может быть даже в теории.

И самое худшее мы уже обсуждали: у OpenAI, Anthropic и всех AI стартапов нет эффекта масштаба SaaS-модели: когда с ростом выручки резко уменьшается доля издержек. То есть OpenAI в принципе не может показывать красивую экономику SaaS'ов.

5️⃣ Считаю, что если/когда AI-пузырь лопнет (не без проблем у OpenAI), то нам, обычным пользователям, одни плюсы:

• Чем раньше это произойдет, тем меньше негативного эффекта будет на мировых рынках (пост).

• Громадный капекс в $1 трлн, который планируется потратить на AI-инфраструктуру, сделает AI-ресурсы доступнее, лицензии дешевле, опенсорс в AI популярнее, модели станут коммодити (еще больше, чем сейчас) и др.

Вполне возможен сценарий, когда останутся лишь дефолты по облигациям и списанные опционы, без системного коллапса. Что наверное лучший вариант для нас.

@kyrillic
Forwarded from kyrillic
Как перепроверять за бухгалтерами, промпт! И пример хорошего genAI кейса.

В продолжение поста про налоговые риски, хочу поделиться мастер-промптом (raw) Сергея, одного из участников нашего закрытого чата владельцев американских LLC, который написал:

Я работал с разными бухгалтерами в США. все CPA и все косячили. со всеми влетали на претензии от IRS по разным причинам. Но успешно отбивались и в итоге, штрафы ни разу не платили.

Пришел к системе - CPA + LLM, где я проверяю в ChatGPT полноту отчетов/ форм / приложений, которые CPA подает

С промптом LLM интервьюирует о бизнесе (структура, операции, и тд) и отвечает что и когда сдавать. Он делался для международной группы компаний, чтобы закрыть риски операций внутри группы и их отражения в США. Он немного избыточен для single member LLC, но не оставит дыр в репортинге трансграничных операций.


Могу только подписаться под этими словами - тоже пришел к выводу, что нужно перепроверять даже за сертифицированными консультантами. В США риски высоки: штрафы за неподачу каких-то форм могут быть $10-25k.

Сам Сергей написал про пользу промпта так:

После его использования у меня получился непростой разговор с CPA. оказалось, что она много что упустила. и на мой вопрос - "ну как же так?" она сказала - чтобы такой уровень accounting поддержки иметь "out of the box" вам нужно было идти в Big4 (и платить $20-50k в год, а не мне предъявлять за $500)


Сергей в теме, с опытом CFO, и много итерировал промпт. Он кстати консультирует стартапы как CFO, полезно, и есть бесплатная консультация: https://www.clearviewgrowthadvisory.com/ Можете смело писать @skalachev по релевантным вопросам.

Сам промпт наверное можно взять за основу для других тем, и сделать такой по своей. Но в ней нужно разбираться.

PS Если вы открыли LLC для себя, то приглашаю в наш чат, тут ссылка на форму. Если только собираетесь - рекомендую Doola, недорого, адекватно, YC компания и по статистике многие из вас открывали через них.

@kyrillic
Forwarded from kyrillic
Про AI-ускорение рутины разработчиков, которого... НЕТ! ч.4.

Недавно вышла хорошая статья "So where are all the AI apps?", где дотошно анализировали PyPI (репозиторий Python-пакетов) в поисках бурного роста продуктивности.

1️⃣ Количество новых пакетов не увеличилось, хотя именно там должно быть видно обещанное нам увеличение продуктивности. Новые пакеты обновляются чаще, но этот тренд начался в 2019-м, скорее всего из-за появления CI/CD (GitHub Actions).

tldr для неайтишников: как ни возьми результаты (а не ощущения!) работы разработчиков, не получится увидеть прирост эффективности их труда (посты раз, два, три).

2️⃣ Любопытно, что прирост видно, если разделить пакеты на AI и не AI. У первых обновлений в два раза больше. И только там! Самый большой прирост - у популярных пакетов.

Может AI разработчики лучше умеют пользоваться AI? Но тогда рост был бы виден везде. Очевидно, что это эффект AI хайпа.

А если связать с колоссальными инвестициями в AI, то легко увидеть, что прирост активности есть там, куда потекли деньги. Снова follow the money.

3️⃣ Конечно AI не помогает запускать новые стартапы и софтверные бизнесы, потому что узкое место там вовсе не код. Это знают все, кто хоть раз что-то запускал 🥲

Но AI помогает например делать крутые прототипы. При этом заметьте, что они уже перестают кого-то впечатлять. Это как с AI слопом: поначалу картинки из миджорни или видео из соры всем нравились, а теперь любой намек на AI скорее в минус.

4️⃣ Я вижу огромную пользу AI кодинга в другом: людей перестает пугать необходимость писать код. Все понимают, что для MVP не придется нанимать дорогих разработчиков, и даже если не получится самому, можно нанять кого попроще, вооруженного клодкодом.

Надеюсь это повысит долю людей, которые попытались запустить хоть что-то в реальном мире, а не в своих мечтах или рассуждениях в интернете.

Представьте мир, где никто не живет в пузыре иллюзий, и все сделали контакты с реальностью (пост), потерлись об ее шершавость и потолкались в конкуренции на рынке. Какой был бы у всех уровень адекватности! Мир мечты.

@kyrillic
Forwarded from kyrillic
В "оде разработчикам" (пост), я упоминал, что миру не хватает блогов и эссе от этих самых разработчиков, особенно в ru сегменте. Вот несколько классных примеров от технических умов из моих закладок:

1️⃣ My writing process after 5 years of blogging by Emma Goto: структурированно как раз о том, как организовать свой писательский процесс. Вот пара годных идей оттуда (но там их больше):

• Хорошая идея для поста - это когда гуглил, и с трудом нагуглил. Прям мой подход "пишу то, что нельзя нагуглить", но только лучше - через свой опыт поиска таких тем и знаний. Я вообще считаю, что любой человек, который что-то гуглит с любопытством, не может не иметь тем для постов.
• Писать можно нерегулярно, а публиковать лучше регулярно, по расписанию. У меня именно так: 80% содержательных постов этого канала были написаны в самолетах, по 2-10 штук за раз.
• И пример как обычный автор блога заморачивается с SEO (это нужно делать конечно!) Мне понравилась идея, что посты - этот семена, могут расти долго, некоторые растут сами, другие нужно удобрять, третьи - умирают.

2️⃣ Ten Rules for Negotiating a Job Offer by Haseeb Qureshi: кому-то покажется банальным, но я никогда не собеседовался и не работал в найме, поэтому мне понравились некоторые тезисы:

• Лучшее, что можно сделать при поиске работы - иметь другие офферы. Это переиначенный мой любимый тезис, что 90% успеха любых переговоров - это наличие альтернатив, в качестве рычага. Кроме того несколько офферов - сигнал о востребованности. Время - это тоже рычаг, полезно иметь его с запасом.
• Примеры как создавать fomo в роли кандидата: после оффера писать другим компаниям "у меня есть оффер". Звучит странно, но я знаю людей, которым это помогало.

3️⃣ Simon Willison, соавтор Django (и YC фаундер кстати), очень быстро выпускает вдумчивые посты про новинки AI (и не только). Много крутых заметок, вот например AI Doesn’t Reduce Work—It Intensifies It. Для меня это лучший источник новостей про AI, потому что уже пропущены через фильтр, скепсис и главное - руки очень умного инженера. То что он навайбкодил и работает - аккуратно собрано на tools.simonwillison.net.

4️⃣ Из ru могу отметить один блог - Андрея @andreyposnov, мне там интересны структурированные мысли и очень практичные лайфхаки про жизнь в Барселоне. А не просто фотки Саграды, как почти у всех в блогах. Уверен, что технический склад ума Андрея способствует написанию полезных постов. Он купил Теслу, и по его заметкам я понял, что она точно не для меня 🙂

Спросите кстати Андрея, как он успевает работать Engineering Manager и активно писать посты. Это проще, чем кажется, когда есть желание писать, и есть о чем писать.

5️⃣ Интересная заметка Product Hunt is Dead by Mahmoud Hashemi, которая погружает в реалии запусков на PH. Их в принципе знают все, кто запускался несколько раз и видел динамику год за годом. Мне было интересно, как Махмуд решил пообщаться с накрутчиками голосов - обещают топ-5 всего за $100.

6️⃣ Один автор протестировал LLMs на то, как они могут предсказывать скорость остывания чашки кофе - LLMs predict my coffee. Просто забавный эксперимент, который показывает, что LLMs хорошо воспроизводят типичные физические законы, но плохо работают с допущениями или плохо учитывают доминирующие эффекты.

Но в конце подает интересную мысль: языковые модели вряд ли смогут заменить главный человеческий навык - вкус! Понять, что важно, а чем можно пренебречь. На эту тему сейчас кстати много обсуждений, и у меня будет отдельный пост!

7️⃣ Короче говоря, хороших эссе и постов от технических умов очень много, я их читаю буквально ежедневно. Уверен, что многие из вас тоже так могут. Так что дерзайте! 💪

PS я могу делиться всем годным в таком же формате: ссылка + пара хороших мыслей оттуда. Но это не формат кириллика, наверное где-то нужно отдельно делать, в закрытом режиме, но точно не в виде тг-канала (я новые заводить ни в коем случае не буду). Если бы вы читали мои закладки с интересностями оттуда - поставьте пожалуйста кита 🐳, так я пойму, нужно это кому-то или нет.

@kyrillic
Forwarded from kyrillic
После прочтения этого поста, у вас не будет FOMO по поводу AI 🙂

На днях я попросил вас поделиться своими полезными AI кейсами, а взамен пришлю полную таблицу с кейсами всем, кто поделился и не схалтурил. Если хотите тоже - заполните форму из поста. Там реально много интересного!

Но я кое-чему удивился после чтения сотен AI кейсов из этой активности и такой же полтора года назад:

ML-инженеры из фаангов Сиэтлов-Лондонов делятся такими же простенькими и полезными кейсами, как и обыватели из Саратова. Это не преувеличение: там кейсы вроде "сгрузил все в NotebookLM и поспрашивал" или "даю ссылку боту, он присылает саммари".

И я верю этим ML-инженерам: они умные, рубят в теме, дружат с логикой, понимают, что такое ценность, и прошли отбор в фаанги (на самом деле многие другие, кто в теме и на высоком уровне карьеры, тоже делятся откровенно простыми кейсами).

Так что не стоит переживать, что кто-то лучше понимает, как работать с AI! Или говорит, что построил невероятного секретного AI агента, который дал +100500 к зарплате.

В ту же форму фантазеры прислали множество нелепых кейсов, которые абсолютно невоспроизводимы, но обещают "найти работу за два дня", "делать автоматический аутрич, не похожий на спам", "виральные рилсы на автопилоте" и т.д.

Кто реально получают пользу - делают простенькие AI воркфлоу, для работы и личных задач. И эти флоу реально работают и реально полезны. .Они не требуют каких-то особенных знаний или опыта. Крутость кейсов не в сложности сетапа, а в неочевидности того, что подается на вход.

Короче говоря, аргумент "вы просто не умеете пользоваться AI" несостоятелен.

Перешлите этот пост тем, у кого еще есть AI fomo! 🙂

@kyrillic
Forwarded from kyrillic
Как людям на самом деле НРАВИТСЯ нейрослоп

Я изредка делаю кросспосты заметок в threads и на хабр, чтобы выйти из пузыря умных читателей этого канала. На хабре очевидно короткие посты вместо статей не заходят. Более того, мои плотные посты с нумерацией почти каждый раз обвиняли в AI слопе.

"Ну ладно!" подумал я. Сделал эксперимент: взял один из недавних постов, попросил клод "распиши до размеров небольшой статьи", убрал буквально пару формулировок и просто опубликовал на хабре.

Статья вошла в топ-5 за день 🥲 То есть текст стал очевидно ХУЖЕ, но людям понравился больше. Никто не поставил минус за подозрение на нейрослоп (там можно видеть причины). А редакторы хабра добавили статью в соцсети (включая тг канал), чего ни разу не случалось с моими постами.

Уверен, что если еще поработать с ллм, типа добавь фактуры, вот отсюда добавь инсайты и т.д. то это могла бы быть топовая статья (тема-то хорошая). Наверное можно и твит так расписать.

Короче говоря, можно смеяться над откровенным AI слопом, но я уверен, что чуть более сложный мы уже читаем каждый день, даже не замечая этого.

@kyrillic
Forwarded from kyrillic
Зачем быть публичнее. В комментах я упоминал статью Publishing your work increases your luck от гитхаба. Там упоминается простая формула:

Luck = [Doing Things] * [Telling People]

Многим кажется, что это про блоггерство (которое некоторые считают зашкваром), но telling people может быть разными способами!

1️⃣ Недавняя работа про анализ фейковых звезд гитхаба (пост, pdf) - отличный пример:

Она была опубликована в декабре 2024, но признание индустрии получила только в апреле 2026, после презентации на конференции ICSE 2026.

И если бы презентации не было, то мы бы с вами никогда о работе не узнали, несмотря на то, что она очень качественная, интересная и полезная.

То есть просто делать хорошо - уже недостаточно в нашем мире!


2️⃣ Вовсе необязательно быть блоггером, усилия к публичности результатов своей работы ВСЕГДА окупаются.

Можно писать статьи на профильных ресурсах, выступать на конференциях и митапах, предлагать людям с охватами темы (у меня есть гостевые посты, правила), преподавать, контрибьютить в проекты, делать воркшопы, активно участвоввать в закрытых профильных сообществах и т.д.

3️⃣ Можно сказать, что "удача" - это площадь поверхности соприкосновения с миром. Чем больше людей знают, чем человек занимается, тем выше вероятность, что кто-то из них окажется рядом с нужной возможностью в нужный момент.

@kyrillic
Forwarded from kyrillic
Мы с вами месяц собирали полезные AI кейсы: всего прислали почти 300, отбор прошли 173 - их авторам на выходных отправил все кейсы на имейл. Спасибо за участие! Я нашел много любопытных полезных применений AI.

Немного наблюдений:

1️⃣ На картинке основная статистика по инструментам и типам кейсов. Кейсы разработки не принимались, но все равно так или иначе многие связаны с программированием.

2️⃣ Худшие кейсы написали те, кто написал в интро, что внедряет AI и консультирует про AI. Сначала показалось, что это мое искажение. Но я даже перепроверил - действительно были в основном громкие лозунги без пруфов и воспроизводимых примеров.

3️⃣ Вы почти не пользуетесь не-frontier-моделями: например дипсик - 7 упоминаний, грок - 1.

И почти не генерируете картинки, аудио - так или иначе работаете с текстом.

4️⃣ Почти никто не упомянул приватность данных как проблему/челлендж работы с AI 🙂

5️⃣ Много кейсов были про задачи, которые обычно не считаются полноценной работой, но съедают время: подготовка к созвону, свести табличку, изменить форматирование, сравнить версии и т.д.

6️⃣ Ну и конечно у прочитавших кейсы вряд ли останется какое-то фомо по поводу AI 🙂посте описано, почему).

У меня есть пара идей для следующей "складчины знаниями" (когда вы делитесь чем-то полезным, чтобы получить все данные от других участников). Но если у вас что-то актуальное на уме для такого формата, то пишите в комментах или личку канала - обязательно рассмотрю для следующей активности.

@kyrillic
1