Fivetran официально объединились с dbt Labs, а до этого они поглотили Tobiko Data, создателей SQLMesh. У них теперь под контролем аж две команды создававшие продукты номер 1 и номер 2 по корпоративной обработке данных, что чертовски похоже на монополию (на самом деле нет) и вызывает вопросы по перспективам открытых версий dbt и SQLMesh потому что два конкурирующих продукта под одной крышей.

К тому же и крыша такая что не всем нравится Fivetran из-за его новой ценовой политики основанной на числе обрабатываемых строк.

Поэтому новость не могу отнести к хорошим, но будем ждать новых свежих открытых продуктов в этой области если  dbt протухнут.

Органическая литература без AI и ГМО. На Франкфуртской ярмарке рассказали про британский стартап, вероятно, не единственный, который выводит на рынок сертификацию издательств на предмет отсутствия в книгах продукции нейросетей сверх какого-то приемлемого уровня. Вери смарт мув! 

Сертификация – это золотая совершенно штука, если вам удается стать главным игроком на этом рынке. Как правило, потребительские товары сертифицируют не ведомства, а какие-то НКО а то и коммерческие организации, которые создают стандарты, разрабатывают процедуры и позволяют тем, кому надо, получить штамп типа Organic, Fairtrade, Leaping Bunny. Вот у меня клиент был – Знак качества, еще на этапе создания, это исключительно нетривиальный процесс, построить такую систему. Я примерно год очень много занималась вопросом, невероятный мир.

Поэтому, кто первый занялся идеей маркировки Organic Literature (или AI-free, это уж, что приживется), тот молодец. Насколько можно понять из довольно скупого лэндинга, сертифицировать они планируют издательство в целом, основываясь на анализе фрагментов текстов и процессов. Сколько стоит, прямо не говорят, но сколько-то будет стоить.

Тут, конечно, главный вопрос – насколько идея AI-free важна для читателей и покупателей книг. Organic Literature можно считать большой проверкой гипотезы, что важна.

Полезные ссылки про данные, технологии и не только
- MeteoSaver проект по оцифровке исторических записей о погоде. Ведется в Vrije Universiteit Brussel, охватывает многие наименее развитые страны и включает сканирование и распознавание больших объемов тетрадей с метеонаблюдениями
- Title Arbitrage as Status Engineering новый термин "статусная инженерия", про придумывание новых названий ролям участников команд при создании продуктов. Например, ее "Prompt Engineer", а "Researcher", не "Software Engineer", а "MTS (Member of Technical Stuff" и так далее. В целом ничего нового, просто новое прочтение старого.
- Magical systems thinking критический взгляд на системное мышление с ключевым аргументом что если система не статическая то она отражает удар. С хорошими примерами госрегулирования и госпроектов которые провалились.
- What a data center is что такое дата центр, относительно короткий текст поясняющий что такое Датацентры изнутри и как на них стоит смотреть. Тема всё более важная, задумайтесь над тем что мир приходит в то состояние когда если ядреная ракета упадет на органическое правительство, то никто и не заметит, а если на ключевой датацентр, то всем будет очень больно.

Почему линейная регрессия всё ещё обыгрывает трансформеры в анализе временных рядов

ИИ сегодня легко справляется с текстом, картинками и даже видео — кажется, ничто не способно его остановить. Но вот парадокс: когда дело доходит до прогнозирования временных рядов, где мы ожидаем от моделей почти волшебства, простая старая линейная регрессия всё ещё регулярно обыгрывает модные трансформеры. Почему сложные нейросети так часто уступают классике — даже когда вроде бы должны показать класс?

Новое исследование переворачивает привычное представление: оказывается, размер и глубина модели сами по себе не гарантируют прорыва. На временных рядах даже самые изощрённые схемы внимания не могут обработать сигнал лучше, чем линейные методы. А увеличение слоёв или длины истории, вопреки ожиданиям, лишь медленно сокращает отставание.

В этой разборчивой работе показано: понять, как модели учатся и где проходит граница их возможностей — критически важно для всех, кто строит или применяет ИИ в реальных задачах. Разбираемся, почему иногда лучше довериться старым добрым формулам и что это значит для будущего ИИ-прогнозирования.

📜 Полный обзор

Может ли ИИ заменить вас на работе?

На этот вопрос пытаются ответить журналисты The Economist, ссылаясь на новую научную работу исследователей из Гарварда.

Учёные проанализировали 200 миллионов вакансий и обнаружили: в компаниях, где нанимали специалистов по внедрению ИИ, наём младших сотрудников за шесть кварталов упал на 7,7% сильнее, чем у прочих. В то же время спрос на «сеньоров» не только не просел — он стабильно продолжает расти.

Иными словами, ИИ пока не отнимает работу у всех — но точечно сокращает спрос на джуниоров. Особенно тех, кто делает умственно тяжёлую, но рутинную работу: от дебага до проверки документов.

Интересно и другое: хуже всего приходится тем, кто окончил вузы среднего уровня.
Компании по-прежнему нанимают людей из топ-университетов — их навыки сложнее автоматизировать. Выпускники слабых вузов тоже остаются в игре: они просто не просят много денег.

А вот средний уровень оказывается слишком дорогим для рутинных задач и недостаточно квалифицированным для сложных.

Паниковать пока рано: в Штатах 17% работников заняты у компаний, активно внедряющих ИИ. Но если тенденция сохранится, вход в профессию может стать сложнее, чем когда-либо.

Оригинал без пейволла

Полезные ссылки про данные, технологии и не только

- State of AI Report за 2025 год, взгляд на состояние ИИ с точки зрения, в первую очередь, инвестиций. Очень полезная презентация с ключевыми фактами и трендами по рынку ИИ. Просто для чтения, какой-то разбор и факты оттуда отдельно.

- The era of open data infrastructure команда dbt Labs с обещаниями сохранения открытости после поглощения их Fivetran'ом. Не то чтобы до конца верится. Обратите внимание что это [open] [data infrastructure]. а не [open data] [infrastructure]. Маркетологи совсем иначе трактуют слова про открытость называя открытостью open to market и открытые стандарты.

- Bruin движок для построения конвееров данных на Python, включая трансформации с помощью SQL. Как легковесная альтернатива dbt. Бизнес модель идентичная dbt - облачный сервис Bruin Cloud, но их пока не поглотил Fivetran

- Lea другая альтернатива dbt, минималистичный SQL оркестратор. Чистый открытый код, без облачной и иной бизнес модели, но и с документацией похуже и скоростью разработки

Записала маленький бесплатный курс про улучшение таблиц и графиков в Excel. С задачками самопроверки и чеклистами.

1 час и 42 минуты переверстываю стандартные визуализации, объясняя где чего не так и как сделать лучше. Вот так вот!

Собственный OLAP Сервис ,который можно построить в пару кликов . Теперь PowerBi нужно потеснится

Периодически посматриваю видео с семинаров Future Data Systems Seminar Series — Fall 2025 которые проводят CMU Database Group и там выступают фаундеры и ключевые разработчики многих современных дата продуктов и технологий работы с данными, вроде Russel Spitzer, руководителя проекта Apache Iceberg и др.

А из последнего интересного это выступление Уилла Маннинга Vortex: LLVM for File Formats где он рассказывает про формат хранения данных Vortex, чем он отличается от Parquet и он очень структурировано рассказывает эволюцию современных СУБД, использование современного железа включая GPU в контексте данных и появление множества более современных чем Parquet форматов файлов для хранения данных. А их много, кроме Vortex ещё есть f3, FastLanes, Nimble, AnyBlox

У vortex'а есть расширение для DuckDB и его можно попробовать на своих данных.

Лично я жду когда в DuckDB появится поддержка большего числа новых форматов, как минимум Fastlane и бенчмарков на их сравнение.

Полезные ссылки про данные, технологи и не только:
- dash расширение для DuckDB для быстрого построения дашбордов. Напоминает некоторые open source BI инструменты, но тут во всём Parquet формат и DuckDB как инструмент запросов
- gizmosql построение SQL сервера на базе DuckDB и Apache Arrow Flight Server в тесной связке и с бенчмарками на типовых облачных серверах. Обещают легкое развертывание и работу с большими объёмами данных, но, ИМХО, конкретных примеров использования нехватает
- httpie хорошо известный в узких кругах разработчиков инструмент с открытым кодом для тестирования HTTP запросов и API в частности. Интересная альтернатива Postman, APIDog и им подобным. В 2021 году подняли $6.5 миллиона венчурного финансирования на облачный коммерческий продукт и вот уже более 7 месяцев не обновляют код, не публикуют ничего в блоге, твиттере и тд. Есть ощущение что то там случилось, как бы продукт не погиб
- fastmcp быстрое создание MCP интерфейса поверх приложения FastAPI. Выглядит привлекательно простотой разработки, но надо тестировать на практике конечно же.
- nextcloud облачный сервис и open source продукт управления файлами, календарем и документами созданный в Германии. Очень характерно наблюдать как просто из продукта на рынке они превращаются в инструмент цифрового суверенитета Евросоюза. Риторика, стиль публикаций и акценты до боли напоминают некоторые российские компании играющие в импортозамещение.