Lead Data Engineer, найдись!
Valiotti Data — AI-native команда дата-инженеров и аналитиков. Консультируем растущие компании: встраиваемся в бизнес, решаем задачу, строим систему и передаем знания команде клиента.

Задачи: архитектура данных, менторинг дата-инженеров, общение с заказчиками.

Пример проекта. Клиент из Канады продает лидов через LeadByte, платежи принимает через Stripe. Нужно свести две системы: сколько выручки обещали проданные лиды и сколько реально выставлено в счетах. Единица отчета не кампания, а «продукт × язык», поэтому нужен свой справочник продуктов и слой маппинга. Требования на десятки страниц, работу режем на фазы.

Стек: Fivetran → BigQuery → dbt → Looker Studio. Источники: Google Ads, соц. сети, LeadByte, Stripe.

🔜 Подробное описание вакансии
Откликнуться: tg @Da6ka или ivanova.d@valiotti.com

Чуждый разум ChatGPT
OpenAI показала GPT‑6 Astra и вновь заговорила на любимую тему — риски приближающейся эпохи AGI (artificial general intelligence или общего искусственного интеллекта). Ведущий научный сотрудник компании Джейкоб Пачоки написал на эту тему эссе «Чуждый разум».

Ключевые мысли: 
🔵ИИ не столько создают, сколько выращивают с помощью постоянной оптимизации и сложных вычислений. В результате получается система, умеющая работать с абстрактными понятиями и имитировать человеческое поведение. Разработчики и исследователи догадываются, как как она это делает, но не понимают ее до конца. 

🔵Главная проблема ИИ — это научить его не просто выполнять указания, но и понимать и применять общечеловеческие ценности в любых ситуациях. Правильно обученный ИИ должен всегда действовать из соображений честности, прозрачности и заботы о людях. 

🔵Есть два основных способа, как люди пытаются этого добиться, и оба со своими минусами.
Первый — вознаграждать ИИ за «правильное» поведение. Он хорошо работает в знакомых модели сценариях, но может дать сбой, если она столкнется с новыми условиями.
Второй — сформировать «правильное» поведение еще на этапе предварительного обучения за счет, например, правильно собранных датасетов. Это может привести к тому,  что модель начнет рационализировать свои действия и подстраивать рассуждения так, чтобы все-таки добиться поставленной цели не совсем этичными методами.

🔵Угроза от постоянно умнеющего ИИ только растет, и это лучший стимул для того, что ускорить темпы разработки. Прежде, чем враги сделают свой плохой ИИ, надо успеть сделать свой добрый, который сможет ему противостоять. Но при этом, это не повод забывать о безопасности. 

🔵Рекурсивное самоулучшение — то есть когда ИИ обучает ИИ — играет все большую роль в развитии технологии. Чтобы процесс не вышел из-под контроля, важно, чтобы люди продолжали в нем активно участвовать и контролировать, а не отдавали все на откуп ИИ. 

Что скажете? Человечество готово к эпохе AGI?

Astra смогла, а вы сможете?
Мы с вами недавно обсуждали эссе, опубликованное на сайте OpenAI, где автор сказал следующее:

Чтобы начать влиять на реальный мир — стать очень полезным или очень опасным — ИИ не надо стать лучше людей во всех сферах. Ему надо стать лучше в достаточном количестве из них.

И кое в чем новая их модель уже стала лучше многих людей: она прошла все 48 уровней I Am Not A Robot, где надо решать все более абсурдные и сложные капчи. В результате она даже получила сертификат, что является человеком.

Весь процесс запечатлел и запостил другой сотрудник OpenAI.

А сколько уровней пройдете вы? 👀

Решение математических проблем это не просто бенчмарк 
На прошлой неделе разгорелся серьезный скандал вокруг одной из математических задач тысячелетия — а именно доказательство существования определенного способа решения уравнений Навье-Стокса. OpenAI объявила, что их внутренняя модель, более мощная, чем Astra, нашла решение проблемы — только вот ее опередили. Два математика сделали это раньше, причем с использованием Codex и Claude. Они предполагают, что OpenAI получила доступ к их данным и использовала их для поиска своего решения.

На science.org есть более подробное описание скандала, даже с объяснением, в чем же состоят эти уравнения.

Эта история поднимает не только вопросы безопасности, доверия к разработчикам ИИ и прозрачности в работе с ним. 25 лауреатов Филдсовской премии, подписали открытое письмо «A Severe Misalignment of AI in Mathematics».

Про что оно, если кратко: 
🔵ИИ-компании воспринимают и подают решение математических задач как очередной бенчмарк, и это вредит науке. 

🔵Большие математические задачи вроде «проблем тысячелетия» раньше были ориентирами, по которым можно было оценить прогресс. Появление решения говорило о том, что математика — то есть все математическое общество с накопленным корпусом знаний и идей — сделала новый шаг вперед. 

🔵Именно в этом и есть смысл научной деятельности: совместная работа множества специалистов по приумножению знаний и поиску новых идей. Причем эти идеи и знания нужно еще и передать коллегам и студентам. Решение задач и миллион долларов в награду тут не самоцель. 

🔵ИИ же дает готовый результат (и громкие заголовки в СМИ), но это решение ради решения. Оно основано на плодах чужой научной деятельности и при этом не двигает науку вперед. 

🔵С такой же проблемой сталкиваются люди и в других сферах: ИИ так сильно меняет подходы к работе, что легко забыть, зачем эта работа на самом деле была задумана. 

Ну а в конце, как всегда, призывают математическое сообщество, ИИ-компании и общество в целом взять искусственный интеллект под более строгий контроль. 

Есть в этом мнении логика или это просто страдания людей, у которых ИИ отнимает работу?

3D-карты СУБД
Отвлечемся от новостей про ИИ и скандалов вокруг OpenAI и посмотрим, что внутри Redis и PostgreSQL. 

🔵Redis — это NoSQL СУБД типа ключ-значение, которая которая хранит данные в оперативной памяти. 

Для тех, кто хочет разобраться, как же она это делает, нарисовали целую интерактивную карту. Ее можно повертеть со всех сторон, понажимать на отдельные элементы и посмотреть, как байты данных перемещаются между ними. У каждого объекта есть короткое описание со ссылками на исходный код на гитхабе. 

🔵Похожая визуализация есть и для PostgreSQL Она не только масштабнее, но и информативнее. Если на предыдущей все пояснения очень краткие, то здесь функции элемента расписаны намного подробнее.

Что делать с тепловыми картами и хороплетами?
Все виды графиков и чартов по-своему хороши и заслуживают любви, но, если честно, значительную часть из них большинство любят на расстоянии. Старых добрых линейных и столбчатых диаграмм хватает под большинство задач, их легко нарисовать в любом инструменте для визуализации и, самое главное, легко читать.

Более хитрые варианты вроде тех же тепловых карт или хороплетов используются реже, потому что и поводов для этого меньше, и работать с ними сложнее. А вот сделать нечитабельное разноцветное месиво, наоборот, легко. 

🔜 И все же, если вы связаны с визуализацией данных, однажды они могут пригодится, так что ловите шпаргалку на Tableau Public. 4 графика — тепловая карта, таблица, карта плотности и хороплет — с описанием и двумя примерами реализации: хорошим и плохим. Есть даже маленький опросник в конце, который поможет выбрать, какой из 4 графиков подойдет под ваши задачи.

Как грамотно делегировать задачи ИИ
Внедрение искусственного интеллекта и агентов в работу — это все еще острый вопрос. Его обсудили в одном из недавних выпусков подкаста «Доверительный интервал» от сообщества аналитиков Яндекса. В чём суть:

🔵 Активнее всего агентов используют джуны, а сеньоры все еще настроены скептически, потому что даже с очень умным ИИ многие задачи им быстрее сделать руками. Приходится выбирать: заморочиться со скиллами и агентами, чтобы когда-нибудь потом увидеть результат, или выполнить важную для бизнеса задачу прямо сейчас.
🔵Общение с ИИ — это навык, который нужно целенаправленно развивать. Без этого попытка работать с ИИ может закончиться именно так, как скептик и ожидает: провалом.
🔵 При этом есть мнение, что нет смысла осваивать ИИ сейчас. Технология постоянно меняется, пока в ней разберешься, она опять шагнет вперед, и знания устареют. Здесь советуют обучаться на старых модельках, чтобы видеть, где они ошибаются. Новые могут завернуть ошибку так, что заметить ее будет трудно даже сеньорам.
🔵 Лучшая мотивация дать искусственному интеллекту шанс — это делегировать задачу, которую не хочется делать самому. Так человек начинает видеть пользу от ИИ и заодно постепенно учится с ним работать.

Часть про сопротивление мне показалась наиболее интересной. ИИ-скептиков часто выставляют луддитами, которые отрицают прогресс из вредности или иррациональных страхов, но это не слишком продуктивно. Намного полезнее для всех разобраться в реальных причинах скепсиса и работать с ними напрямую.

Новый ИИ-бенчмарк подвезли 
Тем, как ИИ пишет код, взламывает сайты или решает математические задачи тысячелетия уже никого не удивишь. Современные флагманские модели уже давно переросли эти мелочи и созрели для того, чтобы показать, на что они способны в реальном мире.

Например, как они умеют водить машину.

За руль Тойоты посадили Astra, Sol, Grok и Fable и выпустили их на пустую парковку, где им нужно было за три попытки преодолеть трассу длиной 134 метра. Они «видели» дорогу через камеры, а через Comma four крутили руль и нажимали педали. Человек сидел рядом только для подстраховки. 

🔵Успешнее всего справилась GPT-6 Astra: она вообще единственная, кто доехал до конца, еще и со 2 раза. Ей понадобилось 5 минут 22 секунды и 6,6 млн токенов. 
🔵Fable 5.1 с третьей попытки преодолела 45% трассы, Grok 4.6 — 11% со второй (и 10% с третьей), а GPT-5.6 Sol все три раза стабильно проехала около 15 метров или 6%.

Отличная идея, нужно развивать ее дальше. Как думаете, из каких еще повседневных задач можно наделать бенчмарков для ИИ?

В одной ячейке Excel можно будет хранить массивы значений
Наконец-то важные новости и не про очередной побег ИИ из тестовой среды. В Excel готовится большое обновление:
🔵В одной ячейке можно будет хранить списки из нескольких значений, разделенных запятой или точкой с запятой. Их можно добавлять, редактировать, убирать, использовать в формулах и применять к ним фильтры.
🔵Также в одну ячейку теперь будет занести целый массив данных — его больше не придется растягивать его  на несколько ячеек. Для этого надо будет записать данные, либо формулу, которая должна их вернуть, в скобках { }. Это еще и позволит создавать вложенные массивы вот такого вида: {{1,2,3};{4,5,6}}.  
🔵Появится поддержка новых формул: FLATTEN, HAS, HASANY, HASALL. Первая раскидывает данные из вложенных массивов по отдельным ячейкам, а следующие три позволяют искать отдельные значения внутри них. 

Новый функционал находится в стадии бета-тестирования, и перед полноценным релизом что-нибудь может измениться. Возможно, починят существующие ограничения: пока с массивами некорректно работают графики, сводные таблицы и некоторые функции вроде условного форматирования.

Что было на OpenAI Dev Day?
Вообще-то много чего — больше 20 релизов и анонсов. Пройдемся по самым интересным, а про все остальные можно прочитать в итогах, которые уже заботливо перевели на русский.

🔵 dots — автономные агенты на GPT-6 Astra. Они постоянно работают и обучаются, подстраиваясь под пользователя, и чем больше вы с ними взаимодействуют, тем лучше они вас понимают. Их представили как универсальных ассистентов, которые всегда рядом: и за новую задачу всегда возьмутся, и на вопросы ответят, и напомнят о встрече в календаре.

🔵GPT-6.1 Sol — модель почти на уровне Astra, но намного дешевле. В формате короткого поста больше про нее сказать особо нечего: весь анонс посвящен тому, как хорошо она справляется с всевозможными бенчмарками.

🔵Ultrafast — режим с ускоренной в 8 раз генерацией токенов только для самых богатых: он доступен на новом тарифе Pro Max за 500 долларов в месяц. 

🔵Расширенные возможности для создания плагинов — теперь разработчики смогут создавать целые мини-приложения, которые можно будет интегрировать в ChatGPT. Обещают также более удобный каталог для поиска новых плагинов.

🔵GPT Space — пространство для совместной работы с другими людьми и ИИ. Оно должно сделать работу с искусственным интеллектом более быстрым и удобным: он становится полноценным членом команды, который видит весь контекст обсуждения и может в реальном времени, на глазах у пользователей выполнять задачи, создавать и редактировать документы. Своих dots туда тоже можно подключить, кстати.

А вы следили за конференцией? Что вам больше всего запомнилось?