Добавил 3ю часть Data Ingestions Pattern - рассмотрели AWS Step Functions, EventBridge. Рассмотрели, что, когда и как использовать (AWS Batch, Lambda, ECS/ECR, Step Functions)
https://youtu.be/JjJ-Dszz1Co
Дальше добавим Glue, Athena, Redshift Serverless и потом Streaming.
https://youtu.be/JjJ-Dszz1Co
Дальше добавим Glue, Athena, Redshift Serverless и потом Streaming.
YouTube
Data Ingestions Patterns | Part 3 | Projects
In this FREE Surfalytics workshop (Part 3 of the AWS data ingestion series), we continue from Lambda, Serverless Framework, and AWS Batch—and go deeper into how you actually wire services together: job submission and dependencies, why Batch often reaches…
⚡23🫡4❤🔥3
Вроде все встает на свои места в дата командах.
Чтобы хайпануть на AI, и получить ответ на все бизнес вопросы нужен не еще один дашборд, а chatgpt интерфейс, который не просто гоняет ваш MCP сервер и пытается угадать, как написать запрос, а использует семантический слой.
А семантический слой это ваша модель данных в хранилище данных.
Стандартный кейс из 90х - концептуальная модель, логическая модель, физическая.
Связи между бизнес сущностями.
Для этого нужно понять как работает бизнес и как устроены процессы.
С помощью AI легче записать встречи со stakeholders и создать концептуальную и логическую модель.
То есть, мы пришли к тому, что без качественной модели данных не будет качественного AI в аналитике.
Тут важно понимать, что это не про слои, а про взаимосвязь бизнес сущностей. Например, клиент оформил заказ. Заказ создался и отправлялся со складу к клиенту и тп.
Сегодня в одной компании как раз про это я проводил лекцию для топов, и все все поняли и все со всем согласились.
А как у вас?
Чтобы хайпануть на AI, и получить ответ на все бизнес вопросы нужен не еще один дашборд, а chatgpt интерфейс, который не просто гоняет ваш MCP сервер и пытается угадать, как написать запрос, а использует семантический слой.
А семантический слой это ваша модель данных в хранилище данных.
Стандартный кейс из 90х - концептуальная модель, логическая модель, физическая.
Связи между бизнес сущностями.
Для этого нужно понять как работает бизнес и как устроены процессы.
С помощью AI легче записать встречи со stakeholders и создать концептуальную и логическую модель.
То есть, мы пришли к тому, что без качественной модели данных не будет качественного AI в аналитике.
Тут важно понимать, что это не про слои, а про взаимосвязь бизнес сущностей. Например, клиент оформил заказ. Заказ создался и отправлялся со складу к клиенту и тп.
Сегодня в одной компании как раз про это я проводил лекцию для топов, и все все поняли и все со всем согласились.
А как у вас?
💯40❤🔥2
Лето планируется busy, я попросил Gemini создать постер для всех событий, ведь это же business events (expenses)👉
Локально в BC:
• 11 - 14 июня заплыв в лесах Британской Колумбии на каное, как первопроходцы (с детьми)
• 3 - 7 июня заплыв на Paddle Board, настоящая экспедиция с профессионалами, старт в Tofino, BC - и плавать будем вокруг Vargas Islands
• 11 - 17 июля заезд на велосипедах по горам Словении, Австрии и Италии. Очень интересный ивент, где собираются бизнесмены из разных стран. Главный sales point - “Если кольт уровнял людей, то электро велосипед уровнял людей, которые крутят педали по горам”, так что для меня будет самое то чилить на электро велосипеде и смотреть по сторонам и сына старшего можно взять (14 лет)
Локально в BC:
• 11 - 14 июня заплыв в лесах Британской Колумбии на каное, как первопроходцы (с детьми)
• 3 - 7 июня заплыв на Paddle Board, настоящая экспедиция с профессионалами, старт в Tofino, BC - и плавать будем вокруг Vargas Islands
• 11 - 17 июля заезд на велосипедах по горам Словении, Австрии и Италии. Очень интересный ивент, где собираются бизнесмены из разных стран. Главный sales point - “Если кольт уровнял людей, то электро велосипед уровнял людей, которые крутят педали по горам”, так что для меня будет самое то чилить на электро велосипеде и смотреть по сторонам и сына старшего можно взять (14 лет)
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥34⚡7💯4🙈1🙉1
Поделюсь своим недавним изменением в настройке рабочего пространства.
1. У меня было 2 больших монитора 32”, я понял, что я теряюсь в них. И каждый раз, когда выдергиваю USB-C у меня все окна перемешиваются. И два таких дисплея заставляет меня крутить голову, и там можно заблудиться.
Я оставил один 32” и сбоку Mac 16”. Наконец-то купил подставку для него, чтобы экран был на уровне глаз. Пора думаю о здоровье шеи. В кафе теперь тоже ношу подставку.
Поставил Hammerspoon, на вайбкодил настройку и теперь у меня окна Chrome и VSCode/Cursor знают свое место на 32” (50/50), а на Mac 1/3 Notion Calendar, 2/3 Slack.
У меня 7 активных дисплеев на 32” и 1 на 16”.
2. Как правило я работаю в VSCode/Cursor и для каждого репо я открывал свое окно. И вместе с пунктом 1 у меня был всегда mess. Поэтому я перешел на новый подход, у меня для конкретной работы есть папка и там все репозитории и я открываю их всех сразу, а в терминале я
Для многих это покажется банальностью, но я раньше об этом не думал и всегда работал с кучей открытых окон. Теперь у меня есть в каждом репо свой Claude.md и в родительской папке тоже есть Claude.md.
А как вы организовали свое рабочее пространство и своих агентов?
1. У меня было 2 больших монитора 32”, я понял, что я теряюсь в них. И каждый раз, когда выдергиваю USB-C у меня все окна перемешиваются. И два таких дисплея заставляет меня крутить голову, и там можно заблудиться.
Я оставил один 32” и сбоку Mac 16”. Наконец-то купил подставку для него, чтобы экран был на уровне глаз. Пора думаю о здоровье шеи. В кафе теперь тоже ношу подставку.
Поставил Hammerspoon, на вайбкодил настройку и теперь у меня окна Chrome и VSCode/Cursor знают свое место на 32” (50/50), а на Mac 1/3 Notion Calendar, 2/3 Slack.
У меня 7 активных дисплеев на 32” и 1 на 16”.
2. Как правило я работаю в VSCode/Cursor и для каждого репо я открывал свое окно. И вместе с пунктом 1 у меня был всегда mess. Поэтому я перешел на новый подход, у меня для конкретной работы есть папка и там все репозитории и я открываю их всех сразу, а в терминале я
cd Repo 1
Claude или Agent (Cursor CLI
Для многих это покажется банальностью, но я раньше об этом не думал и всегда работал с кучей открытых окон. Теперь у меня есть в каждом репо свой Claude.md и в родительской папке тоже есть Claude.md.
А как вы организовали свое рабочее пространство и своих агентов?
❤🔥27⚡7🙈1
На вакансии отвлекаться -
Please open Telegram to view this post
VIEW IN TELEGRAM
💯30🫡11🙉2🍌1🙊1
Hightouch получил новый раунд инвестиций, на эти деньги они уже сняли офис в San Francisco и начали хайрить куча людей. Все-таки с помощью vibe-coding reverse ETL не так гладко работает. У нас 2х местах его выпиливают, в обоих местах компании из списка S&P500 - причина в высокой цене.
Today's Startup News
Hightouch $150M Series D $2.75B Valuation 2026 | Goldman...
Hightouch raised $150M Series D led by Goldman Sachs Alternatives and Bain Capital Ventures at a $2.75B valuation. Growing 100%+ for two straight years, the...
🙈2
В сведенной статье от Pragmatic Engineer - The Pulse: token spend breaks budgets – what next? (Расходы на AI-токены выходят из-под контроля) рассказывают насколько проблема токенов становиться острой.
Расходы на токены у многих компаний выросли до 10 раз за последние месяцы. Автор опросил сотрудников 15 компаний и выявил два лагеря:
1. ”Let it rip and measure" — дать командам использовать AI без ограничений, потом смотреть на метрики. Так чаще поступают крупные компании, где операционная гибкость важнее экономии.
2. ”Curbing spending" — активное управление расходами и оптимизация использования токенов. Этим занимаются небольшие компании, которые либо оптимизируют потребление, либо закладывают больший бюджет.
Общий консенсус: рост продуктивности оправдывает расходы, даже если они высоки. Среди популярных способов оптимизации — переключение на более дешёвые модели для рутинных задач, кэширование промптов и лимиты на уровне команд.
По сути, статья фиксирует момент, когда AI из "эксперимента" превратился в реальную статью операционных расходов, с которой инженерные и финансовые команды пока не очень умеют работать.
Я вижу такие паттерны:
1. Условно безлистный Claude Code с моделями Opus и Sonnet. Иногда использую сторонний Gateway, чтобы контролировать расходы.
2. Полный запрем на Code Assist. И тут происходит несколько сценариев:
• Без AI люди пытаются что-то гуглить, что-то сами делать, что-то в Teams Copilot, бесплатном ChatGPT. Все очень медленно и плохого качества. Мне лично кажется это проблема людей, у них вообще нет мотивации учить что-то новое, как говорится - и так сойдет.
• Люди полностью поддерживают запрет на AI, ведь не безопасно же, но при этом сами урвали себе за 20$ AI и что-то лепят втихушку, как будто без AI, но по факту с AI.
• Использование AI на максималках, окольными путями завести модели антропика черех API ключ, и фигачат в режиме YOLO. Без AI уже как без интернета, можно не работать.
3. Есть еще промежуточный вариант, он как правило всегда с Microsoft Teams. Мне вообще кажется, если компании используют Microsoft Teams это дно для инженера, ведь стек будет соответствующий. В данном случае у вас будет бесплатный и бесполезный copilot.
В целом полностью согласен - AI токены дорого. Особенно, когда это корпоративный план и там уже квоты работают по другому.
Расходы на токены у многих компаний выросли до 10 раз за последние месяцы. Автор опросил сотрудников 15 компаний и выявил два лагеря:
1. ”Let it rip and measure" — дать командам использовать AI без ограничений, потом смотреть на метрики. Так чаще поступают крупные компании, где операционная гибкость важнее экономии.
2. ”Curbing spending" — активное управление расходами и оптимизация использования токенов. Этим занимаются небольшие компании, которые либо оптимизируют потребление, либо закладывают больший бюджет.
Общий консенсус: рост продуктивности оправдывает расходы, даже если они высоки. Среди популярных способов оптимизации — переключение на более дешёвые модели для рутинных задач, кэширование промптов и лимиты на уровне команд.
По сути, статья фиксирует момент, когда AI из "эксперимента" превратился в реальную статью операционных расходов, с которой инженерные и финансовые команды пока не очень умеют работать.
Я вижу такие паттерны:
1. Условно безлистный Claude Code с моделями Opus и Sonnet. Иногда использую сторонний Gateway, чтобы контролировать расходы.
2. Полный запрем на Code Assist. И тут происходит несколько сценариев:
• Без AI люди пытаются что-то гуглить, что-то сами делать, что-то в Teams Copilot, бесплатном ChatGPT. Все очень медленно и плохого качества. Мне лично кажется это проблема людей, у них вообще нет мотивации учить что-то новое, как говорится - и так сойдет.
• Люди полностью поддерживают запрет на AI, ведь не безопасно же, но при этом сами урвали себе за 20$ AI и что-то лепят втихушку, как будто без AI, но по факту с AI.
• Использование AI на максималках, окольными путями завести модели антропика черех API ключ, и фигачат в режиме YOLO. Без AI уже как без интернета, можно не работать.
3. Есть еще промежуточный вариант, он как правило всегда с Microsoft Teams. Мне вообще кажется, если компании используют Microsoft Teams это дно для инженера, ведь стек будет соответствующий. В данном случае у вас будет бесплатный и бесполезный copilot.
В целом полностью согласен - AI токены дорого. Особенно, когда это корпоративный план и там уже квоты работают по другому.
Pragmaticengineer
The Pulse: token spend breaks budgets – what next?
In the past 2-3 months, spending on AI agents has exploded at many tech companies, Details from 15 of them, including the different ways they are coping with this realization.
💯10⚡2
Forwarded from Инженерная комната🛰
Уверен, что меня читает много студентов с разных направлений, а у этих читателей скорее всего еще и широкий круг общения.
Поэтому этот пост для вас!
Образовательный центр СИРИУС в г. Сочи запускает набор стажировок на летнюю июльскую проектную программу «Большие вызовы».
Я сам прошел все вехи этой программы: участвовал там и в роли школьника, затем стажера и наконец, руководителя проектов (в проекте по космическим технологиям).
Программа покрывает практически все расходы и предоставляет жилье и питание.
Очень рекомендую подаваться и ехать, опыт и яркие эмоции обеспечены!
Стажировки для студентов-выпускников (заявки до 11 мая):
1) (ассистенты руководителей проектов и методистов): https://sochisirius.ru/obuchenie/graduates-events/smena2361/10830
2) Центр робототехники: https://sochisirius.ru/obuchenie/graduates-events/smena2373/10891
3) Пресс-служба: https://sochisirius.ru/obuchenie/graduates-events/smena2362/10833
4) ЦОПП (внеучебная деятельность): https://sochisirius.ru/obuchenie/graduates-events/smena2375/10894
Стажировка для педагогов РЦ (заявки до 27 мая):
https://sochisirius.ru/obuchenie/pedagogam/smena2376/10902
Инженерная комната
Рамиль Гайнутдинов
Поэтому этот пост для вас!
Образовательный центр СИРИУС в г. Сочи запускает набор стажировок на летнюю июльскую проектную программу «Большие вызовы».
Я сам прошел все вехи этой программы: участвовал там и в роли школьника, затем стажера и наконец, руководителя проектов (в проекте по космическим технологиям).
Программа покрывает практически все расходы и предоставляет жилье и питание.
Очень рекомендую подаваться и ехать, опыт и яркие эмоции обеспечены!
Стажировки для студентов-выпускников (заявки до 11 мая):
1) (ассистенты руководителей проектов и методистов): https://sochisirius.ru/obuchenie/graduates-events/smena2361/10830
2) Центр робототехники: https://sochisirius.ru/obuchenie/graduates-events/smena2373/10891
3) Пресс-служба: https://sochisirius.ru/obuchenie/graduates-events/smena2362/10833
4) ЦОПП (внеучебная деятельность): https://sochisirius.ru/obuchenie/graduates-events/smena2375/10894
Стажировка для педагогов РЦ (заявки до 27 мая):
https://sochisirius.ru/obuchenie/pedagogam/smena2376/10902
Инженерная комната
Рамиль Гайнутдинов
🙈9❤🔥7
10 готовых шаблонов дашбордов для разных C-level ролей от Cloud.ru 🌐
В новом практическом руководстве эксперты Cloud.ru отвечают на вопрос, как руководителю принимать решения быстрее.
Помимо этого в руководстве:
Руководство поможет выстроить единую систему показателей, чтобы принимать решения быстрее, точнее и на основе объективных данных.
А еще — выявлять риски и находить новые точки роста бизнеса.
👉 Получить бесплатное руководство👈
В новом практическом руководстве эксперты Cloud.ru отвечают на вопрос, как руководителю принимать решения быстрее.
Помимо этого в руководстве:
▶️ набор ключевых бизнес-метрик и формулы их расчета▶️ понятная интерпретация показателей▶️ рекомендации по визуализации
Руководство поможет выстроить единую систему показателей, чтобы принимать решения быстрее, точнее и на основе объективных данных.
А еще — выявлять риски и находить новые точки роста бизнеса.
Please open Telegram to view this post
VIEW IN TELEGRAM
🌚3🫡3
2 картинки, одна про пост 2025 год, в котором говорится “покажи свой код” и другая свежая с take home assignment. И там и там идея в том, что сам код уже не важен. Важно уметь пользоваться современными инструментами и решать проблемы. Сейчас это ИИ агенты.
Идеально подходит выражение - «Хочешь делать работу — сначала наточи инструменты»
В случае ИИ агентов - это контекст, правила, модель, MCP, план.
Идеально подходит выражение - «Хочешь делать работу — сначала наточи инструменты»
В случае ИИ агентов - это контекст, правила, модель, MCP, план.
❤🔥15
This media is not supported in your browser
VIEW IN TELEGRAM
Робот готов! А вы говорите бесполезный generative AI
❤🔥38⚡12
22 мая в Москве пройдёт уже седьмая конференция АНА'26 для тех, кто работает с AI, ML и данными.
Отличный повод:
🤝 познакомиться с людьми из индустрии
🎯 послушать живые use cases от команд Яндекса, Сбера, Авито, Wildberries, ВкусВилла и десятков других
🎁 собрать подарочки от спонсоров
☕️ просто хорошо провести день среди своих
В программе — полный цикл data & AI: MLOps, LLM в продуктах, AI-агенты, архитектура, экономика масштабирования и многое другое.
Форматы:
→ Офлайн — 39 900 ₽
→ Онлайн — 19 900 ₽
→ Команды от 3 человек — скидки до 10%
Программа и билеты — на сайте конференции.
PS это не рекламный пост, это я вам рекомендую сходить, особенно, если ваша компанию вам покроет расходы. Вы узнаете много нового и примените новые знания на работе, а может быть и работу найдете:)
Отличный повод:
🤝 познакомиться с людьми из индустрии
🎯 послушать живые use cases от команд Яндекса, Сбера, Авито, Wildberries, ВкусВилла и десятков других
🎁 собрать подарочки от спонсоров
☕️ просто хорошо провести день среди своих
В программе — полный цикл data & AI: MLOps, LLM в продуктах, AI-агенты, архитектура, экономика масштабирования и многое другое.
Форматы:
→ Офлайн — 39 900 ₽
→ Онлайн — 19 900 ₽
→ Команды от 3 человек — скидки до 10%
Программа и билеты — на сайте конференции.
PS это не рекламный пост, это я вам рекомендую сходить, особенно, если ваша компанию вам покроет расходы. Вы узнаете много нового и примените новые знания на работе, а может быть и работу найдете:)
🍌5🐳2