Эффективны ли ваши ETL-процессы? 👁
Проверьте это с бесплатным чек-листом
Эксперты Cloud․ru собрали чек-лист для простой и быстрой диагностики ETL-процессов. Внутри — опыт и лайфхаки в работе с данными.
По чек-листу можно оценить надежность, масштабируемость, управляемость и безопасность вашей Data-инфраструктуры, а еще соответствие cloud native-подходу.
Забрать чек-лист
Проверьте это с бесплатным чек-листом
Без регулярного аудита ETL-пайплайны начинают деградировать: растут затраты, ломаются дашборды, а решения принимаются на битых данных. При этом на полноценный аудит часто не хватает времени.
Эксперты Cloud․ru собрали чек-лист для простой и быстрой диагностики ETL-процессов. Внутри — опыт и лайфхаки в работе с данными.
По чек-листу можно оценить надежность, масштабируемость, управляемость и безопасность вашей Data-инфраструктуры, а еще соответствие cloud native-подходу.
Как это работает1️⃣ Пройдите чек-лист2️⃣ Подсчитайте баллы за реализованные практики3️⃣ Определите уровень зрелости ETL-процессов4️⃣ Получите персональные рекомендации от эксперта Cloud․ru
Забрать чек-лист
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍1🔥1
🌐 Инфраструктура открытых данных Бразилии
br/acc — это проект, который объединяет открытые данные из различных государственных источников Бразилии в единую графовую структуру. Он предоставляет доступ к информации о компаниях, здравоохранении, образовании и многом другом, позволяя пользователям исследовать связи и делать выводы.
🚀 Основные моменты:
- 45 модулей ETL для обработки данных
- Графовая база данных Neo4j для нормализованных сущностей
- React-фронтенд для поиска и анализа
- Публичный API для доступа к графовым данным
- Соответствие требованиям LGPD для безопасности данных
📌 GitHub: https://github.com/World-Open-Graph/br-acc
#python
br/acc — это проект, который объединяет открытые данные из различных государственных источников Бразилии в единую графовую структуру. Он предоставляет доступ к информации о компаниях, здравоохранении, образовании и многом другом, позволяя пользователям исследовать связи и делать выводы.
🚀 Основные моменты:
- 45 модулей ETL для обработки данных
- Графовая база данных Neo4j для нормализованных сущностей
- React-фронтенд для поиска и анализа
- Публичный API для доступа к графовым данным
- Соответствие требованиям LGPD для безопасности данных
📌 GitHub: https://github.com/World-Open-Graph/br-acc
#python
❤4❤🔥3🔥2
Почему одного CLAUDE.md недостаточно и что реально дают Hooks в Claude Code
Многие ограничиваются CLAUDE.md и на этом останавливаются. Но это всего лишь рекомендации для модели, а не строгие правила. Claude старается им следовать, но не всегда.
Отсюда и проблемы: может забыть прогнать линтер, выполнить нежелательную команду или «закончить» задачу с падающими тестами.
Hooks решают это иначе. Они не про просьбы, а про контроль. Любое действие проходит через этапы - до выполнения, после и перед завершением. И в каждый из этих моментов можно встроить свои проверки.
Например, перед запуском команды можно отфильтровать опасные действия и просто не дать им выполниться. После - автоматически привести код в порядок. А перед завершением — не выпустить результат, пока тесты не проходят.
Важный момент - коды завершения. Только exit code 2 действительно останавливает выполнение и возвращает ошибку обратно модели. Остальные коды не дают нужного контроля.
В итоге разница простая:
CLAUDE.md - это возможность того, что всё будет сделано правильно
Hooks - это гарантия, что иначе просто не получится.
Многие ограничиваются CLAUDE.md и на этом останавливаются. Но это всего лишь рекомендации для модели, а не строгие правила. Claude старается им следовать, но не всегда.
Отсюда и проблемы: может забыть прогнать линтер, выполнить нежелательную команду или «закончить» задачу с падающими тестами.
Hooks решают это иначе. Они не про просьбы, а про контроль. Любое действие проходит через этапы - до выполнения, после и перед завершением. И в каждый из этих моментов можно встроить свои проверки.
Например, перед запуском команды можно отфильтровать опасные действия и просто не дать им выполниться. После - автоматически привести код в порядок. А перед завершением — не выпустить результат, пока тесты не проходят.
Важный момент - коды завершения. Только exit code 2 действительно останавливает выполнение и возвращает ошибку обратно модели. Остальные коды не дают нужного контроля.
В итоге разница простая:
CLAUDE.md - это возможность того, что всё будет сделано правильно
Hooks - это гарантия, что иначе просто не получится.
❤7🔥5👍4👎2🤔2🥰1
ИИ начал находить настоящие баги в ядре Linux. И никто не понимает, почему именно сейчас
Грег Кроа-Хартман, один из ключевых мейнтейнеров ядра Linux, заявил что ситуация с AI-сгенерированными баг-репортами кардинально изменилась.
Ещё недавно это был поток мусора - теперь это реальные баги с рабочими патчами.
Его слова: «Что-то произошло месяц назад, и мир переключился.
Теперь к нам приходят настоящие отчёты». И это не только Linux - по его словам, все крупные open source проекты видят то же самое. Команды безопасности общаются между собой неформально, и картина везде одинаковая.
Никто не понимает, что именно изменилось. Кроа-Хартман говорит прямо: «Мы не знаем. Никто не знает почему. То ли инструменты стали сильно лучше, то ли люди просто начали пробовать. Похоже, что это много разных групп и компаний одновременно».
Ядро Linux справляется - команда большая и распределённая.
Баги мелкие, не критические, но поток реальный и не замедляется.
А вот для маленьких open source проектов это проблема. У них просто нет людей, чтобы обработать внезапный наплыв качественных AI-репортов.
Раньше страдали от мусорных репортов, теперь страдают от настоящих.
По сути мы наблюдаем момент, когда AI-инструменты для поиска уязвимостей перешли из категории «игрушка» в категорию «инфраструктура». И open source к этому не готов.
https://vc.ru/dev/2830028-ii-nashel-bagi-kotorye-lyudi-propuskali-30-let-meinteiner-linux-my-ne-ponimaem-chto-proizoshlo
🐍 Linux полезные ресурсы 🚀Max
@linuxkalii
Грег Кроа-Хартман, один из ключевых мейнтейнеров ядра Linux, заявил что ситуация с AI-сгенерированными баг-репортами кардинально изменилась.
Ещё недавно это был поток мусора - теперь это реальные баги с рабочими патчами.
Его слова: «Что-то произошло месяц назад, и мир переключился.
Теперь к нам приходят настоящие отчёты». И это не только Linux - по его словам, все крупные open source проекты видят то же самое. Команды безопасности общаются между собой неформально, и картина везде одинаковая.
Никто не понимает, что именно изменилось. Кроа-Хартман говорит прямо: «Мы не знаем. Никто не знает почему. То ли инструменты стали сильно лучше, то ли люди просто начали пробовать. Похоже, что это много разных групп и компаний одновременно».
Ядро Linux справляется - команда большая и распределённая.
Баги мелкие, не критические, но поток реальный и не замедляется.
А вот для маленьких open source проектов это проблема. У них просто нет людей, чтобы обработать внезапный наплыв качественных AI-репортов.
Раньше страдали от мусорных репортов, теперь страдают от настоящих.
По сути мы наблюдаем момент, когда AI-инструменты для поиска уязвимостей перешли из категории «игрушка» в категорию «инфраструктура». И open source к этому не готов.
https://vc.ru/dev/2830028-ii-nashel-bagi-kotorye-lyudi-propuskali-30-let-meinteiner-linux-my-ne-ponimaem-chto-proizoshlo
🐍 Linux полезные ресурсы 🚀Max
@linuxkalii
🔥4❤3👍2🤡1
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
🤖 Компания Z.ai (создатели моделей GLM) выпустили AutoClaw - инструмент, который позволяет запускать OpenClaw локально, без интернета и без API-ключей.
OpenClaw - это ИИ-агент, который умеет выполнять многошаговые задачи и использовать инструменты (например, подключаться к Slack, Telegram, Discord, WhatsApp и другим сервисам).
В чем плюсы AutoClaw:
• Скачал - запустил. Никаких API-ключей не нужно
• Можно использовать любую модель или встроенную GLM-5-Turbo, заточенную под работу с инструментами и сложными задачами
• Полностью локально, твои данные никуда не уходят
По сути, это локальный аналог таких агентов, как Cursor или Operator, но работающий целиком на твоей машине, без слежки и без подписок.
AutoClaw: https://autoglm.z.ai/autoclaw/
Discord: https://discord.gg/jvrbCRSF3x
@ai_machinelearning_big_data
OpenClaw - это ИИ-агент, который умеет выполнять многошаговые задачи и использовать инструменты (например, подключаться к Slack, Telegram, Discord, WhatsApp и другим сервисам).
В чем плюсы AutoClaw:
• Скачал - запустил. Никаких API-ключей не нужно
• Можно использовать любую модель или встроенную GLM-5-Turbo, заточенную под работу с инструментами и сложными задачами
• Полностью локально, твои данные никуда не уходят
По сути, это локальный аналог таких агентов, как Cursor или Operator, но работающий целиком на твоей машине, без слежки и без подписок.
AutoClaw: https://autoglm.z.ai/autoclaw/
Discord: https://discord.gg/jvrbCRSF3x
@ai_machinelearning_big_data
👍5❤2🗿2
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Microsoft Critique: deep research на стероидах, где одна модель генерирует, а вторая её критикует
Microsoft выкатили Critique. Это инструмент для deep research, который одновременно запускает несколько моделей на один запрос.
Работает так: первая модель берёт на себя генерацию, вторая выступает рецензентом и вычищает ошибки и неточности до того, как вы увидите финальный ответ. Какие именно модели работали над ответом, видно в шапке.
По бенчмарку DRACO показывают SOTA, других замеров пока нет. Так что насколько это реально лучше обычного deep research, вопрос открытый.
Отдельно интересен режим Council для обычных запросов. Ваш промпт прогоняется через несколько моделей параллельно, и вы видите все варианты сразу. Плюс краткая выжимка: где модели согласны, а где разошлись во мнениях.
На широкую аудиторию пока не раскатили, можно подать заявку на ранний доступ. Будет ли это в обычной подписке за $20, неизвестно. Хотя, если честно, мультимодельный пайплайн с критиком можно собрать самому за вечер через API. И точно выйдет дешевле.
techcommunity.microsoft.com/blog/microsoft365copilotblog/introducing-multi-model-intelligence-in-researcher/4506011
Microsoft выкатили Critique. Это инструмент для deep research, который одновременно запускает несколько моделей на один запрос.
Работает так: первая модель берёт на себя генерацию, вторая выступает рецензентом и вычищает ошибки и неточности до того, как вы увидите финальный ответ. Какие именно модели работали над ответом, видно в шапке.
По бенчмарку DRACO показывают SOTA, других замеров пока нет. Так что насколько это реально лучше обычного deep research, вопрос открытый.
Отдельно интересен режим Council для обычных запросов. Ваш промпт прогоняется через несколько моделей параллельно, и вы видите все варианты сразу. Плюс краткая выжимка: где модели согласны, а где разошлись во мнениях.
На широкую аудиторию пока не раскатили, можно подать заявку на ранний доступ. Будет ли это в обычной подписке за $20, неизвестно. Хотя, если честно, мультимодельный пайплайн с критиком можно собрать самому за вечер через API. И точно выйдет дешевле.
techcommunity.microsoft.com/blog/microsoft365copilotblog/introducing-multi-model-intelligence-in-researcher/4506011
❤2👍2🥰2
Forwarded from Machine learning Interview
⚡️ OpenAI УНИЧТОЖЕН - правительство Индии обвиняет компанию в незаконном использовании рабского труда индийских программистов.
По «утечке», до 40% всех запросов по программированию якобы обрабатывает не GPT-5.4 Codex, а реальные разработчики из Индии, работающие в закрытых центрах в Корапуте.
История получила продолжение после «закрытия» Sora, якобы сотни аниматоров вышли наружу и рассказали, как всё устроено на самом деле.
Вишенка на торте - к теме даже «подключили» Трампа: он якобы заявил, что с американскими программистами у ChatGPT был бы шанс снова стать великим.
Звучит как громкое расследование.
Источник: Reuters/openaiindias.com
По «утечке», до 40% всех запросов по программированию якобы обрабатывает не GPT-5.4 Codex, а реальные разработчики из Индии, работающие в закрытых центрах в Корапуте.
История получила продолжение после «закрытия» Sora, якобы сотни аниматоров вышли наружу и рассказали, как всё устроено на самом деле.
Вишенка на торте - к теме даже «подключили» Трампа: он якобы заявил, что с американскими программистами у ChatGPT был бы шанс снова стать великим.
Звучит как громкое расследование.
Источник: Reuters/openaiindias.com
😁21🤡12💊6👍4❤3
Claude можно превратить из «чат-бота» в полноценного агента, если правильно организовать проект.
Вся магия — в структуре папки:
Фактически ты собираешь мини-систему из агентов внутри репозитория.
Вся магия — в структуре папки:
your-project/
├── CLAUDE.md → инструкции для команды (сохраняется в репозитории)
├── CLAUDE.local.md → личные настройки (игнорируется git)
├── .claude/ → центр управления
│ ├── settings.json → права доступа и конфигурация (в репозитории)
│ ├── settings.local.json → локальные настройки
│ ├── commands/ → кастомные slash-команды
│ │ ├── review.md → /project:review
│ │ ├── fix-issue.md → /project:fix-issue
│ │ └── deploy.md → /project:deploy
│ ├── rules/ → модульные инструкции
│ │ ├── code-style.md
│ │ ├── testing.md
│ │ └── api-conventions.md
│ ├── skills/ → авто-запускаемые workflow
│ │ ├── security-review/
│ │ │ └── SKILL.md
│ │ └── deploy/
│ │ └── SKILL.md
│ └── agents/ → субагенты (роли)
│ ├── code-reviewer.md
│ └── security-auditor.mdФактически ты собираешь мини-систему из агентов внутри репозитория.
🔥5❤2👍2🙏2🤡1
🔒 OpenClaw Security Practice Guide для AI-агентов
Руководство по безопасности для высокопривилегированных автономных AI-агентов. Оно предлагает подход "Zero-Trust", минимизируя риски, связанные с операциями и инъекциями. Ориентировано на автоматизацию, позволяя агенту OpenClaw самостоятельно оценивать и внедрять защитные меры.
🚀 Основные моменты:
- Переход к архитектуре Zero-Trust для AI-агентов
- Минимизация ручных настроек безопасности
- Ночные автоматизированные аудиты и проверки
- Поддержка современных моделей для повышения надежности
- Специфические рекомендации для управления рисками
📌 GitHub: https://github.com/slowmist/openclaw-security-practice-guide
#markdown
Руководство по безопасности для высокопривилегированных автономных AI-агентов. Оно предлагает подход "Zero-Trust", минимизируя риски, связанные с операциями и инъекциями. Ориентировано на автоматизацию, позволяя агенту OpenClaw самостоятельно оценивать и внедрять защитные меры.
🚀 Основные моменты:
- Переход к архитектуре Zero-Trust для AI-агентов
- Минимизация ручных настроек безопасности
- Ночные автоматизированные аудиты и проверки
- Поддержка современных моделей для повышения надежности
- Специфические рекомендации для управления рисками
📌 GitHub: https://github.com/slowmist/openclaw-security-practice-guide
#markdown
👍3🔥2
Два брата запустили стартап на ИИ и делают $3 млн в день Самый быстрый путь к миллионам сейчас - ИИ.
Без команды, без офиса, почти без кода руками.
Medvi - телемед-сервис для похудения на GLP-1 препаратах. Его собрал Мэттью Галлахер прямо у себя дома в Лос-Анджелесе: $20 000 бюджета и всего 2 месяца на запуск.
Дальше - интереснее. Почти всё делают нейросети: ChatGPT, Claude и Grok пишут код, собирают сайт, крутят рекламу и даже отвечают клиентам.
Да, иногда ИИ косячит - путает цены, предлагает не то. Но экономика всё равно бьётся.
Цифры выглядят как баг в реальности: 300 клиентов в первый месяц $401 млн за первый год прогноз — $1,8 млрд в этом году
И самое безумное - в компании до сих пор всего два человека.
Похоже, “маленькая команда” больше не ограничение, а новая суперсила.
https://www.forbes.com/sites/josipamajic/2026/04/02/ai-and-20000-helped-one-man-build-a-18-billion-telehealth-startup/
Без команды, без офиса, почти без кода руками.
Medvi - телемед-сервис для похудения на GLP-1 препаратах. Его собрал Мэттью Галлахер прямо у себя дома в Лос-Анджелесе: $20 000 бюджета и всего 2 месяца на запуск.
Дальше - интереснее. Почти всё делают нейросети: ChatGPT, Claude и Grok пишут код, собирают сайт, крутят рекламу и даже отвечают клиентам.
Да, иногда ИИ косячит - путает цены, предлагает не то. Но экономика всё равно бьётся.
Цифры выглядят как баг в реальности: 300 клиентов в первый месяц $401 млн за первый год прогноз — $1,8 млрд в этом году
И самое безумное - в компании до сих пор всего два человека.
Похоже, “маленькая команда” больше не ограничение, а новая суперсила.
https://www.forbes.com/sites/josipamajic/2026/04/02/ai-and-20000-helped-one-man-build-a-18-billion-telehealth-startup/
🔥3❤1👍1😁1
This media is not supported in your browser
VIEW IN TELEGRAM
Вот основные принципы написания промптов для Claude Code:
Будь конкретным, а не общим
Плохо: «сделай авторизацию».
Хорошо: «добавь JWT-авторизацию с refresh-токенами, middleware для Express, хранение в httpOnly cookies, ротация при каждом запросе».
Указывай контекст проекта
Claude Code видит файлы, но не знает твои намерения.
Пиши: «в проекте используется Next.js 14 с App Router, Prisma, PostgreSQL. Добавь эндпоинт /api/users с пагинацией, используя существующий клиент Prisma из lib/db.ts».
Разбивай большие задачи
Вместо «сделай весь бэкенд» разбей на шаги: сначала «создай схему базы данных», потом «напиши API-роуты», потом «добавь валидацию». Claude Code лучше работает с конкретными, измеримыми задачами.
Говори что НЕ делать
«Добавь форму регистрации. Не используй внешние UI-библиотеки, не меняй существующие стили в globals.css, не трогай layout.tsx».
Ссылайся на существующий код
«Сделай по аналогии с компонентом UserCard из components/UserCard.tsx, но для продуктов». Claude Code прочитает файл и повторит паттерн.
Используй CLAUDE.md
Положи в корень проекта файл CLAUDE.md с правилами: стек, структура папок, code style, что можно и нельзя. Claude Code читает его автоматически при каждом запуске.
Проси план перед выполнением
«Перед тем как писать код, опиши план: какие файлы создашь, какие изменишь, какие зависимости добавишь. Жди моего подтверждения».
Формат промпта-шаблона
https://www.youtube.com/shorts/c9nAMFNQKd4
Будь конкретным, а не общим
Плохо: «сделай авторизацию».
Хорошо: «добавь JWT-авторизацию с refresh-токенами, middleware для Express, хранение в httpOnly cookies, ротация при каждом запросе».
Указывай контекст проекта
Claude Code видит файлы, но не знает твои намерения.
Пиши: «в проекте используется Next.js 14 с App Router, Prisma, PostgreSQL. Добавь эндпоинт /api/users с пагинацией, используя существующий клиент Prisma из lib/db.ts».
Разбивай большие задачи
Вместо «сделай весь бэкенд» разбей на шаги: сначала «создай схему базы данных», потом «напиши API-роуты», потом «добавь валидацию». Claude Code лучше работает с конкретными, измеримыми задачами.
Говори что НЕ делать
«Добавь форму регистрации. Не используй внешние UI-библиотеки, не меняй существующие стили в globals.css, не трогай layout.tsx».
Ссылайся на существующий код
«Сделай по аналогии с компонентом UserCard из components/UserCard.tsx, но для продуктов». Claude Code прочитает файл и повторит паттерн.
Используй CLAUDE.md
Положи в корень проекта файл CLAUDE.md с правилами: стек, структура папок, code style, что можно и нельзя. Claude Code читает его автоматически при каждом запуске.
Проси план перед выполнением
«Перед тем как писать код, опиши план: какие файлы создашь, какие изменишь, какие зависимости добавишь. Жди моего подтверждения».
Формат промпта-шаблона
Задача: [что нужно сделать]
Контекст: [стек, файлы, ограничения]
Требования: [конкретные технические детали]Не делай: [что менять нельзя]
Результат: [как проверить что всё работает]https://www.youtube.com/shorts/c9nAMFNQKd4
❤3👍3🔥2👎1