Прощай, Stackoverflow! Привет, Phind!
Классный поисковик/нейронка для программистских запросов.
Впечатлило то, насколько ответы развернутые: прям пошаговые инструкции (см. скрины).
❯ Перейти на сайт
#bots #ai #programming
Классный поисковик/нейронка для программистских запросов.
Впечатлило то, насколько ответы развернутые: прям пошаговые инструкции (см. скрины).
❯ Перейти на сайт
#bots #ai #programming
Геоаналитика Яндекс Карт — классный инструмент визуализации данных, который позволяет исследовать потенциал различных локаций в городе и принимать взвешенные решения.
Какие есть данные
— Пешеходный трафик
— Автомобильный трафик
— Общие демографические сведения
— Число организаций в разных отраслях
— Количество поисковых запросов в Яндекс Картах по категориям
Как можно использовать
— Определяйть перспективные места для застройки или открытия новых филиалов
— Выбирайть подходящие территории для открытия магазинов, складов и других объектов
— Изучать спрос на товары и услуги в нужной части города
— Находить оптимальные локации для размещения рекламы
— Планировать и развивать городскую среду и муниципальные сервисы
— Оценивайть количество потенциальных клиентов и конкурентов
#maps
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🔥2
💻 Как устроен современный веб: клиент-серверная архитектура
Как работает большинство современных сайтов? За красивым интерфейсом скрывается интересный механизм обмена данными между вашим браузером (клиентом) и сервером.
Когда вы заходите на сайт, ваш браузер (фронтенд) запрашивает данные у сервера (бэкенд). Сервер отвечает в формате JSON - это такой простой способ представления информации.
📖 Как посмотреть эти данные самостоятельно?
Очень просто! В каждом браузере есть инструменты разработчика (нажмите F12 или правая кнопка мыши → "Инспектировать").
Вот что нужно сделать:
❶ Перейдите на вкладку Network
❷ Включите фильтр Fetch/XHR - это покажет только API-запросы
❸ Обновите страницу (чтобы заново сделать все запросы к серверу и получить ответы)
❹ Найдите нужный запрос
❺ Откройте вкладку Preview - здесь будут данные в удобном виде
❻ Хотите сохранить? Используйте Copy Object (в меню при нажатии правой кнопки мыши)
🤷 Почему это полезно знать?
Допустим, вы тестировщик или аналитик. Теперь вы можете самостоятельно проверить, какие данные приходят с сервера, не дожидаясь помощи от разработчиков. Это особенно удобно, когда нужно быстро понять, почему что-то не работает.
💡Пример
Eсли на сайте не отображаются товары, вы можете проверить, пришли ли они вообще с сервера. Если данные есть, но не показываются - проблема во фронтенде. Если данных нет - проблема на бэкенде.
Теперь вы знаете базовый принцип работы веб-приложений и умеете использовать DevTools для анализа сетевого трафика! 🤓
#webdevelopment #devtools #json #api
Как работает большинство современных сайтов? За красивым интерфейсом скрывается интересный механизм обмена данными между вашим браузером (клиентом) и сервером.
Когда вы заходите на сайт, ваш браузер (фронтенд) запрашивает данные у сервера (бэкенд). Сервер отвечает в формате JSON - это такой простой способ представления информации.
📖 Как посмотреть эти данные самостоятельно?
Очень просто! В каждом браузере есть инструменты разработчика (нажмите F12 или правая кнопка мыши → "Инспектировать").
Вот что нужно сделать:
❶ Перейдите на вкладку Network
❷ Включите фильтр Fetch/XHR - это покажет только API-запросы
❸ Обновите страницу (чтобы заново сделать все запросы к серверу и получить ответы)
❹ Найдите нужный запрос
❺ Откройте вкладку Preview - здесь будут данные в удобном виде
❻ Хотите сохранить? Используйте Copy Object (в меню при нажатии правой кнопки мыши)
🤷 Почему это полезно знать?
Допустим, вы тестировщик или аналитик. Теперь вы можете самостоятельно проверить, какие данные приходят с сервера, не дожидаясь помощи от разработчиков. Это особенно удобно, когда нужно быстро понять, почему что-то не работает.
💡Пример
Eсли на сайте не отображаются товары, вы можете проверить, пришли ли они вообще с сервера. Если данные есть, но не показываются - проблема во фронтенде. Если данных нет - проблема на бэкенде.
Теперь вы знаете базовый принцип работы веб-приложений и умеете использовать DevTools для анализа сетевого трафика! 🤓
#webdevelopment #devtools #json #api
🔥1
Нередко возникает ситуация, когда надо проанализировать данные, содержащиеся в json. Или просто их покрутить и получить нужный кусок.
Для этих целей, я когда-то сделал небольшое веб-приложение, позволяющее преобразовывать JSON (структурированные данные, обычно получаемые от сервера через API) в Excel или CSV формат.
Чаще всего я его использую при работе с API-ответами во фронтенде через DevTools, когда требуется представить данные в более читаемом табличном формате вместо вложенной структуры JSON (как это описано в этой статье).
💪 Пример использования
Представим, что на странице есть выпадающий список, данные для него могут приходить с бэка. Если надо получить элементы списка, просто копируем json из ответа АПИ, вставляем в конвертер, скачиваем Excel и получаем нужные мне значения.
Важно!
Обработка данных осуществляется локально на стороне пользователя
Передача информации на внешние серверы не производится
Исходный код выложен на: GitHub, в репозитории канала)
Всё вместилось в один файл))
Основным компонентом приложения, осуществляющим конвертацию является библиотека Datatables
#tools #json #API #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Иногда сталкиваюсь с задачами, где нужно сравнить два набора данных, но доступен только интерфейс сервиса, без прямого доступа к базе данных. В таких случаях на помощь приходит дуэт: DevTools + Excel.
Расскажу пошагово, как это работает:
1. Вытаскиваем данные из фронта — использую DevTools для получения сырых данных из API-запросов
2. Преобразуем JSON в табличный вид — для этого применяю свой инструмент JSON Converter
3. Объединяем данные через Power Query в Excel — это мощный инструмент Excel для объединения и преобразования данных.
Как сделать join двух таблиц в Power Query:
1️⃣ Загрузите обе таблицы в Power Query — В Excel: Data → Get Data → From File → From Workbook
2️⃣ Выполните Merge Queries:
— Нажмите правой кнопкой мыши на первой таблице
— Выберите "Merge Queries"
— Выберите вторую таблицу
— Укажите столбцы для соединения
— Выберите тип соединения (Left Anti Join для поиска различий)
Для небольших объемов данных (до нескольких тысяч строк) это решение:
— Быстрое
— Простое в реализации
— Не требует специальных навыков программирования
Пример ситуации: сверка пользовательских данных
— Переносим пользователей с одного сервиса на другой
— Нужно убедиться, что все данные перенеслись корректно
— Доступен только веб-интерфейс старой и новой систем
В итоге получаю точный отчет о различиях между двумя наборами данных за минимальное время. Excel действительно может многое! ))
#Excel #PowerQuery #tools #analytics
Расскажу пошагово, как это работает:
1. Вытаскиваем данные из фронта — использую DevTools для получения сырых данных из API-запросов
2. Преобразуем JSON в табличный вид — для этого применяю свой инструмент JSON Converter
3. Объединяем данные через Power Query в Excel — это мощный инструмент Excel для объединения и преобразования данных.
Как сделать join двух таблиц в Power Query:
1️⃣ Загрузите обе таблицы в Power Query — В Excel: Data → Get Data → From File → From Workbook
2️⃣ Выполните Merge Queries:
— Нажмите правой кнопкой мыши на первой таблице
— Выберите "Merge Queries"
— Выберите вторую таблицу
— Укажите столбцы для соединения
— Выберите тип соединения (Left Anti Join для поиска различий)
Для небольших объемов данных (до нескольких тысяч строк) это решение:
— Быстрое
— Простое в реализации
— Не требует специальных навыков программирования
Пример ситуации: сверка пользовательских данных
— Переносим пользователей с одного сервиса на другой
— Нужно убедиться, что все данные перенеслись корректно
— Доступен только веб-интерфейс старой и новой систем
В итоге получаю точный отчет о различиях между двумя наборами данных за минимальное время. Excel действительно может многое! ))
❗️ Важное примечание
Данный метод с использованием Power Query работает только в версиях Microsoft Excel для Windows.
На macOS: Power Query не доступен в полном объеме. Есть только базовые возможности Power Query через "Получить данные"
#Excel #PowerQuery #tools #analytics
👍1
🗳 Data Pipeline Overview: Как данные становятся ценным ресурсом
Конвейер данных — это система, которая автоматизирует движение данных от источников до конечных пользователей. Она преобразует сырые данные в полезную для бизнеса информацию.
Сегодня разберём очередную схему от ByteByteGo и посмотрим на типовые этапы конвейера:
❶ Collect (Сбор данных)
Данные собираются из разных источников:
— Data Stores : Базы данных, CRM, ERP (например, записи заказов).
— Data Streams : Реальные события (клики, логи серверов).
— Applications : Мобильные приложения, IoT-устройства.
❷ Ingest (Загрузка данных)
Задача — загрузить данные в систему конвейера.
Инструменты :
— Apache Kafka: для потоковой передачи данных в реальном времени.
— Amazon Kinesis : Обработка больших объемов данных в режиме реального времени.
Типы обработки :
— Batch Processing : Обработка данных порциями (например, ежедневный отчет).
— Stream Processing : Обработка данных «на лету» (например, мониторинг транзакций).
❸ Store (Хранение данных)
Где хранятся данные :
— Data Lake : Необработанные данные (например, Amazon S3, HDFS).
— Data Warehouse : Структурированные данные для аналитики (Snowflake, Redshift).
— Data Lakehouse : Комбинация озера и хранилища (Delta Lake, Azure Synapse)
❹ Compute (Обработка данных)
Цель —- преобразовать данные в формат, удобный для анализа.
ETL vs ELT :
— ETL : Extract → Transform → Load (преобразование до загрузки).
— ELT : Extract → Load → Transform (преобразование после загрузки).
Инструменты :
— Apache Spark - для пакетной обработки.
— Apache Flink - для потоковой обработки.
❺ Consume (Использование данных)
Как данные помогают бизнесу :
— Business Intelligence - инструменты вроде Datalens,Tableau для создания дашбордов.
— Self-Service Analytics - платформы типа Looker для самостоятельного анализа.
— ML Services - использование данных для прогнозирования (например, рекомендации товаров).
— Data Science - исследования с помощью Jupyter Notebooks.
💪 Почему это важно?
— Автоматизация : устраняет рутину (например, ручной экспорт данных).
— Качество данных : очистка и стандартизация улучшают аналитику.
— Быстрое принятие решений : доступ к актуальным данным в реальном времени.
🤓 Основные вызовы
— Сложность интеграции : разные системы могут иметь разные форматы данных.
— Безопасность : защита данных во время передачи и хранения.
— Масштабируемость : конвейер должен расти вместе с объемом данных.
Итог
Конвейеры передачи данных — это «скелет», который позволяет компании быстро переходить от сырых данных к осмысленным решениям. Без них аналитика становится медленной, а бизнес — менее гибким.
#data #pipeline #analytics #ByteByteGo
Конвейер данных — это система, которая автоматизирует движение данных от источников до конечных пользователей. Она преобразует сырые данные в полезную для бизнеса информацию.
Сегодня разберём очередную схему от ByteByteGo и посмотрим на типовые этапы конвейера:
❶ Collect (Сбор данных)
Данные собираются из разных источников:
— Data Stores : Базы данных, CRM, ERP (например, записи заказов).
— Data Streams : Реальные события (клики, логи серверов).
— Applications : Мобильные приложения, IoT-устройства.
❷ Ingest (Загрузка данных)
Задача — загрузить данные в систему конвейера.
Инструменты :
— Apache Kafka: для потоковой передачи данных в реальном времени.
— Amazon Kinesis : Обработка больших объемов данных в режиме реального времени.
Типы обработки :
— Batch Processing : Обработка данных порциями (например, ежедневный отчет).
— Stream Processing : Обработка данных «на лету» (например, мониторинг транзакций).
❸ Store (Хранение данных)
Где хранятся данные :
— Data Lake : Необработанные данные (например, Amazon S3, HDFS).
— Data Warehouse : Структурированные данные для аналитики (Snowflake, Redshift).
— Data Lakehouse : Комбинация озера и хранилища (Delta Lake, Azure Synapse)
❹ Compute (Обработка данных)
Цель —- преобразовать данные в формат, удобный для анализа.
ETL vs ELT :
— ETL : Extract → Transform → Load (преобразование до загрузки).
— ELT : Extract → Load → Transform (преобразование после загрузки).
Инструменты :
— Apache Spark - для пакетной обработки.
— Apache Flink - для потоковой обработки.
❺ Consume (Использование данных)
Как данные помогают бизнесу :
— Business Intelligence - инструменты вроде Datalens,Tableau для создания дашбордов.
— Self-Service Analytics - платформы типа Looker для самостоятельного анализа.
— ML Services - использование данных для прогнозирования (например, рекомендации товаров).
— Data Science - исследования с помощью Jupyter Notebooks.
💪 Почему это важно?
— Автоматизация : устраняет рутину (например, ручной экспорт данных).
— Качество данных : очистка и стандартизация улучшают аналитику.
— Быстрое принятие решений : доступ к актуальным данным в реальном времени.
🤓 Основные вызовы
— Сложность интеграции : разные системы могут иметь разные форматы данных.
— Безопасность : защита данных во время передачи и хранения.
— Масштабируемость : конвейер должен расти вместе с объемом данных.
Итог
Конвейеры передачи данных — это «скелет», который позволяет компании быстро переходить от сырых данных к осмысленным решениям. Без них аналитика становится медленной, а бизнес — менее гибким.
#data #pipeline #analytics #ByteByteGo
🔥1