❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_119 (Часть_1)
🔠Q_119: Какую концепцию поддерживает Apache Nifi ?
Apache NiFi поддерживает концепцию "переток данных" (data flow). Это означает, что NiFi обеспечивает возможность создания, управления и мониторинга потоков данных между различными системами.
Основные концепции, которые поддерживает Apache NiFi, включают:
1. Простота использования: NiFi предоставляет графический интерфейс пользователя (GUI), который позволяет легко создавать и настраивать потоки данных без необходимости написания кода.
2. Масштабируемость: NiFi позволяет горизонтально масштабировать систему для обработки больших объемов данных.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
🔠Q_119: Какую концепцию поддерживает Apache Nifi ?
Apache NiFi поддерживает концепцию "переток данных" (data flow). Это означает, что NiFi обеспечивает возможность создания, управления и мониторинга потоков данных между различными системами.
Основные концепции, которые поддерживает Apache NiFi, включают:
1. Простота использования: NiFi предоставляет графический интерфейс пользователя (GUI), который позволяет легко создавать и настраивать потоки данных без необходимости написания кода.
2. Масштабируемость: NiFi позволяет горизонтально масштабировать систему для обработки больших объемов данных.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_119 (Часть_2)
👉Ответ:
3. Надежность: NiFi имеет встроенные механизмы для обработки ошибок и обеспечения доставки данных даже при наличии сбоев.
4. Управление потоком данных: NiFi позволяет контролировать, мониторить и маршрутизировать потоки данных на основе различных условий и правил.
5. Безопасность: NiFi поддерживает различные механизмы аутентификации и авторизации для защиты данных.
6. Гибкость: NiFi может работать с различными типами данных (текстовые файлы, базы данных, потоки сенсорных данных и т. д.) и поддерживает множество интеграций с другими системами.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
👉Ответ:
3. Надежность: NiFi имеет встроенные механизмы для обработки ошибок и обеспечения доставки данных даже при наличии сбоев.
4. Управление потоком данных: NiFi позволяет контролировать, мониторить и маршрутизировать потоки данных на основе различных условий и правил.
5. Безопасность: NiFi поддерживает различные механизмы аутентификации и авторизации для защиты данных.
6. Гибкость: NiFi может работать с различными типами данных (текстовые файлы, базы данных, потоки сенсорных данных и т. д.) и поддерживает множество интеграций с другими системами.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
⚠️Инструменты для пентеста №3
🔠Q3: httpry ?
Httpry - это специализированный анализатор пакетов, предназначенный для отображения и регистрации HTTP-трафика. Этот инструмент не выполняет сам анализ трафика, а служит для сбора, анализа и регистрации трафика для его последующего анализа. Httpry может быть запущен в режиме реального времени, где он отображает трафик по мере его анализа, или как процесс-демон, который записывает трафик в выходной файл. Этот инструмент разработан таким образом, чтобы быть легким и гибким, что позволяет его легко адаптировать к различным приложениям.
Ссылка: https://dumpsterventures.com/jason/httpry/
#httpry #packet analyzer #http traffic #real-time mode #traffic recording #output file #lightweight #flexible #application
🔠Q3: httpry ?
Httpry - это специализированный анализатор пакетов, предназначенный для отображения и регистрации HTTP-трафика. Этот инструмент не выполняет сам анализ трафика, а служит для сбора, анализа и регистрации трафика для его последующего анализа. Httpry может быть запущен в режиме реального времени, где он отображает трафик по мере его анализа, или как процесс-демон, который записывает трафик в выходной файл. Этот инструмент разработан таким образом, чтобы быть легким и гибким, что позволяет его легко адаптировать к различным приложениям.
Ссылка: https://dumpsterventures.com/jason/httpry/
#httpry #packet analyzer #http traffic #real-time mode #traffic recording #output file #lightweight #flexible #application
⚠️Инструменты для пентеста №4
🔠Q3: ngrep ?
Ngrep - это инструмент для анализа сетевого трафика, который позволяет использовать регулярные выражения для поиска и фильтрации пакетов данных. Он поддерживает различные протоколы, такие как IPv4/6, TCP, UDP, ICMPv4/6, IGMP, а также может работать с различными интерфейсами сетевого соединения, такими как Ethernet, PPP, SLIP, FDDI, Token Ring и Null. Ngrep позволяет указывать расширенные регулярные выражения для поиска и анализа полезной нагрузки пакетов данных.
Ngrep также поддерживает фильтрацию BPF (Berkeley Packet Filter) - технологию, используемую для фильтрации сетевого трафика на более низком уровне. Это позволяет более гибко управлять анализом и отслеживанием пакетов данных с помощью ngrep
Ссылка: https://github.com/jpr5/ngrep/
#ngrep #networktrafficanalysis #regularexpressions #ipv4 #ipv6 #tcp #udp #icmpv4 #icmpv6 #igmp #ethernet #ppp #slip #fddi #tokenring #null #berkeleypacketfilter #networkfiltering #networkmonitoring
🔠Q3: ngrep ?
Ngrep - это инструмент для анализа сетевого трафика, который позволяет использовать регулярные выражения для поиска и фильтрации пакетов данных. Он поддерживает различные протоколы, такие как IPv4/6, TCP, UDP, ICMPv4/6, IGMP, а также может работать с различными интерфейсами сетевого соединения, такими как Ethernet, PPP, SLIP, FDDI, Token Ring и Null. Ngrep позволяет указывать расширенные регулярные выражения для поиска и анализа полезной нагрузки пакетов данных.
Ngrep также поддерживает фильтрацию BPF (Berkeley Packet Filter) - технологию, используемую для фильтрации сетевого трафика на более низком уровне. Это позволяет более гибко управлять анализом и отслеживанием пакетов данных с помощью ngrep
Ссылка: https://github.com/jpr5/ngrep/
#ngrep #networktrafficanalysis #regularexpressions #ipv4 #ipv6 #tcp #udp #icmpv4 #icmpv6 #igmp #ethernet #ppp #slip #fddi #tokenring #null #berkeleypacketfilter #networkfiltering #networkmonitoring
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_120 (Часть_1)
🔠Q_120: Из чего состоит Apache Nifi ?
1. Web-сервер: Apache NiFi включает в себя встроенный web-сервер, который обеспечивает веб-интерфейс для управления и мониторинга потоков данных.
2. Flow Controller: Flow Controller или контроллер потока данных является центральным управляющим компонентом Apache NiFi. Он управляет потоками данных, управляет компонентами и обрабатывает события.
3. Processors: Процессоры выполняют фактическую обработку данных и преобразование потоков данных. Они принимают входные данные, выполняют действия, например, фильтрацию, преобразование формата, объединение данных и отправляют обработанные данные в другие процессоры или системы.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
🔠Q_120: Из чего состоит Apache Nifi ?
1. Web-сервер: Apache NiFi включает в себя встроенный web-сервер, который обеспечивает веб-интерфейс для управления и мониторинга потоков данных.
2. Flow Controller: Flow Controller или контроллер потока данных является центральным управляющим компонентом Apache NiFi. Он управляет потоками данных, управляет компонентами и обрабатывает события.
3. Processors: Процессоры выполняют фактическую обработку данных и преобразование потоков данных. Они принимают входные данные, выполняют действия, например, фильтрацию, преобразование формата, объединение данных и отправляют обработанные данные в другие процессоры или системы.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_120 (Часть_2)
🔠Q_120: Из чего состоит Apache Nifi ?
4. Connections: Соединения представляют собой каналы связи между процессорами, которые передают данные из одного процессора в другой. Они определяют направление потока данных и механизмы доставки данных.
5. FlowFiles: FlowFiles являются базовыми объектами данных в Apache NiFi. Они содержат данные, а также набор атрибутов, описывающих эти данные.
6. Controllers: Контроллеры используются для настройки и управления системными ресурсами, например, базами данных, шифрованием, аутентификацией и авторизацией.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
🔠Q_120: Из чего состоит Apache Nifi ?
4. Connections: Соединения представляют собой каналы связи между процессорами, которые передают данные из одного процессора в другой. Они определяют направление потока данных и механизмы доставки данных.
5. FlowFiles: FlowFiles являются базовыми объектами данных в Apache NiFi. Они содержат данные, а также набор атрибутов, описывающих эти данные.
6. Controllers: Контроллеры используются для настройки и управления системными ресурсами, например, базами данных, шифрованием, аутентификацией и авторизацией.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
⚠️Инструменты для пентеста №5
🔠Q1: Sagan ?
Sagan - это инструмент, который использует движок, схожий со Snort, и набор правил для анализа различных журналов, таких как системные журналы, журналы событий, SNMP-ловушки, Netflow и другие.
Sagan предназначен для обнаружения и анализа аномального поведения в сети, с целью выявления потенциальных угроз безопасности. Он основан на системе обнаружения вторжений Snort, которая широко известна и популярна в сообществе информационной безопасности.
Cсылка: https://github.com/quadrantsec/sagan/
🔥🔥🔥Отказ от ответственности: см. в постах выше.
#sagan #networksecurity #anomalydetection #intrusiondetection #snort
🔠Q1: Sagan ?
Sagan - это инструмент, который использует движок, схожий со Snort, и набор правил для анализа различных журналов, таких как системные журналы, журналы событий, SNMP-ловушки, Netflow и другие.
Sagan предназначен для обнаружения и анализа аномального поведения в сети, с целью выявления потенциальных угроз безопасности. Он основан на системе обнаружения вторжений Snort, которая широко известна и популярна в сообществе информационной безопасности.
Cсылка: https://github.com/quadrantsec/sagan/
🔥🔥🔥Отказ от ответственности: см. в постах выше.
#sagan #networksecurity #anomalydetection #intrusiondetection #snort
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_120 (Часть_3)
🔠Q_120: Из чего состоит Apache Nifi ?
7. Reporting Task: Задания отчетов предоставляют возможность собирать и отображать информацию о статусе системы, процессоров и потоков данных.
8. Templates: Шаблоны позволяют сохранить конфигурацию потока данных в файле для повторного использования или обмена с другими экземплярами Apache NiFi.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
🔠Q_120: Из чего состоит Apache Nifi ?
7. Reporting Task: Задания отчетов предоставляют возможность собирать и отображать информацию о статусе системы, процессоров и потоков данных.
8. Templates: Шаблоны позволяют сохранить конфигурацию потока данных в файле для повторного использования или обмена с другими экземплярами Apache NiFi.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_121
🔠Q_121: Что такое NLTK ?
NLTK (Natural Language Toolkit) - это библиотека для обработки естественного языка на языке программирования Python. Она предоставляет инструменты для работы с текстовыми данными, включая различные функции для токенизации, лемматизации, предварительной обработки текста, классификации и извлечения информации. NLTK также содержит различные корпусы текстовых данных и модели, которые можно использовать для обучения и тестирования алгоритмов обработки естественного языка. Эта библиотека широко используется в академических и исследовательских целях, а также в индустрии для разработки и применения алгоритмов обработки текста и анализа данных.
ССылка: https://www.nltk.org
#nltk #natural #language #processing #python
🔠Q_121: Что такое NLTK ?
NLTK (Natural Language Toolkit) - это библиотека для обработки естественного языка на языке программирования Python. Она предоставляет инструменты для работы с текстовыми данными, включая различные функции для токенизации, лемматизации, предварительной обработки текста, классификации и извлечения информации. NLTK также содержит различные корпусы текстовых данных и модели, которые можно использовать для обучения и тестирования алгоритмов обработки естественного языка. Эта библиотека широко используется в академических и исследовательских целях, а также в индустрии для разработки и применения алгоритмов обработки текста и анализа данных.
ССылка: https://www.nltk.org
#nltk #natural #language #processing #python
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_122
🔠Q_122: Что такое object detection и какие алгоритмы с ним работают ?
Object detection — это задача компьютерного зрения, которая заключается в определении и локализации объектов различных классов на изображении или видео. Целью алгоритмов object detection является не только идентификация объектов, но и определение их прямоугольной области на изображении.
Существует несколько алгоритмов для решения задачи object detection:
1. R-CNN (Region-Based Convolutional Neural Networks) — этот алгоритм применяет выделение регионов для локализации объектов, а затем применяет нейронные сети для классификации найденных регионов.
2. Fast R-CNN — улучшенная версия R-CNN, которая предложила совместное обучение сверточных слоев для выделения регионов и классификации.
Сcылки:
- https://habr.com/ru/companies/jetinfosystems/articles/498652/
- https://habr.com/ru/articles/421299/
#object #detection #cnn #fast
🔠Q_122: Что такое object detection и какие алгоритмы с ним работают ?
Object detection — это задача компьютерного зрения, которая заключается в определении и локализации объектов различных классов на изображении или видео. Целью алгоритмов object detection является не только идентификация объектов, но и определение их прямоугольной области на изображении.
Существует несколько алгоритмов для решения задачи object detection:
1. R-CNN (Region-Based Convolutional Neural Networks) — этот алгоритм применяет выделение регионов для локализации объектов, а затем применяет нейронные сети для классификации найденных регионов.
2. Fast R-CNN — улучшенная версия R-CNN, которая предложила совместное обучение сверточных слоев для выделения регионов и классификации.
Сcылки:
- https://habr.com/ru/companies/jetinfosystems/articles/498652/
- https://habr.com/ru/articles/421299/
#object #detection #cnn #fast
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_122 (Часть_2)
🔠Q_122: Что такое object detection и какие алгоритмы с ним работают ?
3. Faster R-CNN — алгоритм, который добавляет в Fast R-CNN специальный слой Region Proposal Network (RPN), отвечающий за генерацию предложений регионов.
4. YOLO (You Only Look Once) — это алгоритм, который обрабатывает изображение одним проходом через нейронную сеть и делает прогнозы прямоугольных областей объектов и их классов в реальном времени.
Cсылка: https://medium.com/@bigdataschool/3-метода-детектирования-объектов-c-deep-learning-r-cnn-fast-r-cnn-и-faster-r-cnn-acdf6380fd33
#object #detection #cnn #fast
🔠Q_122: Что такое object detection и какие алгоритмы с ним работают ?
3. Faster R-CNN — алгоритм, который добавляет в Fast R-CNN специальный слой Region Proposal Network (RPN), отвечающий за генерацию предложений регионов.
4. YOLO (You Only Look Once) — это алгоритм, который обрабатывает изображение одним проходом через нейронную сеть и делает прогнозы прямоугольных областей объектов и их классов в реальном времени.
Cсылка: https://medium.com/@bigdataschool/3-метода-детектирования-объектов-c-deep-learning-r-cnn-fast-r-cnn-и-faster-r-cnn-acdf6380fd33
#object #detection #cnn #fast
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_123 (Часть_1)
🔠Q_123: Что такое tensorflow и какая у него архитектура ?
TensorFlow - это открытая программная библиотека для машинного обучения, разработанная компанией Google. Она позволяет создавать, обучать и применять глубокие нейронные сети и другие модели машинного обучения. TensorFlow предоставляет удобный набор инструментов для работы с большими объемами данных и выполнения сложных вычислительных операций.
Архитектура TensorFlow основана на графовых структурах. Она состоит из двух основных компонентов: графа выполнения и среды выполнения.
Cсылка: https://www.tensorflow.org/?hl=ru
# tensorflow #gpu
🔠Q_123: Что такое tensorflow и какая у него архитектура ?
TensorFlow - это открытая программная библиотека для машинного обучения, разработанная компанией Google. Она позволяет создавать, обучать и применять глубокие нейронные сети и другие модели машинного обучения. TensorFlow предоставляет удобный набор инструментов для работы с большими объемами данных и выполнения сложных вычислительных операций.
Архитектура TensorFlow основана на графовых структурах. Она состоит из двух основных компонентов: графа выполнения и среды выполнения.
Cсылка: https://www.tensorflow.org/?hl=ru
# tensorflow #gpu
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_123 (Часть_2)
🔠Q_123: Что такое tensorflow и какая у него архитектура ?
Граф выполнения представляет собой набор вычислительных операций, объединенных в графовую структуру. Каждая операция в графе представляет собой узел, а данные представлены в виде тензоров - многомерных массивов.
Граф определяет, как данные будут протекать через операции и как они будут преобразовываться.Среда выполнения TensorFlow выполняет операции графа и оптимизирует вычисления для достижения максимальной производительности. Она может выполняться на различных аппаратных платформах, включая процессоры центрального процессора (CPU), графические процессоры (GPU) и специализированные устройства, такие как Tensor Processing Units (TPU).
Cсылка: https://www.tensorflow.org/?hl=ru
#tensorflow #gpu
🔠Q_123: Что такое tensorflow и какая у него архитектура ?
Граф выполнения представляет собой набор вычислительных операций, объединенных в графовую структуру. Каждая операция в графе представляет собой узел, а данные представлены в виде тензоров - многомерных массивов.
Граф определяет, как данные будут протекать через операции и как они будут преобразовываться.Среда выполнения TensorFlow выполняет операции графа и оптимизирует вычисления для достижения максимальной производительности. Она может выполняться на различных аппаратных платформах, включая процессоры центрального процессора (CPU), графические процессоры (GPU) и специализированные устройства, такие как Tensor Processing Units (TPU).
Cсылка: https://www.tensorflow.org/?hl=ru
#tensorflow #gpu
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_124
🔠Q_124: Что такое apache parquet ?
Apache Parquet - это формат хранения данных, используемый для эффективного хранения и обработки структурированных данных в экосистеме Hadoop.
Parquet был разработан для решения проблемы эффективного хранения больших объемов данных, где каждый файл паркета содержит журнал, или сегмент, который легко читается и записывается независимо от других сегментов.
Формат Parquet поддерживает сжатие данных и обеспечивает эффективную селективность столбцов при чтении данных, что позволяет снизить нагрузку на процессор и объем используемой памяти при обработке данных.
Parquet также обеспечивает схему данных и порядок столбцов, что улучшает производительность при выполнении запросов.
Cсылка: https://parquet.apache.org/docs/
#apache #parquet #datastorage #hadoop #dataprocessing #bigdata #efficiency #compression #selectivity #columnarstorage #dataschema #queryperformance
🔠Q_124: Что такое apache parquet ?
Apache Parquet - это формат хранения данных, используемый для эффективного хранения и обработки структурированных данных в экосистеме Hadoop.
Parquet был разработан для решения проблемы эффективного хранения больших объемов данных, где каждый файл паркета содержит журнал, или сегмент, который легко читается и записывается независимо от других сегментов.
Формат Parquet поддерживает сжатие данных и обеспечивает эффективную селективность столбцов при чтении данных, что позволяет снизить нагрузку на процессор и объем используемой памяти при обработке данных.
Parquet также обеспечивает схему данных и порядок столбцов, что улучшает производительность при выполнении запросов.
Cсылка: https://parquet.apache.org/docs/
#apache #parquet #datastorage #hadoop #dataprocessing #bigdata #efficiency #compression #selectivity #columnarstorage #dataschema #queryperformance
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_125
🔠Что такое YOLO (You Only Look Once) ?
👉Ответ
YOLO (You Only Look Once) — это алгоритм, который обрабатывает изображение одним проходом через нейронную сеть и делает прогнозы прямоугольных областей объектов и их классов в реальном времени.
Ссылка: https://habr.com/ru/articles/514450/
#yolo #algorithm #neuralnetwork #realtime #imageprocessing #objectdetection #classification
🔠Что такое YOLO (You Only Look Once) ?
👉Ответ
YOLO (You Only Look Once) — это алгоритм, который обрабатывает изображение одним проходом через нейронную сеть и делает прогнозы прямоугольных областей объектов и их классов в реальном времени.
Ссылка: https://habr.com/ru/articles/514450/
#yolo #algorithm #neuralnetwork #realtime #imageprocessing #objectdetection #classification
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_126
🔠Что такое SSD (Single Shot MultiBox Detector) ?
👉Ответ: SSD (Single Shot MultiBox Detector) — способ организации архитектуры сверточной нейронной сети, в которой используется набор конволюций разных размеров, чтобы детектировать объекты разных размеров на разных уровнях абстракции.
Ccылка: https://arxiv.org/abs/1512.02325
#SSD #neuralnetwork #convolutionalnetwork #objectdetection #multiboxdetector #architecture #abstraction
🔠Что такое SSD (Single Shot MultiBox Detector) ?
👉Ответ: SSD (Single Shot MultiBox Detector) — способ организации архитектуры сверточной нейронной сети, в которой используется набор конволюций разных размеров, чтобы детектировать объекты разных размеров на разных уровнях абстракции.
Ccылка: https://arxiv.org/abs/1512.02325
#SSD #neuralnetwork #convolutionalnetwork #objectdetection #multiboxdetector #architecture #abstraction
Ребят, планирую начать публиковать контент в сторис, кто за - бустаните, плиииз ))) ⛽️
https://t.me/DenoiseLAB?boost
https://t.me/DenoiseLAB?boost
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_127
🔠Что такое ?
👉Ответ: OSMNX - это пакет Python, который позволяет загружать пространственные геометрии и моделировать, проектировать, визуализировать и анализировать реальные уличные сети из API-интерфейсов OpenStreetMap.
conda config --prepend channels conda-forge
conda create -n ox --strict-channel-priority osmnx
import osmnx as ox
graph = ox.graph_from_place('Berlin, Germany')
ox.plot_graph(graph)
Ccылка: https://habr.com/ru/companies/skillfactory/articles/654239/
#osmnx #python #spatialgeometry #streetnetworks #visualization #analysis #openstreetmap #api
🔠Что такое ?
👉Ответ: OSMNX - это пакет Python, который позволяет загружать пространственные геометрии и моделировать, проектировать, визуализировать и анализировать реальные уличные сети из API-интерфейсов OpenStreetMap.
conda config --prepend channels conda-forge
conda create -n ox --strict-channel-priority osmnx
import osmnx as ox
graph = ox.graph_from_place('Berlin, Germany')
ox.plot_graph(graph)
Ccылка: https://habr.com/ru/companies/skillfactory/articles/654239/
#osmnx #python #spatialgeometry #streetnetworks #visualization #analysis #openstreetmap #api
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_128
🔠Что за формат данных Apache ORC ?
👉Ответ: Apache ORC (Optimized Row Columnar) — это формат хранения данных, разработанный Apache Software Foundation. Он предназначен для эффективного и компактного хранения структурированных данных, особенно для аналитических нагрузок.
ORC представляет собой гибридный формат, который использует преимущества как строкового, так и столбцового подходов к хранению данных. Данные в ORC-файлах организованы в столбцах, что позволяет эффективно сжимать и быстро обрабатывать отдельные столбцы. Это помогает улучшить производительность при выполнении запросов, так как обычно только несколько столбцов данных должны быть прочитаны для выполнения операции.
Кроме того, ORC поддерживает различные методы сжатия данных, включая Snappy, Zlib и LZO, что позволяет сократить размер файла и увеличить скорость чтения и записи.
😎Ссылка: https://habr.com/ru/companies/alfastrah/articles/458552/
#apache #orc #hadoop
🔠Что за формат данных Apache ORC ?
👉Ответ: Apache ORC (Optimized Row Columnar) — это формат хранения данных, разработанный Apache Software Foundation. Он предназначен для эффективного и компактного хранения структурированных данных, особенно для аналитических нагрузок.
ORC представляет собой гибридный формат, который использует преимущества как строкового, так и столбцового подходов к хранению данных. Данные в ORC-файлах организованы в столбцах, что позволяет эффективно сжимать и быстро обрабатывать отдельные столбцы. Это помогает улучшить производительность при выполнении запросов, так как обычно только несколько столбцов данных должны быть прочитаны для выполнения операции.
Кроме того, ORC поддерживает различные методы сжатия данных, включая Snappy, Zlib и LZO, что позволяет сократить размер файла и увеличить скорость чтения и записи.
😎Ссылка: https://habr.com/ru/companies/alfastrah/articles/458552/
#apache #orc #hadoop