Правильная инфографика сбора, шиппинга, хранения, обработки и визуализации логов.
Именно так в наши дни все должно быть устроенно. ELK стек в деле.
Там еще и #docker должен быть.
Именно так в наши дни все должно быть устроенно. ELK стек в деле.
Там еще и #docker должен быть.
Если вы слушаете подкасты (они то сейчас как раз в тренде) то у меня есть для вас подкаст от Гугла, где уже записано целых 84 эпизода, если ваш клауд провайдер GCP (даже если нет) вам должно быть интересно это послушать - https://www.gcppodcast.com/
Google Cloud Platform Podcast
Weekly episodes featuring informative Cloud professionals, technical discussions, and cool new things!
Я сделал Docker контейнер c Elastic Filebeat. Подробная инструкия и исходники на Github - https://github.com/junoteam/filebeat-docker а сам контейнер можно получить тут https://hub.docker.com/r/linuxspace/filebeat/
GitHub
junoteam/filebeat-docker
filebeat-docker - Docker image for Elastic Filebeat
Gitlab работают надо новым интерфейсом, выглядит очень круто и современно
https://about.gitlab.com/2017/07/17/redesigning-gitlabs-navigation/
https://about.gitlab.com/2017/07/17/redesigning-gitlabs-navigation/
GitLab
Redesigning GitLab's navigation
After a series of research and brainstorming sessions, we are excited to share with the community our redesign of GitLab's navigation.
5 Docker Utilities You Should Know
You can find a lot of cool Docker utilities on the web. Most of these are open source and available on Github. Over the last two years, I have become quite active with Docker, using it for most of my development projects. As you start using Docker, you will find it is suitable for more use cases than you may have initially envisioned. You will want Docker to do a little more for you—and it will not disappoint!
https://blog.xebialabs.com/2017/05/18/5-docker-utilities-you-should-know/
You can find a lot of cool Docker utilities on the web. Most of these are open source and available on Github. Over the last two years, I have become quite active with Docker, using it for most of my development projects. As you start using Docker, you will find it is suitable for more use cases than you may have initially envisioned. You will want Docker to do a little more for you—and it will not disappoint!
https://blog.xebialabs.com/2017/05/18/5-docker-utilities-you-should-know/
digital.ai
Catalyst Blog
https://www.cyberciti.biz/faq/how-to-set-up-a-firewall-with-pf-on-freebsd-to-protect-a-web-server/ - примитивный пример того, как бользоваться Packet Filter файрволлом в BSD системах.
nixCraft
How To Set Up PF Firewall on FreeBSD to Protect a Web Server
Explains how to setup PF firewall on FreeBSD cloud server or VPS to protect your web server for hackers and other type of attacks.
Отличная статья от Алексея Иванова в блоге Dropbox про оптимизацию производительности веб серверов.
Внутри perf, флеймграфы, графики, бенчмарки и много интересного.
https://goo.gl/9sntjq
Внутри perf, флеймграфы, графики, бенчмарки и много интересного.
https://goo.gl/9sntjq
NGINX Unit — новый сервер приложений и основа для service mesh от создателей веб-сервера nginx
В минувшую среду компания NGINX Inc, стоящая за популярным одноимённым веб-сервером (nginx), анонсировала свой новый Open Source-продукт — NGINX Unit.
NGINX Unit — это отдельный от nginx продукт, являющийся легковесным сервером приложений (application server) с открытым кодом и призванным «ответить на запросы сегодняшних динамических и распределённых приложений». На данном этапе он поддерживает запуск приложений на трёх языках программирования: Go, PHP и Python, — а поддержка Java и Node.JS планируется в «ближайшем будущем».
NGINX Unit позволяет запускать на одном сервере приложения не только на разных языках, но и на разных версиях интерпретаторов (например, PHP 5 и PHP 7, Python 2.7 и Python 3).
Другой особенностью NGINX Unit является его «программируемость»: конфигурация по REST API, использование формата JSON для конфигураций, graceful-обновления приложений и конфигураций для минимизации простоев сервиса.
Кроме того, продукт адаптирован для использования в качестве базы для «сервисной сетки» (service mesh; примеры известных реализаций — linkerd и Istio) благодаря интегрированному сетевому стеку для быстрого взаимодействия сервисов и возможностям определения сетевой конфигурации на уровне сервера приложений (вместо кода приложения). Вскоре также обещают поддержку протоколов SSL/TLS и HTTP/2.
Текущий статус разработки NGINX Unit — бета-версия 0.1, которую можно скачать с сайта unit.nginx.org. Исходный код NGINX Unit написан на языке Си и доступен под свободной лицензией Apache License 2.0 на GitHub.
http://unit.nginx.org
В минувшую среду компания NGINX Inc, стоящая за популярным одноимённым веб-сервером (nginx), анонсировала свой новый Open Source-продукт — NGINX Unit.
NGINX Unit — это отдельный от nginx продукт, являющийся легковесным сервером приложений (application server) с открытым кодом и призванным «ответить на запросы сегодняшних динамических и распределённых приложений». На данном этапе он поддерживает запуск приложений на трёх языках программирования: Go, PHP и Python, — а поддержка Java и Node.JS планируется в «ближайшем будущем».
NGINX Unit позволяет запускать на одном сервере приложения не только на разных языках, но и на разных версиях интерпретаторов (например, PHP 5 и PHP 7, Python 2.7 и Python 3).
Другой особенностью NGINX Unit является его «программируемость»: конфигурация по REST API, использование формата JSON для конфигураций, graceful-обновления приложений и конфигураций для минимизации простоев сервиса.
Кроме того, продукт адаптирован для использования в качестве базы для «сервисной сетки» (service mesh; примеры известных реализаций — linkerd и Istio) благодаря интегрированному сетевому стеку для быстрого взаимодействия сервисов и возможностям определения сетевой конфигурации на уровне сервера приложений (вместо кода приложения). Вскоре также обещают поддержку протоколов SSL/TLS и HTTP/2.
Текущий статус разработки NGINX Unit — бета-версия 0.1, которую можно скачать с сайта unit.nginx.org. Исходный код NGINX Unit написан на языке Си и доступен под свободной лицензией Apache License 2.0 на GitHub.
http://unit.nginx.org
Linkerd 1.0 — связующее звено для сервисов в облачной инфраструктуре
В минувший вторник состоялся релиз 1.0 проекта linkerd, развиваемого в рамках фонда CNCF (Cloud Native Computing Foundation) как специальный объединяющий компонент для облачных приложений.
Формально авторы linkerd называют свой продукт «сервисной сеткой» (service mesh) для родных облачных приложений. Если выражаться в более привычной терминологии, linkerd — это прозрачный прокси-сервер, добавляющий функции обнаружения сервисов, маршрутизации, обработки отказов и видимости внутри облака.
Среди его особенностей отмечаются: производительность (минимальные задержки при обработке десятков тысяч запросов в секунду одним узлом + горизонтальное масштабирование), динамические логические правила маршрутизации (с поддержкой схем для staging-площадок, отказоустойчивости и др.), встроенная служба распознавания сервисов, балансировка трафика в соответствии с нагрузкой, готовность к использованию в production даже в крупных масштабах.
Среди новых возможностей, представленных в релизе linkerd 1.0, отмечаются возможности конфигурации роутинга по сервисам (т.е. задавать параметры для конкретных сервисов), переопределение глобальных параметров для указанных клиентов, новые интерфейсы для плагинов, позволяющие лучше разграничивать права доступа.
Исходный код linkerd написан на Scala, опубликован на GitHub и распространяется на условиях свободной лицензии Apache License 2.0. На сайте проекта готовы инструкции по использованию linkerd вместе с Kubernetes, DC/OS и Docker.
Оригинальный разработчик продукта — компания Buoyant, которая предлагает коммерческие услуги по его использованию на предприятиях.
P.S. О том, что такое service mesh и зачем он нужен, можно прочитать в блоге компании «Флант» (перевод материала от создателей Linkerd, опубликованного к релизу 1.0).
https://m.habrahabr.ru/company/flant/blog/327536/
В минувший вторник состоялся релиз 1.0 проекта linkerd, развиваемого в рамках фонда CNCF (Cloud Native Computing Foundation) как специальный объединяющий компонент для облачных приложений.
Формально авторы linkerd называют свой продукт «сервисной сеткой» (service mesh) для родных облачных приложений. Если выражаться в более привычной терминологии, linkerd — это прозрачный прокси-сервер, добавляющий функции обнаружения сервисов, маршрутизации, обработки отказов и видимости внутри облака.
Среди его особенностей отмечаются: производительность (минимальные задержки при обработке десятков тысяч запросов в секунду одним узлом + горизонтальное масштабирование), динамические логические правила маршрутизации (с поддержкой схем для staging-площадок, отказоустойчивости и др.), встроенная служба распознавания сервисов, балансировка трафика в соответствии с нагрузкой, готовность к использованию в production даже в крупных масштабах.
Среди новых возможностей, представленных в релизе linkerd 1.0, отмечаются возможности конфигурации роутинга по сервисам (т.е. задавать параметры для конкретных сервисов), переопределение глобальных параметров для указанных клиентов, новые интерфейсы для плагинов, позволяющие лучше разграничивать права доступа.
Исходный код linkerd написан на Scala, опубликован на GitHub и распространяется на условиях свободной лицензии Apache License 2.0. На сайте проекта готовы инструкции по использованию linkerd вместе с Kubernetes, DC/OS и Docker.
Оригинальный разработчик продукта — компания Buoyant, которая предлагает коммерческие услуги по его использованию на предприятиях.
P.S. О том, что такое service mesh и зачем он нужен, можно прочитать в блоге компании «Флант» (перевод материала от создателей Linkerd, опубликованного к релизу 1.0).
https://m.habrahabr.ru/company/flant/blog/327536/
m.habrahabr.ru
Что такое service mesh и почему он мне нужен [для облачного приложения с микросервисами]?
Предисловие от переводчика: Эта неделя ознаменовалась выходом Linkerd 1.0, что является отличным поводом рассказать не только об этом продукте, но и о самой...
Istio — новый service mesh от Google, IBM и Lyft для микросервисов с поддержкой Kubernetes
Вчера компании Google, IBM и Lyft анонсировали новый Open Source-проект Istio, реализующий функции service mesh («сетки для сервисов») для приложений с микросервисной архитектурой.
Service mesh — это новая категория программного обеспечения, обретающая актуальность в связи с растущей популярностью облачных приложений (cloud native), микросервисов, контейнеров и инструментов для их оркестровки. По своей сути это выделенный слой инфраструктуры, обеспечивающий взаимодействие (доставку запросов) между сервисами, разнесёнными по контейнерам с учётом имеющейся топологии. Известная реализация службы service mesh — это проект linkerd, развиваемый фондом CNCF (Cloud Native Computing Foundation).
В основу анонсированного вчера Istio лёг другой Open Source-проект Envoy, разработанный в Lyft и написанный на языке C++11, характеризуемый как «прокси седьмого уровня (L7) и шина для взаимодействия». Envoy позволяет создавать фильтры как подключаемые плагины, работающие как на сетевом уровне (TCP/IP), так и HTTP (поддерживается и HTTP/2), поддерживает gRPC, имеет парсеры для сбора статистики в NoSQL-базы данных MongoDB и DynamoDB, поддерживает множество методов для обнаружения сервисов (Service Discovery) и балансировку нагрузки (с учётом доступности бэкенд-серверов).
Istio называется «открытой платформой для соединения микросервисов, управления ими и обеспечения безопасности». Istio позиционируется как готовое решение для решения таких актуальных для микросервисных и облачных приложений задач, как обнаружение сервисов, балансировка нагрузки, отказоустойчивость, мониторинг конечных точек, динамическая маршрутизация для экспериментальных возможностей, общая согласованность и безопасность.
В Istio для каждого сервиса разворачивается прокси-сервер Envoy как sidecar-контейнер внутри того же пода Kubernetes. Это позволяет не только изучать поведение трафика и применять нужные политики «на месте», но и разворачивать Istio в существующих инсталляциях микросервисных приложений без необходимости переписывать код или менять архитектуру. На данный момент Istio работает только с Kubernetes, но в ближайшем будущем авторы обещают добавить поддержку Cloud Foundry, Mesos и физических серверов (bare metal). Сайт проекта с подробной документацией на английском языке — https:istio.io. Исходный код Istio написан на языке Go, распространяется на условиях свободной лицензии Apache License v2 и опубликован на Github.
https://istio.io
Вчера компании Google, IBM и Lyft анонсировали новый Open Source-проект Istio, реализующий функции service mesh («сетки для сервисов») для приложений с микросервисной архитектурой.
Service mesh — это новая категория программного обеспечения, обретающая актуальность в связи с растущей популярностью облачных приложений (cloud native), микросервисов, контейнеров и инструментов для их оркестровки. По своей сути это выделенный слой инфраструктуры, обеспечивающий взаимодействие (доставку запросов) между сервисами, разнесёнными по контейнерам с учётом имеющейся топологии. Известная реализация службы service mesh — это проект linkerd, развиваемый фондом CNCF (Cloud Native Computing Foundation).
В основу анонсированного вчера Istio лёг другой Open Source-проект Envoy, разработанный в Lyft и написанный на языке C++11, характеризуемый как «прокси седьмого уровня (L7) и шина для взаимодействия». Envoy позволяет создавать фильтры как подключаемые плагины, работающие как на сетевом уровне (TCP/IP), так и HTTP (поддерживается и HTTP/2), поддерживает gRPC, имеет парсеры для сбора статистики в NoSQL-базы данных MongoDB и DynamoDB, поддерживает множество методов для обнаружения сервисов (Service Discovery) и балансировку нагрузки (с учётом доступности бэкенд-серверов).
Istio называется «открытой платформой для соединения микросервисов, управления ими и обеспечения безопасности». Istio позиционируется как готовое решение для решения таких актуальных для микросервисных и облачных приложений задач, как обнаружение сервисов, балансировка нагрузки, отказоустойчивость, мониторинг конечных точек, динамическая маршрутизация для экспериментальных возможностей, общая согласованность и безопасность.
В Istio для каждого сервиса разворачивается прокси-сервер Envoy как sidecar-контейнер внутри того же пода Kubernetes. Это позволяет не только изучать поведение трафика и применять нужные политики «на месте», но и разворачивать Istio в существующих инсталляциях микросервисных приложений без необходимости переписывать код или менять архитектуру. На данный момент Istio работает только с Kubernetes, но в ближайшем будущем авторы обещают добавить поддержку Cloud Foundry, Mesos и физических серверов (bare metal). Сайт проекта с подробной документацией на английском языке — https:istio.io. Исходный код Istio написан на языке Go, распространяется на условиях свободной лицензии Apache License v2 и опубликован на Github.
https://istio.io
Istio
A service mesh for observability, security in depth, and management that speeds deployment cycles.