Kafka и OpenSearch в базах данных

Ваши идеи очень любит наша команда разработки 😎

А мы любим радовать вас готовыми обновлениями. На этот раз добавили поддержку Kafka и OpenSearch в базах данных. Но обо всем по порядку.

Зачем нужен OpenSearch?

OpenSearch — это комплект поисковых и аналитических ресурсов для анализа журналов, мониторинга приложений в режиме реального времени. Распространяется по лицензии Apache 2.0.

Что умеет?

Отлично работает с данными и позволяет их: получать, защищать, искать, агрегировать, просматривать, анализировать.

Одним словом, настоящее комбо — с легкостью решает множество задач.

Зачем нужен Kafka?

Apache Kafka — это брокер сообщений. Его основная задача — быть посредником, дипломатично взаимодействовать с другими системами и обрабатывать потоки данных в режиме реального времени.

Принцип работы Kafka схож с тем, как работает почтовая система: одни сервисы передают туда письма-сообщения, другие — их получают.

Хочу попробовать →

Добавили SDK для нашего API

Позаботились о том, чтобы вы могли ускорить разработку приложений 😎 Для этого подготовили SDK — пакет полезных инструментов к Timeweb Cloud API.

Что такое SDK и зачем это нужно?

SDK — готовые функции для использования Timeweb Cloud API на разных языках.

• Помогают упростить работу с API.

• Вы можете взять набор готовых функций над методами API и быстренько внедрить сервис.

• Как пример, SDK поможет автоматизировать создание новых серверов или привязку новых доменов к S3-бакетам.

Как это работает у нас?

• Каждый раз при обновлении методов API автоматически генерируется новая версия SDK.

• Сейчас поддерживаются языки javascript, typescript, php, go, python и java.

• Для каждого языка в нашем Гитхабе появился отдельный публичный репозиторий.

Вот пример для go. Пользуйтесь на здоровье 😉

А вот и лучшие гайды сентября

Sentry для отслеживания ошибок. Смотреть логи — хорошо; собирать логи по всем сервисам — отлично; а собирать все логи и сразу видеть выводы — топ, кайф и красота 😎

Что такое облачные вычисления. Пройдемся по матчасти: что это, какие бывают типы и модели, какие недостатки и преимущества 🤖

Как удалить пользователя Linux. С помощью команд deluser и userdel в терминале — легко 🏋️

Как хранить пароли с помощью PostgreSQL. Но так, чтобы безопасно и с хешированием 🦾

* * *

⚠️ Канал с актуальными новостями про DDoS →

Делимся продуктовым роадмапом Клауда

Отдел разработки, пользуясь случаем, передает привет и рассказывает о планах по релизам 💻

В ближайшее время ожидаем много важных обновлений. Вот над чем сейчас трудится команда.

⚙️ RabbitMQ. Скоро в облаке Timeweb Cloud появится еще один брокер сообщений с открытым исходным кодом, помимо Kafka. Он работает на базе протокола AMQP и заботится о том, чтобы обмен данными между разными компонентами был гибким и надежным. А ещё следит за прочитанными сообщениями и удаляет их из очереди.

Когда: через одну-две недели

🏠 ClickHouse. Это колоночная СУБД с открытым кодом для онлайн-обработки аналитических запросов, исследовательской работы и real-time-отчетов. Может хранить и обрабатывать петабайты данных, отличается высокой производительностью и отказоустойчивостью. Поддерживает декларативный язык запросов на основе SQL.

Когда: через две–три недели

💸 Ссылка на оплату. Добавим ссылку для внесения платежа на страницу оплаты. Ее может скопировать любой пользователь, отправить приятелю, коллеге, кому угодно. Перейдя по ссылке, вы будете перенаправлены на страницу платежного шлюза с конкретной суммой оплаты.

Когда: через две–три недели

🌐 Float IP. Добавим плавающий IP-адрес, который можно переключать между различными сервисами в одной зоне доступности. Появится возможность создавать, удалять и передавать Float IP между облачными серверами, базами данных, балансировщиками. А чуть позже — Kubernetes.

Когда: через две–три недели

🖥 Единый раздел «Сети». В ближайшее время помимо Float IP зарелизим еще несколько сетевых фич, и соберем все сетевые сервисы в отдельном разделе нашей панели. А когда все сервисы находятся под рукой, управлять инфраструктурой сети будет удобнее.

Пока мы готовим релизы, напишите в комментариях, что из запланированного вы ждете больше всего?

* * *

А про DDoS рассказываем тут →

Скачивать файлы, не зная, что там внутри, — занятие сомнительное 👀
Поэтому мы добавили к почте возможность предварительного просмотра содержимого.

Когда использовать?

• Вы получили письмо со вложенными файлами — прежде, чем скачать документы или изображения, их можно просмотреть.

• Вы создаете новое письмо — и здесь можно увидеть содержимое вложения.

Как это работает?

Чтобы ознакомиться с PDF-документом или прикрепленной картинкой, нужно всего лишь кликнуть по иконке просмотра. Файл откроется в отдельном окне браузера. Удобно, не правда ли? 😎

Зайдите в почту, зацените→

* * *
Актуальное про DDoS →

Неделя заканчивается, а значит настало время наших регулярных подборок 😎 Вместо осенней хандры – ловите полезные гайды по Windows.

Bat-файлы: создание, настройка и основные команды — собрали исчерпывающее чтиво по работе с «батниками». Внутри много практических примеров со скринами и пояснениями.

Как сгенерировать SSH-ключ для Windows — рассматриваем варианты для клиентов OpenSSh и PuTTY. А также напоминаем, чем публичный ключ отличается от приватного.

Как настроить роль FTP в Windows Server 2019. Пошаговый гайд из которого вы узнаете, как создать FTP-сервер, настроить учетные записи пользователей и соединиться с файловым хранилищем.

Знакомство с RDP. Разбираемся, что это за протокол, для чего используется, как работает.

RDP другими словами. Знакомимся с историей появления терминального сервера. Разбираем архитектуру, плюсы и минусы, и самое важное – зачем вообще всё это нужно.

RDP: разбор и исправление ошибок. А здесь подсвечиваем ошибку и две типовые проблемы, которые возникают при подключении к удаленному рабочему столу. Несколько полезных how to помогут избавиться от них раз и навсегда.

* * *

А новости про DDoS тут →

Решили пополнить список для чтения 🙂
Вдогонку к гайдам запускаем регулярную рубрику с подборкой лучших статей на Хабре. В этот раз — топ-посты октября. Читайте, делитесь с друзьями, оставляйте комментарии.

Эти кристаллы доживают последние деньки
Разбираемся, почему мощные процессоры и видеокарты середины нулевых умирают. Вы узнаете, как продлить жизнь старому топовому железу, как «воскресить» видеочип на некоторое время и что же такого крутого было в ноутбуках прошлых лет.

«Глупый» электросчетчик VS умный дом
Однажды наш коллега захотел подключить свой узел учета электрической энергии к системе умного дома Home Assistant. Но вот беда, установленный счетчик «Энергомера СЕ101» не обладал смарт-функциями. Выход нашелся и всего за 5 $.

Как создать API в облаке менее чем в 200 строках кода
Современные облачные инструменты и пакеты Python стали настолько мощными, что с их помощью можно создать масштабируемый облачный API менее чем в 200 строках кода. В статье рассказываем, как при помощи lines Google Cloud, Terraform и FastAPI развернуть полноценный облачный API.

Оживляем тахометр из кабины «Боинга»
Автор этой статьи — фанат «Расследований авиакатастроф» — частенько задумывался о том, как бы получить в коллекцию что-то из авиационных приборов. И ему повезло не только раздобыть один такой экземпляр, но и подключить. Подробнее читайте в статье.

40 лет GNU
Как известно, не все проекты становятся успешными, но многие из них входят в историю. В статье рассказываем о том, как зародилась идея разработки свободного ПО Unix-подобной операционной системы и какую роль в этом сыграл плохо работающий принтер.

* * *
Канал про DDoS тут →

Digest as a Product: как рассказывать про новые фичи регулярно, много, френдли — и без подвигов

Радуем вас (хочется верить 🙃) стильным дайджестом уже полтора года. А теперь руки добрались и до кейса. Рассказали, как мы поставили выпуск дайджестов на поток — как делать его регулярно, без суеты и не умирая в начале каждого месяца.

Позже еще выйдет вторая часть со статистикой: было, стало, клики, переходы, подписки — всё, как на VC любят.

Читать кейс →

Осень — пора автоматизации. Не знаем, как у других, но у нас точно 🚀
В сентябре мы добавили cloud-init для виртуальных машин. Это позволило автоматизировать настройку новых облачных серверов как при их первом запуске, так и после перезагрузки.

А теперь cloud-init поддерживается в Terraform.
Это значит, что настройками ВМ можно управлять на уровне всей инфраструктуры. Сценарии, которые вы указываете для агента cloud-init, становятся доступными для использования в Terraform.

Вам не нужно входить в экземпляр каждого сервера, чтобы создать пользователей, установить необходимое ПО, определить переменные окружения или включить нужные параметры безопасности. Теперь это легко контролируемая история.

Начать использовать Terraform →

CI/CD, Jenkins, GitLab Runner — что их объединяет?

Конечно же, регулярный гайд, который мы с радостью для вас подготовили 🙂

Ловите подборку статей по теме — уверены, вам пригодится.

Пайплайн CI/CD. Рассказываем, что это такое и как применяется в разработке. Сначала погружаемся в теорию, знакомимся с инструментами и переходим к практике. В конце делимся примерами, чтобы шлифануть ими полученные знания.

GitLab Runner. Собрали подробную инструкцию о том, как установить GitLab Runner в Docker и запустить тестовый проект. В целом процесс несложный: сначала выполняем предварительные требования, а потом устанавливаем, регистрируем и используем GitLab Runner при запуске pipeline.

Jenkins. Показываем, как установить и настроить систему с открытым исходным кодом на Ubuntu, Windows, CentOS. А все для чего? Чтобы автоматизировать тестирование, сборку и развертывание ПО. Показываем экранами в формате next, next и командами, как это принято в unix-подобных ОС.