Бэкапимся сразу на S3

PostgreSQL

Чтобы забэкапиться без сохранения локально, что безопасно (не сохраняется копия важной информации) и часто удобней:

pg_dump --host=some.host.us-east-1.rds.amazonaws.com --username=some_pg_user --dbname=some_db_name --compress=9 --verbose | aws --region=us-east-1 s3 cp - s3://some-bucket/my_dump.sql.gz

Дампы читаются редко, а весят много, потому добавим сохранение на STANDARD_IA:

pg_dump --host=some.host.us-east-1.rds.amazonaws.com --username=some_pg_user --dbname=some_db_name --compress=9 --verbose | aws --region=us-east-1 s3 cp - s3://some-bucket/my_dump.sql.gz --storage-class STANDARD_IA

И шифрование:

pg_dump --host=some.host.us-east-1.rds.amazonaws.com --username=some_pg_user --dbname=some_db_name --compress=9 --verbose | aws --region=us-east-1 s3 cp - s3://some-bucket/my_dump.sql.gz --storage-class STANDARD_IA --sse aws:kms

MySQL

Аналогичный вариант для MySQL с paranoid_mode=on опцией (используется shred, чтобы врагам ничего досталось):

https://github.com/sparkcodeuk/kb/tree/master/mysql/mysqldump_to_s3

#backup #s3

​​AWS Backup

Продолжая рубрику #главное на AWS за 2017-2018-2019, обязательно нужно сказать про появившийся в начале 2019-го сервис AWS Backup.

https://aws.amazon.com/backup

Он позволяет заменить кучи понаписанных своих вело-лямбд, которые выполняли каждодневные операции бэкапов основных сервисов. Теперь с помощью AWS Backup это просто и ооочень удобно.

Если за годы работы с AWS у вас появились свои решения для бэкапов и потому не обратили на него внимания — очень зря, обязательно посмотрите.

Из коробки он бэкапит EC2 виртуалки (делает амишки со всеми дисками или EBS отдельно), RDS базы данных, EFS (умеет в cold storage), диски AWS Storage Gateway и таблицы DynamoDB. Сразу можно делать копии в другие регионы, бэкапить по тэгу, настраивать расписание и прочие нужные в постоянной эксплутации вещи.

Отдельно рекомендуется начинающим — с помощью AWS Backup легко защить свои действия с инфраструктурой. А кому интересно разобраться в подробностях:

AWS re:Invent 2019: Deep dive on AWS Backup

#Backup

Мульти-аккаунтный AWS Backup:

https://aws.amazon.com/blogs/storage/managing-backups-at-scale-in-your-aws-organizations-using-aws-backup/

Для всей организации можно бэкапить средствами Амазона (на текущий момент):

→ Amazon EBS
→ Amazon EC2
→ Amazon RDS
→ Amazon Aurora
→ Amazon DynamoDB
→ Amazon EFS
→ AWS Storage Gateway

Отличная вещь, это реально круто!

#Backup

Поддержка continuous backups и Point-in-Time Recovery для AWS Backup:

https://aws.amazon.com/blogs/storage/point-in-time-recovery-and-continuous-backup-for-amazon-rds-with-aws-backup/

То есть в дополнение к снэпшотам, которые делаются с максимальной периодичностью в 1 час, теперь можно включить continuous backups и после восстановить RDS базу данных с помощью Point-in-Time Recovery в её состояние на выбранное время с точностью до 1 секунды (за последние 35 дней).

Реализуется с помощью записи всех транзакций, которые при восстановлении автоматически накатываются от времени имеющегося снэпшота до выбранного времени восстановления Point-in-Time Recovery.

Включить можно простым добававлением в backup plan строчки enable_continuous_backup: true. На данный момент доступно лишь для RDS (без поддержки Aurora).

#Backup #RDS

«Как организовать резервное копирование данных в AWS?» — хороший доклад от Михаила Голубева, Solution Architect, AWS:

https://www.youtube.com/watch?v=JX1_93A6_cY

Большая часть доклада – про AWS Backup – от обзора до примеров использования, а также текущих и будущих фичах.

Кто ещё не знаком с AWS Backup – очень стоит посмотреть и пользоваться. В моём списке важных/базовых сервисов Амазона он (AWS Backup) обязательно присутствует.

#Backup

Как использовать AWS Backup для шифрованных своим ключём (KMS CMK) баз данных RDS:

https://aws.amazon.com/blogs/architecture/field-notes-how-to-back-up-a-database-with-kms-encryption-using-aws-backup/

Нужно отметить, что нельзя сделать cross-account + cross-region бэкап копии одновремённо, а лишь либо cross-account, либо cross-region. Грозились пофиксить эту проблему ещё в прошлом году, но пока всё ещё нет.

#Backup

AWS Backup Audit Manager:

https://aws.amazon.com/ru/blogs/aws/monitor-evaluate-and-demonstrate-backup-compliance-with-aws-backup-audit-manager/

With AWS Backup Audit Manager, you can now continuously and automatically track your backup activity, such as changes to a backup plan or backup vault, and generate automatic daily reports. AWS Backup Audit Manager provides built-in, customizable, compliance controls.

#Backup

AWS Backup Vault Lock — абсолютная блокировка возможности удалить бэкап:

https://aws.amazon.com/blogs/storage/enhance-the-security-posture-of-your-backups-with-aws-backup-vault-lock/

Включение Vault Lock недоступно через AWS консоль — нужно использовать AWS CLI или SDK.

После включения блокировки даётся минимум три дня на передумать. После этого периода, если вы вдруг не задали максимальный срок хранения — станете пожизненным спонсором AWS. 😁

#Backup

​​AWS Backup для S3:

https://aws.amazon.com/blogs/aws/preview-aws-backup-adds-support-for-amazon-s3/

Добавление в ресурсы для бэкапа (Resource assignment) происходит обычным образом – перечислением конкретных (Include specific resources types), либо добавлением тэгов. При выборе через консоль конкретных бакетов, в списке будут лишь бакеты текущего региона.

Восстановить можно весь S3 бакет целиком, либо отдельные объекты. В какой-то конкретный бакет или создать новый. Можно изменить шифрование – использовать или нет.

Есть следующие опции восстановления:

• Restore time — point-in-time вариант восстановления за последние 35 дней
• Restore type — целиком бакет или выборочные файлы
• Restore destination — тот же (текущий) бакет, другой или создать новый в процессе восстановления
• Restored object encryption — восстанавливать с шифрованием или без, тем же ключом (по умолчанию) или другим

Пока это лишь preview и пока это лишь в регионе US West (Oregon) Region only.

#Backup #S3

AWS Backup для VMware:

https://aws.amazon.com/blogs/aws/new-for-aws-backup-support-for-vmware-and-vmware-cloud-on-aws/

Для бэкапа VMware виртуалок с помощью AWS Backup нужно:
1. Create a gateway to connect AWS Backup to your hypervisor.
2. Connect to your hypervisor through the gateway.
3. Assign virtual machines managed by your hypervisor to a backup plan.

В отличие от Backup для S3 - это не превью, потому доступен в большинстве регионов.

#Backup #VMware

AWS Backup for S3:

https://aws.amazon.com/blogs/storage/automate-and-centrally-manage-data-protection-for-amazon-s3-with-aws-backup/

AWS Backup for Amazon S3 is now generally available in all commercial AWS Regions where AWS Backup is available.

#Backup #S3

Backup + Redshift:

https://aws.amazon.com/blogs/aws/new-amazon-redshift-support-in-aws-backup/

#Backup #Redshift

​​How to use LAG (Logically Air-Gapped) AWS Backup:

https://aws.amazon.com/blogs/storage/building-cyber-resiliency-with-aws-backup-logically-air-gapped-vault/

• Fast recovery time due to ability to share with RAM
• Auto-lock in compliance mode with AWS-owned key encryption

#Backup