Бэкапимся сразу на S3
PostgreSQL
Чтобы забэкапиться без сохранения локально, что безопасно (не сохраняется копия важной информации) и часто удобней:
Дампы читаются редко, а весят много, потому добавим сохранение на STANDARD_IA:
И шифрование:
MySQL
Аналогичный вариант для MySQL с paranoid_mode=on опцией (используется
https://github.com/sparkcodeuk/kb/tree/master/mysql/mysqldump_to_s3
#backup #s3
PostgreSQL
Чтобы забэкапиться без сохранения локально, что безопасно (не сохраняется копия важной информации) и часто удобней:
pg_dump --host=some.host.us-east-1.rds.amazonaws.com --username=some_pg_user --dbname=some_db_name --compress=9 --verbose | aws --region=us-east-1 s3 cp - s3://some-bucket/my_dump.sql.gz
Дампы читаются редко, а весят много, потому добавим сохранение на STANDARD_IA:
pg_dump --host=some.host.us-east-1.rds.amazonaws.com --username=some_pg_user --dbname=some_db_name --compress=9 --verbose | aws --region=us-east-1 s3 cp - s3://some-bucket/my_dump.sql.gz --storage-class STANDARD_IA
И шифрование:
pg_dump --host=some.host.us-east-1.rds.amazonaws.com --username=some_pg_user --dbname=some_db_name --compress=9 --verbose | aws --region=us-east-1 s3 cp - s3://some-bucket/my_dump.sql.gz --storage-class STANDARD_IA --sse aws:kms
MySQL
Аналогичный вариант для MySQL с paranoid_mode=on опцией (используется
shred
, чтобы врагам ничего досталось):https://github.com/sparkcodeuk/kb/tree/master/mysql/mysqldump_to_s3
#backup #s3
Amazon
Классы хранилищ объектов – Amazon S3
AWS Backup
Продолжая рубрику #главное на AWS за 2017-2018-2019, обязательно нужно сказать про появившийся в начале 2019-го сервис AWS Backup.
https://aws.amazon.com/backup
Он позволяет заменить кучи понаписанных своих вело-лямбд, которые выполняли каждодневные операции бэкапов основных сервисов. Теперь с помощью AWS Backup это просто и ооочень удобно.
Если за годы работы с AWS у вас появились свои решения для бэкапов и потому не обратили на него внимания — очень зря, обязательно посмотрите.
Из коробки он бэкапит EC2 виртуалки (делает амишки со всеми дисками или EBS отдельно), RDS базы данных, EFS (умеет в cold storage), диски AWS Storage Gateway и таблицы DynamoDB. Сразу можно делать копии в другие регионы, бэкапить по тэгу, настраивать расписание и прочие нужные в постоянной эксплутации вещи.
Отдельно рекомендуется начинающим — с помощью AWS Backup легко защить свои действия с инфраструктурой. А кому интересно разобраться в подробностях:
AWS re:Invent 2019: Deep dive on AWS Backup
#Backup
Продолжая рубрику #главное на AWS за 2017-2018-2019, обязательно нужно сказать про появившийся в начале 2019-го сервис AWS Backup.
https://aws.amazon.com/backup
Он позволяет заменить кучи понаписанных своих вело-лямбд, которые выполняли каждодневные операции бэкапов основных сервисов. Теперь с помощью AWS Backup это просто и ооочень удобно.
Если за годы работы с AWS у вас появились свои решения для бэкапов и потому не обратили на него внимания — очень зря, обязательно посмотрите.
Из коробки он бэкапит EC2 виртуалки (делает амишки со всеми дисками или EBS отдельно), RDS базы данных, EFS (умеет в cold storage), диски AWS Storage Gateway и таблицы DynamoDB. Сразу можно делать копии в другие регионы, бэкапить по тэгу, настраивать расписание и прочие нужные в постоянной эксплутации вещи.
Отдельно рекомендуется начинающим — с помощью AWS Backup легко защить свои действия с инфраструктурой. А кому интересно разобраться в подробностях:
AWS re:Invent 2019: Deep dive on AWS Backup
#Backup
Мульти-аккаунтный AWS Backup:
https://aws.amazon.com/blogs/storage/managing-backups-at-scale-in-your-aws-organizations-using-aws-backup/
Для всей организации можно бэкапить средствами Амазона (на текущий момент):
→ Amazon EBS
→ Amazon EC2
→ Amazon RDS
→ Amazon Aurora
→ Amazon DynamoDB
→ Amazon EFS
→ AWS Storage Gateway
Отличная вещь, это реально круто!
#Backup
https://aws.amazon.com/blogs/storage/managing-backups-at-scale-in-your-aws-organizations-using-aws-backup/
Для всей организации можно бэкапить средствами Амазона (на текущий момент):
→ Amazon EBS
→ Amazon EC2
→ Amazon RDS
→ Amazon Aurora
→ Amazon DynamoDB
→ Amazon EFS
→ AWS Storage Gateway
Отличная вещь, это реально круто!
#Backup
Amazon
Managing backups at scale in your AWS Organizations using AWS Backup | Amazon Web Services
Customers want the ability to have a standardized way to manage their backups at scale with AWS Backup and their AWS Organizations. AWS Backup offers a centralized, managed service to back up data across AWS services in the cloud and on premises using AWS…
Поддержка continuous backups и Point-in-Time Recovery для AWS Backup:
https://aws.amazon.com/blogs/storage/point-in-time-recovery-and-continuous-backup-for-amazon-rds-with-aws-backup/
То есть в дополнение к снэпшотам, которые делаются с максимальной периодичностью в 1 час, теперь можно включить continuous backups и после восстановить RDS базу данных с помощью Point-in-Time Recovery в её состояние на выбранное время с точностью до 1 секунды (за последние 35 дней).
Реализуется с помощью записи всех транзакций, которые при восстановлении автоматически накатываются от времени имеющегося снэпшота до выбранного времени восстановления Point-in-Time Recovery.
Включить можно простым добававлением в backup plan строчки
#Backup #RDS
https://aws.amazon.com/blogs/storage/point-in-time-recovery-and-continuous-backup-for-amazon-rds-with-aws-backup/
То есть в дополнение к снэпшотам, которые делаются с максимальной периодичностью в 1 час, теперь можно включить continuous backups и после восстановить RDS базу данных с помощью Point-in-Time Recovery в её состояние на выбранное время с точностью до 1 секунды (за последние 35 дней).
Реализуется с помощью записи всех транзакций, которые при восстановлении автоматически накатываются от времени имеющегося снэпшота до выбранного времени восстановления Point-in-Time Recovery.
Включить можно простым добававлением в backup plan строчки
enable_continuous_backup: true
. На данный момент доступно лишь для RDS (без поддержки Aurora).#Backup #RDS
Amazon
Point-in-time recovery and continuous backup for Amazon RDS with AWS Backup | Amazon Web Services
Today, AWS Backup is announcing support for continuous backup and point-in-time recovery (PITR) of Amazon Relational Database Service (Amazon RDS). This feature enables customers to recover Amazon RDS backup data from a specified time within their retention…
«Как организовать резервное копирование данных в AWS?» — хороший доклад от Михаила Голубева, Solution Architect, AWS:
https://www.youtube.com/watch?v=JX1_93A6_cY
Большая часть доклада – про AWS Backup – от обзора до примеров использования, а также текущих и будущих фичах.
Кто ещё не знаком с AWS Backup – очень стоит посмотреть и пользоваться. В моём списке важных/базовых сервисов Амазона он (AWS Backup) обязательно присутствует.
#Backup
https://www.youtube.com/watch?v=JX1_93A6_cY
Большая часть доклада – про AWS Backup – от обзора до примеров использования, а также текущих и будущих фичах.
Кто ещё не знаком с AWS Backup – очень стоит посмотреть и пользоваться. В моём списке важных/базовых сервисов Амазона он (AWS Backup) обязательно присутствует.
#Backup
YouTube
Как организовать резервное копирование данных в AWS?
В современном мире, пожалуй, все понимают важность регулярных бэкапов. Но как всё правильно организовать, если вы пользуетесь большим количеством сервисов AWS в разных регионах и разных аккаунтах? В этом вебинаре мы рассмотрим, как наиболее эффективно настроить…
Как использовать AWS Backup для шифрованных своим ключём (KMS CMK) баз данных RDS:
https://aws.amazon.com/blogs/architecture/field-notes-how-to-back-up-a-database-with-kms-encryption-using-aws-backup/
Нужно отметить, что нельзя сделать cross-account + cross-region бэкап копии одновремённо, а лишь либо cross-account, либо cross-region. Грозились пофиксить эту проблему ещё в прошлом году, но пока всё ещё нет.
#Backup
https://aws.amazon.com/blogs/architecture/field-notes-how-to-back-up-a-database-with-kms-encryption-using-aws-backup/
Нужно отметить, что нельзя сделать cross-account + cross-region бэкап копии одновремённо, а лишь либо cross-account, либо cross-region. Грозились пофиксить эту проблему ещё в прошлом году, но пока всё ещё нет.
#Backup
Amazon
Field Notes: How to Back Up a Database with KMS Encryption Using AWS Backup | Amazon Web Services
An AWS security best practice from The 5 Pillars of the AWS Well-Architected Framework is to ensure that data is protected both in transit and at rest. One option is to use SSL/TLS to encrypt data in transit, and use cryptographic keys to encrypt data at…
AWS Backup Audit Manager:
https://aws.amazon.com/ru/blogs/aws/monitor-evaluate-and-demonstrate-backup-compliance-with-aws-backup-audit-manager/
#Backup
https://aws.amazon.com/ru/blogs/aws/monitor-evaluate-and-demonstrate-backup-compliance-with-aws-backup-audit-manager/
With AWS Backup Audit Manager, you can now continuously and automatically track your backup activity, such as changes to a backup plan or backup vault, and generate automatic daily reports. AWS Backup Audit Manager provides built-in, customizable, compliance controls.
#Backup
Amazon
Monitor, Evaluate, and Demonstrate Backup Compliance with AWS Backup Audit Manager | Amazon Web Services
Today, I’m happy to announce the availability of AWS Backup Audit Manager, a new feature of AWS Backup that helps you monitor and evaluate the compliance status of your backups to meet business and regulatory requirements, and enables you to generate reports…
AWS Backup Vault Lock — абсолютная блокировка возможности удалить бэкап:
https://aws.amazon.com/blogs/storage/enhance-the-security-posture-of-your-backups-with-aws-backup-vault-lock/
Включение Vault Lock недоступно через AWS консоль — нужно использовать AWS CLI или SDK.
После включения блокировки даётся минимум три дня на передумать. После этого периода, если вы вдруг не задали максимальный срок хранения — станете пожизненным спонсором AWS. 😁
#Backup
https://aws.amazon.com/blogs/storage/enhance-the-security-posture-of-your-backups-with-aws-backup-vault-lock/
Включение Vault Lock недоступно через AWS консоль — нужно использовать AWS CLI или SDK.
После включения блокировки даётся минимум три дня на передумать. После этого периода, если вы вдруг не задали максимальный срок хранения — станете пожизненным спонсором AWS. 😁
#Backup
AWS Backup для S3:
https://aws.amazon.com/blogs/aws/preview-aws-backup-adds-support-for-amazon-s3/
Добавление в ресурсы для бэкапа (Resource assignment) происходит обычным образом – перечислением конкретных (Include specific resources types), либо добавлением тэгов. При выборе через консоль конкретных бакетов, в списке будут лишь бакеты текущего региона.
Восстановить можно весь S3 бакет целиком, либо отдельные объекты. В какой-то конкретный бакет или создать новый. Можно изменить шифрование – использовать или нет.
Есть следующие опции восстановления:
• Restore time — point-in-time вариант восстановления за последние 35 дней
• Restore type — целиком бакет или выборочные файлы
• Restore destination — тот же (текущий) бакет, другой или создать новый в процессе восстановления
• Restored object encryption — восстанавливать с шифрованием или без, тем же ключом (по умолчанию) или другим
Пока это лишь preview и пока это лишь в регионе
#Backup #S3
https://aws.amazon.com/blogs/aws/preview-aws-backup-adds-support-for-amazon-s3/
Добавление в ресурсы для бэкапа (Resource assignment) происходит обычным образом – перечислением конкретных (Include specific resources types), либо добавлением тэгов. При выборе через консоль конкретных бакетов, в списке будут лишь бакеты текущего региона.
Восстановить можно весь S3 бакет целиком, либо отдельные объекты. В какой-то конкретный бакет или создать новый. Можно изменить шифрование – использовать или нет.
Есть следующие опции восстановления:
• Restore time — point-in-time вариант восстановления за последние 35 дней
• Restore type — целиком бакет или выборочные файлы
• Restore destination — тот же (текущий) бакет, другой или создать новый в процессе восстановления
• Restored object encryption — восстанавливать с шифрованием или без, тем же ключом (по умолчанию) или другим
Пока это лишь preview и пока это лишь в регионе
US West (Oregon) Region only
.#Backup #S3
AWS Backup для VMware:
https://aws.amazon.com/blogs/aws/new-for-aws-backup-support-for-vmware-and-vmware-cloud-on-aws/
Для бэкапа VMware виртуалок с помощью AWS Backup нужно:
1. Create a gateway to connect AWS Backup to your hypervisor.
2. Connect to your hypervisor through the gateway.
3. Assign virtual machines managed by your hypervisor to a backup plan.
В отличие от Backup для S3 - это не превью, потому доступен в большинстве регионов.
#Backup #VMware
https://aws.amazon.com/blogs/aws/new-for-aws-backup-support-for-vmware-and-vmware-cloud-on-aws/
Для бэкапа VMware виртуалок с помощью AWS Backup нужно:
1. Create a gateway to connect AWS Backup to your hypervisor.
2. Connect to your hypervisor through the gateway.
3. Assign virtual machines managed by your hypervisor to a backup plan.
В отличие от Backup для S3 - это не превью, потому доступен в большинстве регионов.
#Backup #VMware
Amazon
New for AWS Backup – Support for VMware and VMware Cloud on AWS | Amazon Web Services
Today, I am happy to announce AWS Backup support for VMware, a new capability that enables you to centralize and automate data protection of virtual machines (VMs) running on VMware on premises and VMware CloudTM on AWS. You can now use a single, centrally…
AWS Backup for S3:
https://aws.amazon.com/blogs/storage/automate-and-centrally-manage-data-protection-for-amazon-s3-with-aws-backup/
#Backup #S3
https://aws.amazon.com/blogs/storage/automate-and-centrally-manage-data-protection-for-amazon-s3-with-aws-backup/
AWS Backup for Amazon S3 is now generally available in all commercial AWS Regions where AWS Backup is available.
#Backup #S3
Amazon
Automate and centrally manage data protection for Amazon S3 with AWS Backup | Amazon Web Services
Customers globally, especially in regulated industries, require centralized protection and demonstrable compliance for their application data. Centralized data protection and enhanced visibility across backup operations can reduce the risks of costly disasters…
Backup + Redshift:
https://aws.amazon.com/blogs/aws/new-amazon-redshift-support-in-aws-backup/
#Backup #Redshift
https://aws.amazon.com/blogs/aws/new-amazon-redshift-support-in-aws-backup/
#Backup #Redshift
Amazon
New – Amazon Redshift Support in AWS Backup | Amazon Web Services
With Amazon Redshift, you can analyze data in the cloud at any scale. Amazon Redshift offers native data protection capabilities to protect your data using automatic and manual snapshots. This works great by itself, but when you’re using other AWS services…
How to use LAG (Logically Air-Gapped) AWS Backup:
https://aws.amazon.com/blogs/storage/building-cyber-resiliency-with-aws-backup-logically-air-gapped-vault/
• Fast recovery time due to ability to share with RAM
• Auto-lock in compliance mode with AWS-owned key encryption
#Backup
https://aws.amazon.com/blogs/storage/building-cyber-resiliency-with-aws-backup-logically-air-gapped-vault/
• Fast recovery time due to ability to share with RAM
• Auto-lock in compliance mode with AWS-owned key encryption
#Backup