Репликация машин#

Репликация машин состоит из нескольких этапов:

Установка агентов и настройка репликации
Получение согласованных снапшотов ВМ
Обнаружение изменений на ВМ между двумя снапшотами
Отправка дельт на резервную площадку с оптимизацией и дедупликацией сетевого трафика
Хранение инкрементных резервных копий в DC в соответствии с политикой хранения снапшотов

Получение снапшотов машин и обнаружение изменений#

В зависимости от исходной платформы виртуализации консистентные снапшоты машин получаются одним из следующих способов:

в случае репликации машин из VMware с использованием внешнего агента репликации для VMware - получение снапшотов машин с Windows и Linux выполняется с помощью стандартных инструментов VMware (VMware CBT API), используя цепочку внутренних вызовов API и снапшотов, а также средства самой операционной системы машины
в случае репликации машин из oVirt с использованием внешнего агента репликации для oVirt - получение снапшотов машин выполняется с помощью стандартных инструментов oVirt. oVirt берет снапшот на старте репликации, по окончании репликации удаляет снапшот от предыдущей репликации, оставляя новый, инкрементальная реплика берется на основе определения новых блоков между двумя снапшотами. В связи с этим не рекомендуется удалять последний снапшот исходных машин. Для создания снапшотов используется oVirt API, для чтения данных - oVirt-imageio API
в случае репликации машин из OpenStack с использованием внешнего агента репликации для OpenStack - получение снапшотов машин выполняется с помощью стандартных инструментов OpenStack API. Старые образы, созданные агентом, за исключением последнего после успешной репликации, будут удалены. Чтение и получение измененных областей будет выполняться с использованием RBD-клиента Ceph для каждого снимка тома. В связи с этим не рекомендуется удалять связанные образы и последний созданный агентом снимок тома исходных компьютеров, чтобы продолжить процесс репликации в качестве инкрементальных точек восстановления.
для ВМ с Windows согласованные снапшоты получаются с помощью вызовов Volume Shadow Storage (VSS) и отслеживания изменений между двумя последовательными снапшотами
для ВМ с Linux согласованные снапшоты получаются путём вызовов к проприетарной реализации аналога снапшотов VSS для блочных устройств и отправки изменений в хранилище снапшотов

Warning

В случае репликации инфраструктуры VMware для получения консистентных снапшотов на ваших виртуальных машинах должны быть установлены VMware Tools.

Отправка дельт в хранилище. Дедупликация данных#

Дельты - это накопленные с момента последней репликации изменения.

Отправка изменений на резервную площадку осуществляется с использованием защищённого протокола HTTPS агента клиента. Также используется процесс дедупликации - клиентское приложение отправляет только те данные, которые ещё не сохранены для данного клиента, что позволяет значительно сэкономить количество передаваемых данных, снизить нагрузку на сеть и в разы ускорить репликацию машин.

В дополнение к дедупликации глобальной сети оптимизация также включает сжатие сетевого трафика.

Создание группы машин#

После создания клиента в рамках начальной настройки продукта для репликации машин перейдите на главную страницу и выберите группы машин. Группировка машин позволяет объединить их по функциональности или общим параметрам расписания репликации.

Подробнее об операциях с группами машин написано в разделе Операции с группами машин.

Настройка расписания и параметров репликации#

Как только машины появятся в списке, необходимо изменить расписание и параметры хранения репликации.
Подробнее описано в разделах Изменить расписание репликации и Изменить параметры хранения репликаций.

Warning

Обратите внимание, расписание репликаций и параметры хранения могут быть изменены глобально для клиента, для каждой отдельной группы машин или для отдельных машин.

Как только эти шаги будут выполнены, машины будут реплицированы на основе расписания и параметров, которые были установлены во время настройки.

Репликация машин и распределение между группами#

После создания групп можно приступать к репликации машин. Для этого следуйте процедуре репликации (подробнее в разделе: Защита машин) непосредственно из меню или через настройки группы, используя пункт меню Защитить новую платформу. Второй вариант автоматически выберет группу для машины на соответствующем этапе процесса репликации.

Выберите тип реплицируемой платформы.

pd_protect_flow

Дальнейшие шаги по работе с мастером загрузки репликационных агентов доступны по ссылкам:

Установка и настройка репликационного агента#

Агент VMware#

Клиент для VMware (агент VMware) — машина Linux, поставляемая в виде файла OVA, которая развертывается на каждом хосте или кластере ESXi и реплицирует машины на этих хостах или кластерах. Стандартные инструменты VMware используются для обнаружения изменений и получения дельт на виртуальных машинах (API отслеживания измененных блоков), что, в свою очередь, побуждает инструменты операционных систем (quiesce) сохранять согласованность данных внутри реплик. Каждый экземпляр агента должен иметь не менее 2 ЦП и 4 ГБ ОЗУ и должен быть развернут на каждом хосте или кластере ESXi, содержащем машины, предназначенные для репликации.

Note

Настройка уровня обнаружения в настройках конфигурации облака влияет на то, что будет обнаруживать агент: хост или кластер ESXi.

Требования#

Для успешной репликации задайте соответствующие права пользователя. Мы рекомендуем их настраивать на высоком уровне иерархии vCenter, но уровень хоста/кластера также является допустимым.

Note

Если вы настраиваете права пользователя на уровне хоста/кластера, также следует добавить разрешение только для чтения (пустую роль) на уровне датацентра в иерархии vCenter. Это разрешение должно распространяться на дочерние объекты для работы HotAdd или быть без распространения для режима NBD, хотя в последнем случае некоторые функции могут быть ограничены (например, получение информации о сетях, хранилищах, свободном пространстве и т. д.).

Дополнительно настройте разрешения, если планируете использовать транспортный режим HotAdd.

Агенту репликации для VMware требуются следующие права пользователя в vSphere (роль "VMware Consolidated Backup user" в vCenter):

Datastore - Browse
Datastore - FileManagement
Virtual machine - Change Configuration -- Disc Lease
Virtual machine - Interact -- Power On
Virtual machine - Interact -- Power Off
Virtual machine - Provisioning -- Allow read-only disk access
Virtual machine - Provisioning -- Allow virtual machine files upload
Virtual machine - Provisioning -- Allow virtual machine download
Virtual machine - Snapshot management -- Create snapshot
Virtual machine - Snapshot management -- Remove Snapshot

Разрешение на доступ к CBT необходимо для корректной работы приложения. Чтобы разрешить агенту активировацию CBT для реплицируемых машин, добавьте следующее разрешение пользователю:

Virtual machine - Change Configuration - Disc change tracking

Кроме того, рекомендуется включить следующие глобальные разрешения:

Global - Disable methods
Global - Enable methods
Global - Licenses

Note

В случае использования vCloud пользователю vCenter требуется одно дополнительное разрешение для работы: Profile-driven storage -> Profile-driven storage view

Порты для корректной работы агента:

Хост Акуры - tcp/80, tcp/443
Хост vSphere - tcp/443
Хост(ы) ESXi - tcp/udp/902
Отправка логов в Акуре - udp/12201

Агент репликации для VMware использует снапшоты VMware и VMware CBT API для создания консистентных реплик машин.

Это подразумевает следующие соображения, касающиеся хранилища VMware:

Снапшоты VMware потребляют память для сохранения буфера копирования при записи, поэтому рекомендуется иметь не менее 10% свободного места в хранилище VMware.
VMware создаёт дополнительную нагрузку на хранилище при создании снапшотов или запуске машин с существующими снапшотами.

Пожалуйста, учтите, что пороговые значения предупреждений о производительности хранилища необходимо скорректировать, чтобы справиться с возросшей нагрузкой во время репликации.

Warning

На исходной машине должны быть вручную установлены VMware Tools перед любыми процедурами репликации, чтобы она правильно отображала свою сетевую информацию в целевом VMware ESXi.

Настройка прав пользователя для транспортного режима HotAdd#

Добавьте права пользователя для использования транспортного режима HotAdd либо на уровне иерархии, где развернут агент, либо непосредственно на самом агенте, убедившись, что они установлены на требуемом уровне или выше:

Virtual machine - Change Configuration -- Add existing disk
Virtual machine - Change Configuration -- Advanced configuration
Virtual machine - Change Configuration -- Remove disk

Установка#

Первые два шага, которые необходимо пройти, чтобы успешно установить агента репликации VMware описаны в разделе Репликация машин и распределение между группами.

Шаг 3. Настройка агента#

Для успешной установки на третьем шаге достаточно выбрать группу, в которую защищаемые машины будут добавлены. Подробно о создании групп машин описано здесь. Также выберите платформу для защиты в разделе "Выберите VMware vSphere" из зарегистрированных, укажите настройки сети, нажмите "Далее".

pd_protect_flow3_vmware

В случае, если платформы для защиты нет в списке, ее нужно зарегистрировать. Сделать это можно здесь же, для этого при выборе платформы вместо "Зарегистрированный VMware vSphere" выберите "Новая VMware vSphere". Заполните все поля, предоставив сведения о регистрируемой платформе. Нажмите на значок «?» для получения подсказок о полях. После нажатия кнопки "Далее" мастер установки проверит правильность введённых данных и, в случае их корректности, переведет на следующий шаг установки.

pd_protect_flow3_vmware_new

Поле	Описание	Пример
Название облака	Название облака, которое будет отображаться в пользовательском интерфейсе. Название должно быть уникальным.	cloud
Точка доступа	Точка доступа к облаку	cloud.example.ru
Логин	Логин пользователя	username
Пароль	Пароль пользователя для доступа к целевому облаку	password
Только quiesce-снапшоты	По умолчанию агент попытается создать quiesce-снапшот машины, в случае неудачи будет создан обычный снапшот. Если флажок установлен, то в случае неудачи снапшот создан не будет.	выключен
Поиск машин на уровне кластера	Включить поиск машин на уровне кластера. Если не отмечено, поиск будет производиться на уровне хоста.	выключен
При запуске репликации	Используйте эту настройку, чтобы выключить или включить исходную виртуальную машину при запуске репликации	Без действия
По окончанию репликации	Используйте эту настройку, чтобы выключить или включить исходную виртуальную машину по окончанию репликации	Без действия
Ограничение хранилища для диска машины	Запустить репликацию только если на хранилище есть место в Х процентов от текущего размера диска (0 – не ограничено)	0 или пусто
Ограничение минимального свободного места хранилища	Запустить репликацию только если на хранилище есть место в Х процентов (0 – не ограничено)	0 или пусто
Сжатие VDDK	Использовать сжатие VDDK. Выберите нужный вариант из списка: No compression, zlib, fastlz, skipz.	No compression
Имя хоста/кластера	Имя хоста или кластера ESX. Ввод значения в это поле включает расширенный механизм Discover.	пусто
Режим передачи VDDK	Выберите режим передачи VDDK	NBD:NBDSSL
Параллельная выгрузка дисков	Включите параллельную выгрузку дисков. При выключенной выгрузке все диски исходной машины выгружаются по очереди. При включенной – параллельно. Включение настройки повышает требуемый объем оперативной памяти для репликационного агента.	выключен
Фильтровать ВМ по префиксам имен	Включите, чтобы искать только ВМ с именами, начинающимися на префиксы из списка.	выключен
Фильтр префиксов имен	Активно, если включен “Фильтровать ВМ по префиксам имен”. Список префиксов имен с разделителями-запятыми.	WIN_,TEST_
Фильтровать ВМ по пользовательским атрибутам	Включите, чтобы искать только ВМ, содержащие указанные пользовательские атрибуты. Обратите внимание, что пользовательские атрибуты не поддерживаются в ESXi: требуется точка доступа vCenter.	выключен
Фильтр пользовательских атрибутов	Активно, если включен “Фильтровать ВМ по пользовательским атрибутам”. Список пользовательских атрибутов в формате ключ=значение с разделителями-запятыми.	TYPE=TEST,TYPE=PROD

Отдельно обратите внимание на поля "При запуске репликации", "По окончанию репликации". Эта настройка позволяет выключить или включить исходную виртуальную машину при запуске/окончании репликации. По умолчанию установлено значение "Без действия": состояние машины изменяться не будет.

pd_protect_flow3_vmware_onstartstop

Включите «Фильтровать ВМ по префиксам имен» и «Фильтровать ВМ по пользовательским атрибутам», когда необходимо ограничить количество устройств для репликации. Используйте фильтры как вместе, так и по отдельности.

Правила использования фильтров:

Если необходимо обнаружить ВМ с несколькими префиксами, укажите их в виде строки, разделённой запятыми.
Если фильтры не используются (оба флажка сняты), будут обнаружены все ВМ в соответствии с другими настройками.
Если хотя бы один фильтр включён, но его поле ввода пустое, ни одна ВМ не будет обнаружена.
Фильтры не могут содержать специальные символы, такие как запятые (","), слэши ("/") и т. д., а также не должны заканчиваться пробелами.
Для получения результата, убедитесь, что ключи и значения заданы корректно.
Для пользовательских атрибутов требуется точное совпадение как ключей, так и значений.
Если заданы оба фильтра (префиксы и пользовательские атрибуты), будут обнаружены только те ВМ, которые соответствуют обоим условиям (т.е. пересечению отфильтрованных наборов).
Репликационный агент для VMware получает обновлённые настройки для соответствующего облачного источника при следующем heartbeat (примерно каждые 30 секунд по умолчанию).

Чтобы включить фильтрацию ВМ по атрибутам, задайте их для исходных ВМ в vCenter:

1. Откройте страницу виртуальной машины.

2. Перейдите в Actions → Tags & Custom Attributes → Edit Custom Attributes.

3. Если атрибут уже существует — задайте или измените его значение. В противном случае добавьте новый атрибут (тип: Virtual machine), указав его имя и значение.

Дополнительно реальзована возможность указать статичные настройки сети. Переключите "Настройки агента сети" в "Статичные настройки" и заполните поля.

pd_protect_flow3_vmware_settings

Поле	Описание	Пример
IP агента	IP адрес агента	172.22.6.230
Маска подсети	Маска подсети агента	255.255.0.0
Шлюз	Шлюз агента	172.22.1.2
DNS servers	DNS сервера агента. Можно указать несколько адресов через запятую.	1.1.1.1, 2.2.2.2

Шаг 4. Инструкции по защите#

На четвертым шаге находится кнопка "Загрузка агента" и приведена инструкция по защите. Для успешной установки агента отнеситесь внимательно к инструкции на экране:

Скачайте ova-файл, нажав на кнопку "Загрузка агента", и установите его на каждый из ESXi хостов в вашем VMware кластере, который необходимо защитить.
Запустите виртуальные машины (агенты) из ova-файла на каждом из ESXi хостов.

pd_protect_flow4_vmware

После установки и запуска агентов, в течение нескольких минут все машины внутри vSphere появятся в списке машин указанной группы. По умолчанию, все добавленные машины будут переведены в статус "Незащищено", Вам необходимо самостоятельно выбрать для каких машин в vSphere необходимо активировать защиту через пункт меню "Действия -> Запустить защиту".

Повторно скачать файл агента можно на странице клиента Управление облаками.

ВМ агента должна иметь не менее 2 ЦПУ и 4 ГБ ОЗУ и должна быть развёрнута на каждом из хостов ESXi, на которых есть машины, предназначенные для репликации.

Note

VMware vSphere может выдавать предупреждение о наличии неизвестного параметра конфигурации для виртуальной машины. Служебный параметр "hvragent" добавлен намеренно и не представляет угрозы безопасности.

Настройка агента VMware#

Агент предоставляет возможность пользователям менять настройки сети, IP адреса и конфигурационные файлы. Для этого реализован специальный интерфейс (далее TUI). Он запускается автоматически при старте машины, на которой установлен агент.

ao_tui_cabrio_main

В окне TUI выводится ID агента (в формате ID агента/облака@ID клиента), информация о подключениях и лог работы программы. В нижней части окна располагаются две кнопки: To console и Agent options, которые откроют окна для редактирования настроек. В первом случае запустится командная строка, во втором - меню терминального интерфейса.

Note

Мы настоятельно рекомендуем вам выбирать Agent options как более безопасный вариант работы.

Системой предусмотрена возможность получить доступ к терминалу по ssh. Для аутентификации используйте стандартного пользователя user c паролем px%96jA-8zX{, либо ssh-ключ, если он указан в настройках облака. Обратите внимание, что при доступе по ssh в TUI появится дополнительная кнопка Exit console, используйте ее для корректного завершения сессии.

Описание работы в консоли#

To console запустит консоль, на экране которой будет выведен список доступных команд. Используйте их для изменения настроек агента. Для завершения работы с консолью введите exit.

ao_tui_cabrio_console

Чтобы изменить имя хоста, используйте команду sudo vi /etc/hostname либо sudo nano /etc/hostname.

Note

Перезапустите машину, чтобы изменения вступили в силу.

Журналы работы агента хранятся в "/var/log/cabrio/cabrio.log".

Описание работы c Agent options#

Note

Мы рекомендуем вам именно этот способ работы как более безопасный.

При выборе Agent options запускается терминальный интерфейс.

ao_tui_cabrio_agentoptions

Warning

Выполненные здесь изменения могут автоматически перезапустить сервисы, прервав все запущенные задания. Вносите изменения в конфигурацию агента, когда он не используется.

1. Restart agent services. Процесс перезапуска сервисов агента потребует повторного подтверждения и начнется сразу после его получения, успешность перезапуска можно будет отследить по логам в главном окне.

2. Enable/disable debug logging позволяет добавить/убрать из лога debug информацию. По умолчанию не отображается.

3. Edit network запустит NetworkManager TUI, в котором можно просматривать и редактировать текущие настройки сети.

ao_tui_cabrio_NM

4. Edit hosts запускает окно текстового редактора GNU nano, для редактирования данных, хранящихся в /etc/hosts. Используйте этот пункт, если необходимо добавить или удалить DNS-имя.

ao_tui_cabrio_hosts

5. Edit controller addresses используется для обновления IP адресов и портов. При нажатии появляется меню, позволяющее поменять IP для всего контроллера (Update all addresses at once) или URL отдельных ресурсов (Update individual addresses).

ao_tui_cabrio_addresses

Позволяет обновить IP адрес самого контроллера (Update all addresses at once):

ao_tui_cabrio_addresses_01

или изменить выборочно restAPI, receiver, report, stash или logstash IP (Update individual addresses):

ao_tui_cabrio_addresses_02

6. Edit agent common config открывает для редактирования файл конфигурации агента в текстовом редакторе GNU nano. В этом файле хранятся адреса контроллера, которые также можно изменить через пункт меню 5. Edit controller addresses, и ряд дополнительных параметров.

ao_tui_cabrio_06

Warning

Не вносите изменения в поля role и cloud_type.

7. Edit agent service config открывает для редактирования файл конфигурации сервиса в текстовом редакторе GNU nano.

ao_tui_cabrio_07

Note

Содержимое файла будет отличаться в зависимости от вида установленного агента.