Виртуализация. Настройка кластера Proxmox VE часть 3(установка и начальная настройка Ceph)

Первоисточник  здесь

Инициализация

Для установки Ceph обязательно проделать процедуру отключения платного репозитория и подключение бесплатного, описанную здесь , после чего на всех нодах необходимо выполнить
pveceph install
и на одной из них
pveceph init сеть_Ceph/маска (например 10.10.10.0/24)

Подготовка дисков

Заходим в веб-интепфейсе на вкдладку "Disks" нашего узла (напиример Pve1) и смотрим наши диски:

нас интересуют имена устройств, после чего подключаемся по SSH к нашему узлу и проделываем следующие процедуры: 

dd if=/dev/zero of=/dev/sd[X] bs=1M count=1024
ceph-disk zap /dev/sd[X]

таким образом мы убиваем все предыдущие разметки дисков, если диски раньше не использовались, процедуру можно пропустить.

Создание OSD

Теперь необходимо из наших устройств создать Object Storage Daemon (OSD), для чего, используя веб-интерфейс, идем во вкладку Seph->OSD и жмем кнопку <Создать: OSD>

Выбираем диск, жмем "Создать" и наблюдаем процесс:

спустя время появляется наш OSD:

Проделываем процедуру для остальных дисков узла и для остальных узлов.
Если узел был добавлен к уже существующему кластеру, некоторое время мы будем наблюдать подобную картину:

  это нормальная ситуация - Ceph пересчитывает и перераспределяет PG с учетом появившихся устройств.
Спустя часок:

Теперь можно создавать пулы, для этого:
Встаем на любую из нод, -> Ceph->pools->создать

На начальном этапе достаточно ввести имя и размеры, ну и птица создать хранилища.
Немного разъяснения о размерности пула:

1. размер (size) - сколько копий данных хранится на разных OSD
2. Мин. размер (min_size) - при доступности скольки ковий пул сохраняет работоспособность

Для начального уровня достаточно размерности 2/1, но правильнее отталкиваться от количества нод и OSD на них. Общая логика Ceph - он старается разнести копии pg на разные ноды и внутри ноды на разные диски.

Для более глубокого знакомства обращаемся к документации Proxmox и Ceph.