вторник, 5 ноября 2019 г.

Руководство администратора Proxmox VE R 6.0 Глава 4.

Proxmox VE Administration Guide

Гиперконвергентная инфраструктура

Proxmox VE - это платформа виртуализации, которая тесно интегрирует вычислительные, запоминающие и сетевые ресурсы, управляет высокодоступными кластерами, резервным копированием/восстановлением, а также аварийным восстановлением. Все компоненты программно определены и совместимы друг с другом. Поэтому их можно администрировать как единую систему через централизованный веб-интерфейс управления. Эти возможности делают Proxmox VE идеальным выбором для развертывания и управления гиперконвергентной инфраструктурой с открытым исходным кодом.
  1. Преимущества гиперконвергентной инфраструктуры (HCI) с Proxmox VE
  2. Управление службами Ceph на узлах Proxmox VE
    1. Предварительное условие
    2. Начальная установка и настройка Ceph
    3. Установка пакетов Ceph
    4. Создание начальной конфигурации Ceph
    5. Создание Ceph мониторов
    6. Создание Ceph Manager
    7. Создание Ceph OSD
    8. Создание Ceph Пулов
    9. Ceph CRUSH и классы устройств
    10. Ceph Client
    11. CephFS
    12. Cephю Мониторинг и устранение неполадок

  1. Преимущества гиперконвергентной инфраструктуры (HCI) с Proxmox VE

    Гиперконвергентная инфраструктура особенно полезна для развертываний, в которых высокий спрос на инфраструктуру соответствует низкому бюджету администрирования, для распределенных установок, таких как удаленные среды и филиалы, или для виртуальных частных и общедоступных облаков. HCI обеспечивает следующие преимущества:
    • Масштабируемость: плавное расширение вычислительных, сетевых и запоминающих устройств (т. е. быстрое и независимое масштабирование серверов и хранилищ).
    • Низкая стоимость: Proxmox VE является ПО с открытым исходным кодом и объединяет все необходимые компоненты, такие как вычислительные ресурсы, хранилище, сеть, резервное копирование и Центр управления. Он может заменить дорогостоящую вычислительную инфраструктуру / инфраструктуру хранения данных.
    • Защита данных и эффективность: интегрированы такие службы, как резервное копирование и аварийное восстановление.
    • Простота: простота настройки и централизованное администрирование.
    • Открытый исходный код: • Отсутствие блокировки со стороны поставщика

  2. Управление службами Ceph на узлах Proxmox VE

    Proxmox VE объединяет ваши вычислительные системы и системы хранения, т.е. вы можете использовать одни и те же физические узлы в кластере как для вычислений (обработка виртуальных машин и контейнеров), так и для реплицированного хранилища. Традиционные хранилища вычислительных и запоминающих ресурсов могут быть объединены в одно гиперконвергентное устройство. Отдельные сети хранения (SANs) и подключения через сетевые хранилища (NAS) исчезают. Благодаря интеграции Ceph, программной платформы хранения с открытым исходным кодом, Proxmox VE имеет возможность запускать и управлять хранилищем Ceph непосредственно на узлах гипервизора.
    Ceph - это распределенное хранилище объектов и файловая система, предназначенная для обеспечения отличной производительности, надежности и масштабируемости.

    НЕКОТОРЫМИ ПРЕИМУЩЕСТВАМИ CEPH НА PROXMOX VE ЯВЛЯЮТСЯ:
    • Простая настройка и управление с поддержкой CLI и GUI
    • Тонкая настройка
    • Поддержка снапшотов
    • Самовосстановление
    • Масштабируемость до уровня эксабайт
    • Настройка пулов с различными характеристиками производительности и резервирования
    • Данные реплицируются, что делает их отказоустойчивыми
    • Работает на бюджетном оборудовании
    • Нет необходимости в аппаратных RAID контроллерах
    • Открытый исходный код
    Для небольших и средних развертываний можно установить сервер Ceph для блочных устройств RADOS (RBD) непосредственно на узлах кластера Proxmox VE, см. раздел 8.14 Ceph RADOS Block Devices (RBD). Современное оборудование имеет большие мощности процессора и много оперативной памяти, поэтому возможен запуск служб хранения и виртуальных машин на одном узле.
    Для упрощения управления мы предоставляем pveceph - инструмент для установки и управления службами Ceph на узлах Proxmox VE.

    CEPH, ДЛЯ ИСПОЛЬЗОВАНИЯ В КАЧЕСТВЕ ХРАНИЛИЩА RBD, ТРЕБУЕТ СЛЕДУЮЩИЕ ДЕМОНЫ:
    • Ceph Monitor (ceph-mon)
    • Ceph Manager (ceph-mgr)
    • Ceph OSD (ceph-osd; Object Storage Daemon)
    Совет
    Мы настоятельно рекомендуем ознакомиться с архитектурой и лексикой Ceph.
    Ceph архитектура http://docs.ceph.com/docs/luminous/architecture/
    Ceph глоссарий http://docs.ceph.com/docs/luminous/glossary

    1. Предварительное условие

      Для построения гиперконвергентного кластера Proxmox + Ceph должно быть как минимум три (желательно) одинаковых сервера для установки.
      Проверьте также рекомендации с веб-сайта Ceph.

      CPU
      Более высокая частота ядра процессора уменьшает задержки и является предпочтительной. В качестве простого практического правила вы должны назначить ядро (или поток) процессора каждому сервису Ceph, чтобы обеспечить достаточно ресурсов для стабильной и надежной работы Ceph.

      Память
      Особенно в гиперконвергентной установке, потребление памяти необходимо тщательно контролировать. В дополнение к предполагаемой рабочей нагрузке от виртуальных машин и контейнера, Ceph требуется достаточно памяти, чтобы обеспечить хорошую и стабильную производительность. Как правило, для примерно 1 TiB данных, 1 GiB памяти будет использоваться OSD. Кэширование OSD будет использовать дополнительную память.

      Сеть
      Мы рекомендуем пропускную способность сети, которая используется исключительно для Ceph не менее 10 GbE или более. Ячеистая топология сети2 также является выходом, если нет доступных коммутаторов 10 GbE. Объем трафика, особенно во время восстановления, будет мешать другим службам в той же сети и может даже разрушить стек кластера Proxmox VE. Кроме того, оцените свои потребности в пропускной способности. В то время как один жесткий диск может не насыщать канал 1 Гб, несколько жестких дисков на узле могут, а современные накопители SSD NVMe даже быстро насыщают пропускную способность 10 Gbps. Развертывание сети, способной к еще большей пропускной способности, гарантирует, что это не ваше узкое место и не будет в ближайшее время, возможно 25, 40 или даже 100 Gbps.

      Диски
      При планировании размера кластера Ceph важно учитывать время восстановления. Особенно с небольшими кластерами, восстановление может занять много времени. Рекомендуется использовать твердотельные накопители вместо жестких дисков в небольших установках, чтобы сократить время восстановления, минимизируя вероятность последующего сбоя во время восстановления.
      В целом SSD накопители обеспечивают больше операций ввода-вывода, чем вращающиеся диски. Этот факт и более высокая стоимость могут сделать привлекательным разделение пулов на основе классов устройств (см раздел 4.2.9). Другая возможность ускорить OSD - использовать более быстрый диск для журнала или DB/Write-Ahead-Log устройства (см. раздел Ceph OSD.) Если для нескольких операционных систем используется более быстрый диск, необходимо выбрать правильный баланс между OSD и Wal/DB (или журнальным) диском, в противном случае более быстрый диск становится узким местом для всех связанных операционных систем. Помимо типа диска, Ceph лучше всего работает с равномерным распределением размеров и количества дисков на узел. Например, 4 х 500 ГБ дисков с в каждом узле лучше, чем смешанная установка с одним 1 ТБ и три 250 ГБ диска.
      Также необходимо сбалансировать количество OSD и емкость одного OSD. Большая емкость позволяет увеличить плотность хранения, но это также означает, что сбой одного OSD сразу заставляет ceph восстанавливать большее количество данных.

      Отказ от RAID
      Поскольку Ceph самостоятельно обрабатывает избыточность объектов данных и распаралеливание операций записи на диски (OSD) , использование RAID - контроллера обычно не улучшает производительность или доступность. Напротив, Ceph предназначен для работы напрямую с дисками самостоятельно, без какой-либо абстракции между ними. RAID - контроллеры не предназначены для использования Ceph и могут усложнять ситуацию, а иногда даже снижать производительность, так как их алгоритмы записи и кэширования могут мешать работе Ceph.

      Внимание!
      Избегайте RAID-контроллера, используйте вместо него host bus adapter (HBA).
      Примечание
      Приведенные выше рекомендации следует рассматривать как примерное руководство по выбору аппаратного обеспечения. Поэтому по-прежнему важно адаптировать его к вашим конкретным потребностям, протестировать вашу установку и постоянно контролировать работоспособность и производительность.
      2Полная ячеистая сеть для Ceph https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server

    2. Начальная установка и настройка Ceph

      С Proxmox VE вы можете воспользоваться простым в использовании мастером установки Ceph. Щелкните на одном из узлов кластера и перейдите к разделу Ceph в дереве меню. Если пакет еще не установлен, вам будет предложено сделать это сейчас.

      Мастер разделен на различные разделы, каждый из них должен быть успешно завершен, чтобы использовать Ceph. После запуска установки мастер загрузит и установит все необходимые пакеты из репозитория Ceph Proxmox VE.

      После завершения первого шага, вам нужно будет создать конфигурацию. Этот шаг необходим только один раз для каждого кластера, поскольку эта конфигурация автоматически распространяется среди всех остальных узлов кластера через файловую систему конфигурации кластера Proxmox VE (pmxcfs), глава 7.

      Шаг настройки включает в себя следующие параметры:
      • Публичная сеть: Вы должны настроить выделенную сеть для Ceph, этот параметр является обязательным. Отделение вашего трафика Ceph настоятельно рекомендуется, потому что это может привести к проблемам с другими зависимыми от задержки службами, например, взаимодействие узлов кластера может снизить производительность Ceph, если этого не сделано.
      • Сеть кластера: В качестве дополнительного шага вы можете пойти еще дальше и отделить трафик репликации разделов OSD (см. 4.2.7) и heartbeat трафик. Это облегчит работу общедоступной сети и может привести к значительному повышению производительности, особенно в больших кластерах.
      У вас есть еще два варианта, которые считаются расширенными и поэтому должны изменяться только в том случае, если вы являетесь экспертом.

      • Количество реплик: Определяет частоту репликации объекта.
      • Минимальное количество реплик: Определяет минимальное количество требуемых реплик для I/O, помеченных как завершенные.

      Кроме того, вы обязательно должны выбрать свой первый узел монитора.

      Вот и все, вы должны увидеть сообщение об успешном окончании установки в качестве последнего шага, с инструкциями о дальнейших действиях. Теперь вы готовы начать использовать Ceph, дальше вам нужно будет создать дополнительные мониторы (см. раздел 4.2.5), создать несколько OSD (см. раздел 4.2.7) и по крайней мере один пул (см. раздел 4.2.8).

      Остальная часть этой главы будет направлять вас о том, как получить максимальную отдачу от вашего Ceph на базе Proxmox VE, это будет включать в себя вышеупомянутые шаги и другие, такие как CephFS (см. раздел 4.2.11), которая является очень удобным дополнением к вашему новому кластеру Ceph.

    3. Установка пакетов Ceph

      Используйте мастер установки Proxmox VE Ceph (рекомендуется) или выполните следующую команду на каждом узле: 
      pveceph install
      Это устанавливает репозиторий пакетов apt в /etc/apt/sources.list.d/ceph.list и устанавливает необходимое программное обеспечение.

    4. Создание начальной конфигурации Ceph

      Используйте мастер установки Proxmox VE Ceph (рекомендуется) или выполните следующую команду на одном узле: 
      pveceph init --network 10.10.10.0/24
      Эта команда создаст начальную конфигурацию в /etc/pve/ceph.conf с выделенной сетью для ceph. Этот файл автоматически распространяется на все узлы Proxmox VE с помощью pmxcfs см. Главу 7. Команда также создает символическую ссылку из файла /etc/ceph/ceph.conf указывающую на этот файл. Таким образом, вы можете просто запускать команды Ceph без необходимости указывать файл конфигурации.

    5. Создание Ceph мониторов

      Ceph Monitor (MON)3 поддерживает главную копию карты кластера. Для высокой доступности необходимо иметь не менее 3 мониторов. Один монитор уже был установлен, если вы использовали мастер установки. Вам не понадобится более 3 мониторов, пока ваш кластер мал до среднего размера, только действительно большие кластеры требуют большего количества.

      На каждом узле, где вы хотите разместить монитор (рекомендуется три монитора), создайте его с помощью вкладки Ceph → Monitor в графическом интерфейсе или запустите.
      pveceph createmon
      Это также установит необходимый Ceph Manager (ceph-mgr) по умолчанию. Если вы не хотите устанавливать диспетчер, укажите параметр -exclude-manager.

    6. Создание Ceph Manager

      Manager daemon работает рядом с мониторами, обеспечивая интерфейс для мониторинга кластера. С момента выпуска Ceph luminous демон ceph-mgr4 обязателен. Во время установки монитора также будет установлен Ceph manager.
      3Ceph Monitor http://docs.ceph.com/docs/luminous/start/intro/
      4Ceph Manager http://docs.ceph.com/docs/luminous/mgr/
      Примечание
      Рекомендуется установить Ceph Manager на узлах, где установлены мониторы. Для обеспечения высокой доступности установите более одного менеджера.
      pveceph createmgr

    7. Создание Ceph OSD

      Используя GUI или с помощью коммандной строки следующим образом: 
      pveceph createosd /dev/sd[X]
      Совет
      Мы рекомендуем размер кластера Ceph, начиная с 12 OSD, равномерно распределенных между вашими, по крайней мере, тремя узлами (4 OSD на каждом узле).
      Если диск использовался ранее (например, ZFS/RAID/OSD), для удаления таблицы разделов, загрузочного сектора и всех оставшихся OSD должна быть достаточно следующей команды. 
      ceph-volume lvm zap /dev/sd[X] --destroy
      Внимание!
      Приведенная выше команда уничтожит данные на диске!
      Ceph Bluestore

      Начиная с выпуска Ceph Kraken, был представлен новый тип хранилища ceph OSD, так называемый Bluestore5. Это значение по умолчанию при создании OSD начиная с Ceph Luminous. 
      pveceph createosd /dev/sd[X]

      Block.db и block.wal

      Если вы хотите использовать отдельное устройство DB/WAL для ваших OSD, вы можете указать его с помощью параметров -db_dev и -wal_dev. WAL помещается вместе с DB, если не указано отдельно. 
      pveceph createosd /dev/sd[X] -db_dev /dev/sd[Y] -wal_dev /dev/sd[Z]
      Вы можете непосредственно выбрать размер для них, с помощью параметров -db_size и -wal_size соответственно. Если они не заданы, будут использоваться следующие значения (по порядку):
      • bluestore_block_{db,wal}_size from ceph configuration...
        • ...database, section osd
        • ...database, section global
        • ...file, section osd
        • ...file, section global
      • 10%(DB)/1%(WAL) от размера OSD
      Примечание
      B хранит внутренние метаданные BlueStore, а WAL - это внутренний журнал BlueStore или журнал опережающей записи. Рекомендуется использовать быстрый SSD или NVRAM для повышения производительности.
      5Ceph Bluestore http://ceph.com/community/new-luminous-bluestore/
      Ceph Filestore

      До Ceph Luminous, тип Ceph Filestore использовался в качестве хранилища по умолчанию для Ceph машин. Начиная с Ceph Nautilus, Proxmox VE больше не поддерживает создание таких OSD с pveceph. Если вы все же хотите создать filestore OSD, используйте непосредственно ceph-volume. 
      ceph-volume lvm create --filestore --data /dev/sd[X] --journal /dev/sd[Y]

    8. Создание Ceph Пулов

      Пул-это логическая группа для хранения объектов. Он содержит группы размещения (PG, pg_num), набор объектов.

      Если параметры не заданы, используется значение по умолчанию 128PG, size 3 реплики и min_size 2 реплики для обслуживания объектов в случае деградации пула.
      Примечание
      Количество PG по умолчанию подходит для 2-5 дисков. Ceph выдает предупреждение HEALTH_WARNING, если у вас слишком мало или слишком много PG в вашем кластере.
      Рекомендуется рассчитать число PG в зависимости от ваших настроек, в интернете вы можете найти формулу и онлайн PG калькулятор6. Количество PG может быть увеличено позже, но оно никогда не может быть уменьшено.

      Вы можете создавать пулы с помощью графического интерфейса на каждом PVE узле в Ceph → Pools или командной строки. 
      pveceph createpool <name>
      Если вы хотите автоматически добавить хранилище во время создания пула, активируйте флажок "добавить хранилище" в графическом интерфейсе или используйте параметр командной строки --add_storages при создании пула.
      Дополнительную информацию об обработке пула Ceph можно найти в Ceph pool operation7 manual.
      6PG calculator http://ceph.com/pgcalc/
      7Ceph pool operation http://docs.ceph.com/docs/luminous/rados/operations/pools/

    9. Ceph CRUSH и классы устройств

      Фундамент Ceph - это его алгоритм "Controlled Replication Under Scalable Hashing" (CRUSH8).

      CRUSH вычисляет, где хранить и откуда извлекать данные, преимуществом этого подхода является то, что не требуется централизованная служба индексирования. CRUSH работает с картой OSD, сегментов (расположения устройств) и наборов правил (репликация данных) для пулов.
      Примечание
      Дополнительную информацию можно найти в документации Ceph, в разделе CRUSH mapa.
      aCRUSH map http://docs.ceph.com/docs/luminous/rados/operations/crush-map/ 8CRUSH https://ceph.com/wp-content/uploads/2016/08/weil-crush-sc06.pdf
      Эта карта может быть изменена для отражения различных иерархий репликации. Реплики объектов могут быть разделены (например отказ доменов), сохраняя при этом желаемое распределение. Общим вариантом использования является использование различных классов дисков для разных пулов Ceph. По этой причине Ceph ввел классы устройств с версии luminous, чтобы удовлетворить потребность в простом создании набора правил.

      Классы устройств можно увидеть в выходных данных ceph osd tree. Эти классы представляют свои собственные корневые сегменты, которые можно увидеть с помощью приведенной ниже команды. 
      ceph osd crush tree —show-shadow
      Пример вывода формы приведенной выше команды:
      Чтобы пул мог распределять свои объекты только по определенному классу устройств, сначала необходимо создать набор правил с определенным классом. 
      ceph osd crush rule create-replicated <rule-name> <root> <failure-domain> <class>
      <rule-name>Имя правила, для соединения с пулом (видно в GUI и командной строке)
      <root>К какому корневому каталогу он должен принадлежать (по умолчанию ceph root "default")
      <failure-domain>Тип узлов CRUSH (не путать с понятием узлов PVE), через которые мы должны разделять реплики. (обычно хост)
      <class>Какой тип OSD резервного хранилища использовать (например nvme, ssd, hdd)
      После того, как правило находится в CRUSH map, вы можете указать пул, чтобы использовать набор правил. 
      ceph osd pool set <pool-name> crush_rule <rule-name>
      Совет
      Если пул уже содержит объекты, все они должны быть перемещены соответствующим образом. В зависимости от ваших настроек, это может привести к значительному снижению производительности вашего кластера. В качестве альтернативы можно создать новый пул и перемещать диски по очереди.

    10. Ceph Client

      Затем можно настроить Proxmox VE для использования таких пулов для хранения образов виртуальных машин или контейнеров. Просто используйте графический интерфейс, чтобы добавить новое хранилище RBD (см. раздел Ceph RADOS Block Devices (RBD) раздел 8.14).

      Вам также необходимо скопировать связку ключей в предопределенное расположение для внешнего кластера Ceph. Если Ceph установлен на узлах Proxmox, то это будет сделано автоматически.
      Примечание
      Имя файла должно быть <storage_id> + '.keyring' - <storage_id> - это выражение после rbd: в /etc/pve/storage.cfg, который является my-ceph-storage в следующем примере: 
      mkdir /etc/pve/priv/ceph
cp /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph/my-ceph-storage.keyring

    11. CephFS

      Ceph также предоставляет файловую систему, работающую поверх того же хранилища объектов, что и блочные устройства RADOS. Сервер метаданных (MDS) используется для сопоставления объектов, поддерживаемых RADOS, с файлами и каталогами, что позволяет обеспечить реплицированную файловую систему, совместимую с POSIX. Это позволяет иметь кластерную высокодоступную общую файловую систему простым способом (если ceph уже настроен). Его серверы метаданных гарантируют, что файлы будут равномерно распределены по всему кластеру Ceph, таким образом, что даже высокая нагрузка не будет перегружать один хост, что может быть проблемой при использовании общих файловых систем с традиционным подходом, например таких, как NFS.
      Proxmox VE поддерживает оба варианта, используя существующую CephFS в качестве хранилища (см. раздел 8.15) для сохранения резервных копий, ISO-файлов или шаблонов контейнеров и создавая гиперконвергентную CephFS.

      Сервер метаданных (MDS)

      Для функционирования CephFS необходим как минимум один сервер метаданных, который должен быть настроен и запущен. Можно просто создать его через узел Proxmox VE web GUI -> панель CephFS или в командной строке с помощью: 
      pveceph mds create
      В кластере можно создать несколько серверов метаданных. Но с настройками по умолчанию только один единовременно может быть активным. Если MDS или его узел перестает отвечать на запросы (или аварийно завершает работу), другой резервный MDS будет активирован. Можно ускорить передачу обслуживания между активным и резервным MDS помощью опции hotstandby при создании MDS, или если вы его уже создали его, вы можете установить/добавить: 
      mds standby replay = true
      в соответствующем разделе MDS файла ceph.conf. Если этот параметр включен, этот конкретный MDS всегда будет опрашивать активный, так что он сможет приступить к обслуживанию быстрее, поскольку он находится в готовом к обслуживанию состоянии. Но, естественно, регулярный опрос вызовет некоторую дополнительную нагрузку на вашу систему и активный MDS.

      Несколько активных MDS

      Начиная с Ceph Luminous (12.2.x), вы также можете использовать несколько активных серверов метаданных, но это обычно полезно только для большого количества параллельных клиентов, так как в противном случае MDS редко является узким местом. Если вы все же хотите настроить их, пожалуйста, обратитесь к документации ceph9.

      Создание CephFS

      CephFS интегрирована в Proxmox VE и вы можете легко создавать CephFS через веб-интерфейс, интерфейс командной строки или внешний API. Для этого требуются некоторые предварительные условия:

      ПРЕДПОСЫЛКИ ДЛЯ УСПЕШНОЙ УСТАНОВКИ CEPHFS:
      • Установка пакетов Ceph (см. раздел 4.2.3), если это уже было сделано некоторое время назад, вы можете повторно запустить его в обновленной системе, чтобы убедиться, что также установлены все пакеты, связанные с CephFS.
      • Установлены Мониторы. (см. Раздел 4.2.5)
      • Настроены ваши OSD. (см. Раздел 4.2.7)
      • Настроен хотябы один MDS. (см. Раздел 4.2.11)
      После того, как все эти условия выполнены, вы можете просто создать CephFS либо через узел веб-интерфейса -> панель CephFS, либо с помощью инструмента командной строки pveceph , например: 
      pveceph fs create --pg_num 128 --add-storage
      При этом создастся CephFS с именем 'cephfs', использующая пул с именем 'cephfs_data' для своих данных с '128' группами размещения и пул для метаданных с именем 'cephfs_metadata' с одной четвертью групп размещения пула данных ('32'). Обратитесь к разелу 4.2.8 "Настройка Ceph пула Proxmox VE" или документации Ceph для получения дополнительной информации о подходящем значении параметра "количество групп размещения" (pg_num)10 для вашей настройки. Кроме того, параметр "add-storage", после успешного создания CephFS добавит новое хранилище в конфигурацию хранилища Proxmox VE.
      9Настройка нескольких активных демонов MDS http://docs.ceph.com/docs/luminous/cephfs/multimds/
      10Ceph Placement Groups http://docs.ceph.com/docs/luminous/rados/operations/placement-groups/
      Удаление CephFS

      Внимание!
      Уничтожение CephFS сделает все его данные непригодными для использования, и может быть отменено!
      Если вы действительно хотите уничтожить существующий CephFS, вам сначала нужно остановить или уничтожить все сервера метаданных (MDS). Вы можете уничтожить их либо через веб-интерфейс или интерфейс командной строки, с помощью: 
      pveceph mds destroy NAME
      на каждом узле Proxmox VE, где размещается демон MDS.

      Затем вы можете удалить (уничтожить) CephFS, выполнив: 
      ceph fs rm NAME --yes-i-really-mean-it
      на одном из узлов, где запущен Ceph. После этого вы можете удалить созданные пулы данных и метаданных, это можно сделать либо через веб-интерфейс пользователя, либо с помощью интерфейса командной строки: 
      pveceph pool destroy NAME

    12. Ceph Мониторинг и устранение неполадок

      Хорошей практикой является непрерывный мониторинг работоспособности ceph с самого начала развертывания. Как через набор инструментов самого ceph, так и путем доступа к его статусу через API Proxmox VE.

      Нижеследующие команды ceph могут использоваться, чтобы увидеть, является ли кластер исправным (HEALTH_OK), есть ли предупреждения (HEALTH_WARN), или ошибки (HEALTH_ERR). Если кластер находится в нерабочем состоянии, нижеприведенные команды состояния также дадут вам обзор текущих событий и действий.

      # одноразовый вывод статуса: 
      pve# ceph -s
      # непрерывный вывод изменений статуса (нажать CTRL+C для остановки) 
      pve# ceph -w
      Для получения более детальной информации, каждая служба ceph имеет файл журнала в /var/log/ceph/ и если нет достаточной детализации, уровень логирования можно настроить11.

      Дополнительную информацию об устранении неполадок12 кластера Ceph можно найти на его веб-сайте.
      11Логирование и отладка Ceph http://docs.ceph.com/docs/luminous/rados/troubleshooting/log-and-debug/
      12Ceph устранение проблем http://docs.ceph.com/docs/luminous/rados/troubleshooting/


Автор: на
Ярлыки: , ,

4 комментария:

  1. Павел М.5 ноября 2019 г. в 04:36

    Александр, отличная работа!! Спасибо за твой труд - сильно ждал продолжения, заходил по нескольку раз в день и смотрел есть ли что-то новое в блоге, и вот дождался!!!

    ОтветитьУдалить
    Ответы
    1. Александр5 ноября 2019 г. в 07:48

      Спасибо за мотивирующий комментарий. К сожалению чаще не получается - работа сама себя не делает :-).
      Мне и самому интересно что там дальше.

      Удалить
  2. Unknown27 ноября 2021 г. в 20:31

    Отличная работа! Вы не в курсе, будет ли PVE переходить на следующие релизы? Такие как Pacific, Octopus. И есть ли возможность совместного использования шкурки Cephadm, совместно со шкуркой PVE?

    ОтветитьУдалить
    Ответы
    1. Александр28 ноября 2021 г. в 06:57

      Уже вышла версия PVE 7.1 и в ней используется новая версия Ceph

      Удалить

Подписаться на: Комментарии к сообщению (Atom)