Proxmox VE. Дисковая подсистема ZFS с чередованием. Тесты.

Суть вопроса

Имеется гипервизор(Proxmox VE 5.4, серверное железо, система установлена на одиночный SAS HDD ST3146356SS),  и 3 пары носителей

1. SSD Kingston SEDC400S37/480G
2. HDD SATA2, 7200rpm WD3201ABYS
3. HDD SAS 15000rpm ST3300657SS (LSI 9260-4i)

Избыточность предполагается обеспечить путем репликации ZFS snapshots.

Задача

Провести сравнительный тест быстродействия дисковой подсистемы с целью получения максимального быстродействия - предпологаемый результат очевиден, но хочется знать порядок разницы.

Стенд и порядок проведения теста

В качестве стендовой VM будет использоваться VM: W2008R2, 4CPU KVM64, 8Gb RAM, 32Gb virtio HDD без кэша.

Для каждого типа носителей с помощью программы Crystal Disc Mark v6 будет выполнен тест при расположении ZFS pool на одиночном носителе и на raid0 (stripe), для SAS дисков будет также протестирован stripe raid собранный средствами контроллера LSI MR9260-4i.

Тест базовый

Виртуальная машина находится на одном диске с системой (local-lvm)

Тест HDD SATA2, 7200rpm WD3201ABYS

1. Хранилище для VM - ZFS на одиночном диске


• Создаем ZFS pool single disk
  
• Встаем во вкладке VM "оборудование" на диск и выбираем "переместить диск" в качестве цели выбираем созданный pool
  
• Запускаем VM и тестируем

  

  Результат для меня совершенно неожиданный
2. Хранилище для VM - на ZFS Raid0

   

   Еще страньше

Тест HDD SAS 15000rpm ST3300657SS (LSI 9260-4i)

1. ZFS pool на single disk
   
2. ZFS pool на stripe raid средствами LSI контроллера
   
3. ZFS pool raid0
   

Тест SSD Kingston SEDC400S37/480G

1. ZFS pool на single disk
   
2. ZFS pool raid0
   

Тест HDD SAS 15000rpm ST1463567SS (LSI 9260-4i)

На закуску тест диска идентичного тому, на котором проводился базовый тест

1. ZFS pool на single disk
   
2. LVM  на single disk(для чистоты сравнения)

   

   Второй шок за день от результата

Выводы

Какие выводы напрашиваются при взгляде на странные (на первый взгляд) результаты тестирования?

1. Надо отдавать себе отчет, что мы протестировали не хранилище, а блочное устройство, расположенное в хранилище.
2. Физический сервер обладал по отношению к виртуальной машине избыточностью по некоторым параметрам в 30-40 раз, поэтому правильнее было проводить тест, запустив его одновременно на 10-20 подобных виртуалках.
3. При миграции образа VM из одного хранилища в другое демонстрировалось быстродействие, ожидаемое от типа хранилища.
4. Результаты для аппаратного и програмного рейда из тех же дисков демонстрируют правоту тех, кто призывает к отказу от аппаратных рейдов.
5. Ни в коем случае не нужно использовать для VM хранилище на общем с системой диске
6. Для хранилища следует предпочесть ZFS  а не LVM

P.S.

В ходе эксперимента пулы создавались коммандой

zpool create -f pool[n] /dev/sd[a] /dev/sd[b]

а удалялись коммандой

zpool destroy pool[n]

Выполненными в веб оболочке