Чтобы организовать традиционное хранилище, необходима покупка СХД. С распределённым хранилищем Ceph можно разместить данные на вычислительной части и сократить расходы. Сколько денег поможет сэкономить Ceph, рассчитал руководитель облачных сервисов EFSOL Oblako Лев Корольков. Статья основана на 12-летнем опыте в системной интеграции и автоматизации бизнес-процессов.
Содержание
Как работает распределённое хранилище Ceph
Ceph – хранилище на базе свободного ПО. Оно позволяет объединить дисковые пространства серверов. С Ceph можно организовать масштабируемое хранилище с высокой производительностью и избыточностью. Ceph можно использовать для создания объектного хранилища и в качестве блочного устройства.
В Сeph каждый блок данных реплицируется на несколько серверов. Это обеспечивает отказоустойчивость.
Фактор репликации в Ceph по умолчанию равен двум. Если вы не используете отказоустойчивые дисковые массивы, рекомендую настроить более высокий фактор репликации.
Если одна из нод выйдет из строя, Сeph зафиксирует недоступность блока данных. Через определенное время (300 секунд по умолчанию) он начнёт восстанавливать недостающие данные.
Если в кластер устанавливают новый сервер, происходит разбалансировка хранилища: диски на всех нодах равномерно заполняются данными. В Ceph этот механизм называется Crush.
Чтобы получить высокую производительность дискового пространства в Ceph, используйте Cache Tiering — многоуровневое кеширование. Для кэширования используется отдельный высокопроизводительный пул, а основные данные размещаются на недорогих жёстких дисках.
С помощью Ceph можно организовать бюджетное хранилище или частное облако без использования СХД. Мы рассчитали, во сколько обойдутся эти решения.
Хранилище для среднего и малого бизнеса
Организуем отказоустойчивое хранилище объемом 6 Тб.
Хранилище без применения Ceph
Без использования Ceph потребуется закупить СХД в следующей конфигурации:
- СХД Fujitsu ETERNUS DX100;
- 12 Nearline SAS 1Tb SFF (RAID10);
Решение будет стоить 19 000 USD.
Стоимость хранилища на 6 Тб с покупкой СХД
| Конфигурация | Количество IOPs (чтение 70%/запись 30%, Размер блока 4К) IOPs рассчитан для созданных массивов из дисков NL SAS на СХД и дисков SATA в Ceph. Кэширование было отключено, так как оно завышает показатели IOPs. | Полезный объём, Гб | Цена за 1 Гб, USD | Стоимость, USD |
|---|---|---|---|---|
| СХД Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10) | 760 | 6 000 | 3,2 | 19 000 |
Хранилище с применением Ceph
Можно обойтись без покупки СХД, если использовать Ceph. В качестве хранилища предлагаю решение Supermicro Twin.
Это четыре серверных платформы в едином корпусе высотой в два юнита. Основные узлы дублируются для большей
отказоустойчивости.
Комплектация каждой ноды:
- 32 Гб RAM;
- процессор 6 СPU частотой 1,9 Ггц;
- 4 диска SATAпо 2 Тб для пула хранения объединяем в два массива RAID1;
- 2 диска SSD для пула кэширования объединяем в RAID1.
Стоимость хранилища на 6 Тб без покупки СХД с применением Ceph
| Комплектующие | Количество | Цена, USD | Стоимость, USD |
|---|---|---|---|
| Серверная платформа Supermicro SYS-2029TP-HTR (Dual Socket P (LGA 3647) support, 16 DIMMs; up to 4TB 3DS ECC DDR4-2933MHz† RDIMM/LRDIMM, 6 Hot-swap 2.5" SATA3 drive bays, Up to 2200W Redundant Power Supplies) | 1 | 5140 | 5140 |
| Модуль памяти 16 GB Kingston DDR4-2666 Single Rank x4 CL19 1.2v ECC Registered DIMM | 6 | 129 | 774 |
| Xeon Bronze 3204 1.9/1.9 GHz, 6C/ 6T, 8.25 MB L3, DDR4-2133/1.0 TB, 9.6 GT/s UPI(2), 85 W | 3 | 270 | 810 |
| Жесткий диск SATA 2TB 2.5" Enterprise Capacity SATA 6Gb/s 7200rpm 128Mb 512E | 12 | 315 | 3780 |
| Твердотельный накопитель SSD 2.5'' 400GB Server Series. | 6 | 177 | 1062 |
| Итого: | 11566 |
Без использования Ceph пришлось бы покупать СХД с дисками. Минимальные затраты составили бы порядка 19 000 USD — на 39% выше.
Хранилище на базе Ceph с использованием б/у серверов
Еще больше снизить расходы можно, если использовать серверы б/у. Серверы Supermicro с конфигурациями 48 ГБ RAM и процессорами линейки 5600 будут стоить около 800 USD.
Диски настоятельно рекомендую купить новые. На каждый сервер можно поставить по одному SSD-диску для кэширования и по три диска SATA.
Стоимость хранилища на 6 Тб без покупки СХД с применением Ceph. Используются серверы б/у
| Комплектующие | Количество | Цена, USD | Стоимость, USD |
|---|---|---|---|
| SUPERMICRO 2*Xeon 5645, 48 Гб RAM (б/у) | 4 | 800 | 3200 |
| Жесткий диск SATA 2 Tб, Western Digital RAID EDITION | 12 | 70 | 840 |
| Твердотельный накопитель SSD 2.5' 400 Гб DC S3710 Series | 4 | 315 | 1260 |
| Итого: | 5300 |
Частное облако
Облако без использования Ceph
Для классического частного облака понадобятся два компонента:
- Compute — серверы, которые используются виртуальными машинами для вычислений.
- Storage — система хранения данных.
Даже небольшое облако, построенное по этой схеме обойдется недёшево. Например, облако из трех носителей будет стоит около 31 000 USD:
19 000 USD — стоимость СХД
12 000 USD — стоимость вычислительной части. Это три сервера с наполнением в 50%. Цена каждого: 4 000 USD.
Стоимость частного облака без применения Ceph
| Конфигурация | Количество IOPs* (чтение 70%/запись 30%, Размер блока 4К) | Полезный объём, Гб | Цена 1 Гб, USD | Стоимость, USD |
|---|---|---|---|---|
| Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10) + Supermicro Twin | 760 | 600 | 5,2 | 31 000 |
Облако на базе Ceph
Для облака на базе Ceph в качестве хранилища можно использовать дисковые ресурсы вычислительной части. Мы используем ту же платформу Supermicro. Она будет задействована и для работы виртуальных машин, и для хранения информации. Поэтому выберем более мощную комплектацию:
- Процессор 8 CPU с частотой 3,2 Ггц;
- 96 Гб RAM.
Собранное облако будет работать при выходе из строя одной ноды. На платформе можно развернуть около 10 виртуальных машин с конфигурациями 12 ГБ RAM, 4 vCPU, 400 Гб дискового пространства.
Стоимость частного облака на базе Ceph
| Комплектующие | Количество | Цена, USD | Стоимость, USD |
|---|---|---|---|
| Серверная платформа Supermicro SYS-2029TP-HTR (Dual Socket P (LGA 3647) support, 16 DIMMs; up to 4TB 3DS ECC DDR4-2933MHz† RDIMM/LRDIMM, 6 Hot-swap 2.5" SATA3 drive bays, Up to 2200W Redundant Power Supplies) | 1 | 5140 | 5140 |
| Модуль памяти 16 Гб Kingston DDR4-2666 Single Rank x4 CL19 1.2v ECC Registered DIMM | 18 | 129 | 2322 |
| Процессор Xeon Silver 4215R 3.2/4.0 GHz, 8C/16T, 11.00 Мб L3, DDR4-2400/1.0 TB, 9.6 GT/s UPI(2), 130 W | 3 | 1006 | 3018 |
| Жесткий диск SATA 2TB 2.5" Enterprise Capacity SATA 6 Гб/cек 7200rpm 128 Мб 512E | 12 | 315 | 3780 |
| Твердотельный накопитель SSD 2.5 400 Гб Server Series | 6 | 177 | 1062 |
| Итого: | 15322 |
Итоговое сравнение стоимости хранилища с Ceph и без него
| Хранилище на 6 Тб | Частное облако на 6 Тб | ||||
|---|---|---|---|---|---|
| Хранилище без Ceph | Хранилище с Ceph | Хранилище с Ceph и с б/у серверами | Облако без Ceph | Облако с Ceph | |
| Стоимость, USD | 19 000 | 11 566 | 5 300 | 31 000 | 15 322 |
Создайте отказоустойчивую виртуальную среду с платформой VMmanager и хранилищем Ceph
VMmanager — платформа для создания виртуальной среды на базе QEMU/KVM и контейнеризации LXD/LXC.
VMmanager имеет готовую интеграцию с Ceph — диски виртуальных машин хранятся в отказоустойчивом кластере. В случае аварии данных с них будут автоматически восстановлены.
Закажите демонстрацию VMmanager, чтобы узнать больше о его возможностях.
