Предварительная настройка Ceph

Перед подключением хранилища Ceph к кластеру VMmanager необходимо провести предварительную настройку узлов кластера Ceph. В этой статье приведена общая информация об установке. Рекомендуется создавать кластер Ceph в соответствии с официальной документацией.

Перед созданием кластера убедитесь, что используемое оборудование соответствует системным требованиям. Рекомендуется использовать программное обеспечение Ceph версии не ниже 13.2.0.

Требования к узлам кластера

В составе кластера должны быть следующие физические или виртуальные серверы:

• сервер с данными (OSD);
• не менее трёх серверов-мониторов (MON);
• административный сервер (ADM);
• сервис мониторинга (MGR);
• сервер метаданных (MDS). Необходим, если вы используете файловую систему CephFS.

Серверы должны отвечать следующим требованиям:

• не используйте сервер с платформой VMmanager или узлы кластера VMmanager в качестве узлов Ceph;
• рекомендуется использование серверов, находящихся в одной стойке и в одном сегменте сети;
• рекомендуется использовать высокоскоростное сетевое подключение между узлами кластера;
• на всех серверах должна быть установлена одна операционная система;
• на серверах-мониторах должен быть открыт доступ к порту 6789/TCP, на серверах с данными — к диапазону портов 6800..7300/TCP;
• на всех узлах кластера должен быть непримонтированный раздел или диск для установки программного обеспечения (ПО) Ceph.

Пример подготовки узлов кластера

В примере рассматривается создание кластера в сети 172.31.240.0/20 с использованием серверов:

1. ceph-cluster-1 с IP-адресом 172.31.245.51. Назначение — MON, OSD, ADM, MGR.
2. ceph-cluster-2 с IP-адресом 172.31.246.77. Назначение — MON, OSD.
3. ceph-cluster-3 с IP-адресом 172.31.246.82. Назначение — MON, OSD.

На всех серверах

1. Установите ПО Ceph. Для этого:

   1. Выполните команду: 

      yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

   2. Создайте файл /etc/yum.repos.d/ceph.repo и добавьте в него строки:

      [ceph-noarch]
      name=Ceph noarch packages
      baseurl=https://download.ceph.com/rpm-nautilus/el7/noarch
      enabled=1
      gpgcheck=1
      type=rpm-md
      gpgkey=https://download.ceph.com/keys/release.asc

   3. Выполните команду:

      yum update

2. Установите ПО для работы NTP. Это предотвратит проблемы, возникающие из-за сдвига системного времени:

   yum install ntp ntpdate ntp-doc

3. Создайте пользователя ceph и установите для него необходимые права:

   useradd -d /home/ceph -m ceph
   passwd ceph
   echo "ceph ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/ceph
   chmod 0440 /etc/sudoers.d/ceph

4. Создайте алиасы для узлов кластера в файле /etc/hosts:

   172.31.245.51 ceph1.example.com ceph1
   172.31.246.77 ceph2.example.com ceph2
   172.31.246.82 ceph3.example.com ceph3

5. Добавьте службы Ceph в настройки firewalld:

   firewall-cmd --zone=public --add-service=ceph-mon --permanent
   firewall-cmd --zone=public --add-service=ceph --permanent
   firewall-cmd --reload

На административном сервере

1. Установите пакеты ceph-deploy и python-setuptools:

   yum install ceph-deploy python-setuptools

2. Создайте ключи ssh и скопируйте их на все узлы кластера:

   ssh-keygen
   ssh-copy-id ceph@ceph1
   ssh-copy-id ceph@ceph2
   ssh-copy-id ceph@ceph3

3. Добавьте в файл ~/.ssh/config строки:

   Host ceph1
   Hostname ceph1
   User ceph
   Host ceph2
   Hostname ceph2
   User ceph
   Host ceph3
   Hostname ceph3
   User ceph

4. Создайте директорию my-cluster для конфигурационных файлов и файлов ceph-deploy и перейдите в неё:

   mkdir my-cluster
   cd my-cluster

5. Создайте конфигурационный файл кластера: 

   ceph-deploy new ceph1 ceph2 ceph3

   Пояснения к команде

   ceph1 ceph2 ceph3 — узлы кластера, выполняющие функции серверов-мониторов

   При использования Ceph-хранилища с одним узлом кластера замените в конфигурационном ceph.conf значение параметра "osd_crush_chooseleaf_type" на 0.

   
   

6. Добавьте информацию о сети узлов кластера в конфигурационный файл ceph.conf: 

   echo "public_network = 172.31.240.0/20" >> ceph.conf

7. Установите ceph-deploy на узлы кластера:

   ceph-deploy install ceph1 ceph2 ceph3

8. Создайте сервис мониторинга:

   ceph-deploy mgr create ceph1

9. Создайте и проведите инициализацию серверов-мониторов:

   ceph-deploy mon create-initial

10. Скопируйте конфигурационные файлы на узлы кластера:

    ceph-deploy admin ceph1 ceph2 ceph3

11. Добавьте в кластер серверы с данными:

    ceph-deploy osd create --data /dev/sdb ceph1
    ceph-deploy osd create --data /dev/sdb ceph2
    ceph-deploy osd create --data /dev/sdb ceph3

    Пояснения к команде

    /dev/sdb — устройство хранения данных на узле кластера

12. Очистите диски /dev/sdb на серверах с данными:

    ceph-deploy disk zap ceph1:sdb ceph2:sdb ceph3:sdb