Кластер Proxmox + Ceph из трёх новых серверов со склада: 100GbE и NVMe

14 октября 2026 г.

Для кластера Proxmox + Ceph берите минимум три одинаковых сервера с NVMe без аппаратного RAID и отдельной сетью 25–100 Гбит/с под Ceph. На складе 31 новый узел: десять Dell PowerEdge R760 (позиция E) и 21 HPE ProLiant DL380 Gen11 (позиция F), у каждого 2×100GbE, 1,5 ТБ DDR5 и свободные NVMe-отсеки. Ниже — какое железо нужно кластеру Proxmox Ceph, как разложить порты и что докупить.

✅ В наличии — отгрузка в день оплаты

• Dell PowerEdge R760 24SFF, 2× Xeon Gold 6544Y — 10 шт. (позиция E). 8 NVMe-отсеков, заняты два (2×6,4 ТБ). 2×100GbE, 4×10/25GbE SFP28, 4×10GbE RJ45.
• HPE ProLiant DL380 Gen11 8SFF, 2× Xeon Gold 6542Y — 21 шт. (позиция F). 2×7,68 ТБ NVMe, шесть отсеков свободны. 2×100GbE, 2×25GbE с трансиверами SR.

Серверы новые. В обеих позициях — 1,5 ТБ DDR5 (24 модуля по 64 ГБ) и FC 32G. Из одной партии собирается кластер до 10 узлов на Dell или до 21 на HPE.

Почему кластеру Proxmox с Ceph нужно три узла, а не два?

Из-за кворума и числа копий данных:

• Кворум corosync. Кластер работает, пока жива большая часть узлов. Из трёх остаются два — кворум есть, из двух один — нет.
• Мониторы Ceph живут по той же логике большинства, их ставят три.
• Три реплики. Пул Ceph по умолчанию хранит три копии на разных хостах — хостов нужно минимум три.

Двухузловой Proxmox собирают с внешним голосом QDevice, но Ceph это не спасает: третьей копии негде жить. При трёх узлах после отказа данные доступны в двух копиях, а третью восстановить некуда. Четвёртый узел даёт кластеру место для самовосстановления.

Proxmox советует однотипные серверы и равномерное распределение дисков. Dell E и HPE F в одном Ceph лучше не смешивать: разные процессоры, объёмы NVMe и управление.

Какое железо нужно кластеру Proxmox Ceph?

Диски: NVMe без RAID-контроллера

В системных требованиях Proxmox сказано прямо: ZFS и Ceph несовместимы с аппаратным RAID-контроллером. Ceph нужен прямой доступ к каждому диску: один диск — один OSD.

• Dell E. По Technical Guide R760 универсальные отсеки дают аппаратный RAID только для SAS/SATA, а NVMe подключены напрямую. PERC H965i их не трогает — Ceph получает диски как есть, и это плюс. SATA SSD за PERC под OSD не берите.
• HPE F. Стоит tri-mode контроллер MR408i-o со смешанным режимом RAID+HBA. Если NVMe разведены через него, отдайте их Ceph в режиме HBA, без RAID-томов. Проверьте это до развёртывания.

Система ставится отдельно, на BOSS-N1 2×960 ГБ у Dell и HPE NS204i (2×480 ГБ NVMe M.2, RAID 1) у HPE. Оба модуля — аппаратное зеркало, поэтому Proxmox на них ставьте на ext4 или LVM, не на ZFS.

Число OSD и ёмкость

Proxmox рекомендует от 12 OSD, равномерно на три и более узла. Три узла по два NVMe дают 6 OSD. Выйти на 12 можно двумя путями: докупить минимум по два NVMe одного объёма в каждый узел или взять шесть узлов. Ceph советует скорее больше небольших узлов, чем мало плотных.

Полезный объём при трёх копиях — треть сырого, заполнять пул лучше не выше 80 %. Арифметика для трёх узлов:

• Dell E: сейчас около 10 ТБ рабочего объёма, при всех 8 отсеках по 6,4 ТБ — около 41 ТБ.
• HPE F: сейчас около 12 ТБ, при всех 8 отсеках по 7,68 ТБ — около 49 ТБ.

Память и процессор

На OSD Proxmox закладывает 8 ГиБ памяти: восемь OSD — 64 ГиБ из 1,5 ТБ. Важнее процессор: быстрый NVMe-OSD под нагрузкой занимает 4–6 потоков. У E 64 потока на базовых 3,6 ГГц — восемь OSD на пике заберут до 48 из них. У F 96 потоков на 2,9 ГГц, запаса под ВМ больше. Ориентир: E — для отзывчивых ВМ при умеренном числе OSD, F — когда дисков много.

Сеть: порты под Ceph public, cluster и corosync

Proxmox рекомендует три раздельные сети. Ceph public — трафик ВМ к хранилищу. Ceph cluster — репликация и восстановление между OSD. Corosync — служебная сеть кластера, ей важна задержка, а не полоса.

Dell E: портов хватает на всё

• 2×100GbE QSFP56 (Broadcom P2100G) — Ceph cluster и public, по порту на сеть.
• 4×10/25GbE SFP28 (Broadcom 57504) — трафик ВМ и живая миграция.
• 4×10GbE RJ45 (Broadcom 57454) — corosync, два кольца на разных портах.
• 2×1GbE и iDRAC9 Enterprise — управление.

HPE F: 100G под Ceph, 25G под ВМ

• 2×100GbE (Broadcom 57508) — Ceph public и cluster.
• 2×25GbE (Intel E810) — ВМ и миграция.
• Встроенной сети у DL380 Gen11 нет. Corosync выносите в отдельный VLAN со вторым кольцом через другой интерфейс либо ставьте дополнительную карту.

Для ровно трёх узлов есть схема full mesh: два порта 100G каждого сервера идут напрямую к двум соседям. Коммутатор 100G не нужен до четвёртого узла, но public и cluster тогда делят одну mesh-сеть.

Схему портов согласуем до оплаты: напишите на gpu@vistlan.ru, сколько узлов планируете и какие коммутаторы уже стоят.

Что докупить, чтобы запустить кластер?

1. Модули или DAC для 100G — в спецификации их нет. По даташиту Broadcom P2100G карта работает с пассивными DAC и оптикой QSFP56, QSFP28 и QSFP+.
2. Коммутаторы 100G с портами QSFP28 или QSFP56, для отказоустойчивости — пара. Три узла можно начать с full mesh.
3. Модули SFP28 для 25G на Dell E — в спецификации не указаны. У HPE F два SR-трансивера уже стоят.
4. NVMe под OSD, если остаётесь на трёх узлах, — одного объёма во всех серверах.
5. Подписка Proxmox VE — по желанию, считается по сокетам: две на сервер.

Чек-лист перед развёртыванием

• Топология NVMe. На HPE F посмотрите в iLO, идут ли NVMe через MR408i-o. Если да — режим HBA, без логических томов.
• Прошивки. Одна версия BIOS, iDRAC или iLO и прошивок дисков на всех узлах.
• BIOS. Включены Intel VT-x и VT-d, профиль питания — на производительность.
• Сеть. Ceph public, cluster и corosync — в разных VLAN или на разных портах. Corosync проверьте на задержку до ввода ВМ.
• Запас места. Держите пул не выше 80 %, а при двух OSD на узел — ниже. Если откажет один NVMe, Ceph перенесёт его данные на второй диск того же узла. Арифметика: оба диска заполнены на 45 % — уцелевшему достанется 90 %, а это порог, на котором Ceph по умолчанию останавливает перенос данных.
• Первая проверка. Выключите один узел под тестовой нагрузкой и убедитесь, что ВМ перезапустились, а пул остался доступен.

Частые вопросы

Можно ли собрать кластер Proxmox из двух серверов?

Можно, но с внешним голосом QDevice для кворума. Для Ceph двух узлов мало: три копии данных требуют трёх хостов.

Нужен ли RAID для Ceph?

Нет, Ceph сам хранит копии на разных узлах и несовместим с аппаратным RAID. В Dell R760 позиции E NVMe подключены напрямую. В HPE, если NVMe идут через MR408i-o, контроллер переводят в режим HBA.

Хватит ли 25 Гбит/с вместо 100?

Для небольшого кластера на NVMe 25 Гбит/с — рабочий минимум по Proxmox. Узким местом это станет при восстановлении после отказа узла, когда Ceph перегоняет терабайты.

Можно ли строить Ceph на HDD?

Можно, под объектное хранилище, S3 и архив, но не под диски активных ВМ. Ceph советует выносить WAL и DB таких OSD на SSD. Для этого подходят Dell R760 12LFF (позиции A–D): отсеки 3,5" и четыре тыловых NVMe. Но HDD там подключены к PERC H755, а Proxmox для Ceph советует HBA. Режим non-RAID у PERC или отдельный HBA — решите до развёртывания.

Подойдут ли R760 позиции G?

Без доработки нет. У G 64 ГБ памяти, нет 100GbE и FC, а Ceph нужна память под OSD и быстрая сеть.

Забрать сервер сегодня

Пишите запрос на почту gpu@vistlan.ru — оперативно ответим, выставим счёт, заключим договор. Полный комплект документов, официальная поставка, отгрузка в день оплаты.

Укажите позицию (E или F), число узлов и нужна ли схема портов. Для счёта приложите реквизиты компании.

Читайте также:

• Сервер для виртуализации: сколько ВМ потянут 64 ядра и 1,5 ТБ
• 61 сервер 2U для ЦОД: 100GbE, FC 32G и что учесть до монтажа в стойку
• HPE DL380 Gen11 в наличии: 21 одинаковый сервер с 1,5 ТБ и 100GbE

Материал подготовлен отделом серверных решений VISTLAN. Обновлено 14.10.2026.