Сервер для ИИ без видеокарт: что потянет Xeon с AMX — 51 новый сервер в наличии

14 октября 2026 г.

Сервер для ИИ без видеокарт подходит для инференса небольших моделей, RAG, эмбеддингов, классификации, OCR и распознавания речи: во всех 61 сервере склада стоят Xeon 5-го поколения с матричным блоком Intel AMX для BF16 и INT8. Обучать крупные модели и раздавать большую LLM десяткам пользователей с низкой задержкой на CPU не получится — там нужен GPU. Ниже — где граница, как её проверить и какие сборки брать.

✅ В наличии — отгрузка в день оплаты

Новые серверы, отгрузка в день оплаты. GPU нет ни в одной позиции: это машины под CPU-инференс.

• Dell R760, 2× Xeon Gold 6548Y+ (64 ядра), 1,5 ТБ DDR5 (24 модуля по 64 ГБ) — 10 шт (B — 4, C — 4, D — 2)
• Dell R760, 2× Xeon Gold 6548N (64 ядра), 1,5 ТБ DDR5 — 10 шт (A)
• HPE DL380 Gen11, 2× Xeon Gold 6542Y (48 ядер), 1,5 ТБ DDR5 — 21 шт (F)
• Dell R760 24SFF, 2× Xeon Gold 6544Y (32 ядра, 3,6 ГГц), 1,5 ТБ DDR5 — 10 шт (E)

Что такое Intel AMX и что он даёт без видеокарты?

AMX (Advanced Matrix Extensions) — отдельный аппаратный блок в ядре Xeon для матричных вычислений, на которых построены нейросети. По описанию Intel, он работает с форматами BF16 (обучение и инференс) и INT8 (инференс).

• AMX есть у всех четырёх процессоров склада — 6548Y+, 6548N, 6542Y и 6544Y.
• Активировать ничего не нужно. В Intel ARK у этих моделей указано Intel On Demand: No.
• AMX работает с BF16 и INT8. Модель в FP32 переводят в BF16 или квантуют в INT8, иначе блок простаивает.
• Нужна поддержка в софте: OpenVINO или сборки PyTorch с поддержкой AMX. Проверяйте на своей модели.

Сервер для ИИ на CPU: какие задачи реально запустить?

Процессору подходят задачи, где модель небольшая, а запросы можно собирать в пакеты:

• Эмбеддинги и семантический поиск по документам, письмам, базе знаний.
• RAG: векторный индекс в оперативной памяти, переранжирование и небольшая LLM, которая формулирует ответ.
• Классификация и извлечение данных: разбор обращений, поиск сущностей в договорах, модерация.
• OCR и распознавание речи — пакетная обработка сканов и записей звонков.
• Небольшие квантованные LLM для внутреннего ассистента с малым числом одновременных запросов.
• Классический ML: бустинг, прогнозы спроса, скоринг.
• Ночная обработка архива, где важен объём за смену, а не задержка.

Ориентир по LLM есть только от Intel и на другом железе. В тесте Intel от июля 2023 года один 56-ядерный Xeon 8480+ 4-го поколения дал задержку меньше 100 мс на токен для Llama 2 7B в BF16 и 13B в INT8 при batch 1 (с beam width 4). У наших процессоров 16–32 ядра на сокет и другая память — переносить цифру один к одному нельзя. Реальную скорость покажет пилот.

Где без GPU не обойтись?

Под эти задачи нужен сервер для ИИ с GPU, наши брать не надо:

• Обучение крупных моделей и полноценное дообучение LLM. BF16 на AMX годится для небольших моделей, но не заменяет ускорители.
• LLM от 30B параметров с низкой задержкой для многих пользователей. Чат-бот на сотни сессий — задача GPU-сервера.
• Генерация изображений и видео.
• VDI с 3D и САПР — нужен vGPU.

Добавить GPU позже «просто так» не выйдет. Платформа R760 по Dell допускает до двух GPU двойной ширины до 350 Вт, но нужны совместимые райзеры, блоки питания и охлаждение. В складских сборках этого нет.

Частая рабочая схема — гибрид (оценка): GPU-узел занят генерацией, а CPU-серверы берут эмбеддинги, индекс, OCR и подготовку данных. У 51 сервера склада для такой связки есть 2×100GbE. Трансиверы и кабели 100G в комплект не входят — их закладывают отдельно.

Опишите задачу письмом на gpu@vistlan.ru: модель, объём данных, число пользователей. Честно скажем, хватит ли CPU.

Какой сервер со склада брать под ИИ-нагрузку?

Почему память важнее, чем кажется

• Генерация упирается в пропускную способность памяти: на каждый токен процессор перечитывает веса. Модель 7B в BF16 — около 14 ГБ, в INT8 — около 7 ГБ. Квантование вдвое сокращает объём чтения.
• 8 каналов DDR5 на процессор, до 5200 MT/s при одном модуле на канал. В наших сборках по 12 модулей на процессор, поэтому частота ниже — фактическую видно в iDRAC или iLO.
• Два сокета — два узла NUMA. Экземпляр модели лучше закреплять за одним процессором.
• 1,5 ТБ — запас по объёму, а не по скорости. Помещаются несколько моделей, большой индекс и кэш длинных контекстов. Даже 70B в INT8 (около 70 ГБ) влезет, но быстрой не станет.
• Ядра нужны для разбора промпта и пакетов: эмбеддинги и OCR хорошо параллелятся.

Что взять

• A–D — максимум ядер: 64 ядра, 1,5 ТБ, NVMe под модели и индексы (в B и C — по четыре накопителя). Основной сервер для ИИ-задач уровня RAG и пакетной обработки.
• F — масштаб вширь: 48 ядер и 21 одинаковый узел. Несколько экземпляров модели за балансировщиком.
• E — ИИ рядом с учётной системой: 32 ядра на 3,6 ГГц, если на том же сервере работает СУБД с лицензированием по ядрам, например MS SQL под 1С.
• G с 64 ГБ без расширения памяти под модели не подходит.

Как проверить на пилоте, хватит ли процессора?

Ответ даёт только тест вашей модели на ваших данных. Порядок:

1. Убедитесь, что AMX виден системе. В Linux lscpu должен показать флаги amx_tile, amx_bf16 и amx_int8. Поддержка AMX в Linux — с ядра 5.16.
2. Сравните форматы. Прогоните одну и ту же модель в FP32, BF16 и INT8. Разница покажет, работает ли AMX в вашем стеке и сколько точности теряет квантование.
3. Меряйте две фазы LLM отдельно. Время до первого токена зависит от ядер, скорость генерации — от памяти. Для эмбеддингов и OCR считайте документы или страницы в секунду на пакете.
4. Проверьте NUMA. Запустите экземпляр на одном сокете (numactl cpunodebind=0 membind=0) и сравните общую пропускную способность двух вариантов: один экземпляр на весь сервер или два, по одному на сокет.
5. Дайте реальную параллельность. Нагрузите столько одновременных запросов, сколько ждёте в работе, и смотрите задержку 95-го перцентиля, а не среднюю.
6. Сверьте частоту памяти в iDRAC или iLO: от неё напрямую зависит скорость генерации.

Если при целевой нагрузке задержка не устраивает даже после квантования, это задача для GPU-сервера.

Частые вопросы

Можно ли запустить LLM на сервере без видеокарты?

Да, если модель небольшая и одновременных запросов немного. Квантованная модель класса 7–13B на Xeon с AMX подходит для внутреннего ассистента или RAG. Большие модели для сотен пользователей требуют GPU.

Нужно ли что-то докупать, чтобы включить AMX?

Нет. У всех процессоров склада в Intel ARK указано On Demand: No, AMX работает сразу. Нужен софт, который его использует, и модель в BF16 или INT8.

Сколько токенов в секунду выдаст ваш сервер?

Честной цифры без пилота нет. Есть ориентир Intel на другом процессоре: меньше 100 мс на токен для Llama 2 7B при batch 1. На нашем железе результат будет другим.

Можно ли потом поставить GPU в Dell R760?

Платформа допускает до двух GPU двойной ширины, но в складских сборках нет нужных райзеров, блоков питания и охлаждения. Такую доработку оцениваем отдельно и заранее не обещаем.

Как купить

Пишите запрос на почту gpu@vistlan.ru — оперативно ответим, выставим счёт, заключим договор. Полный комплект документов, официальная поставка, отгрузка в день оплаты.

В письме укажите задачу и модель, количество серверов и реквизиты компании.

Читайте также:

• 61 сервер в наличии: Dell R760 и HPE DL380 Gen11
• Xeon Gold 6544Y или 6548Y+: частота или ядра
• Сервер для виртуализации: сколько ВМ потянут 64 ядра и 1,5 ТБ

Материал подготовлен отделом серверных решений VISTLAN. Обновлено 14.10.2026.