GPU-хостинг и размещение AI-серверов

Чем GPU-хостинг отличается от ASIC

ASIC — это закрытая коробка, которая делает ровно одну вещь и управляется через веб-интерфейс. GPU-сервер — полноценный компьютер: у него есть операционная система, драйверы, дисковая подсистема и задачи, которые вы меняете. Отсюда разница в требованиях к площадке.

• Доступ. ASIC достаточно перезагрузить, GPU-машине нужен постоянный сетевой доступ — SSH, а часто и удалённое управление на уровне железа (IPMI/BMC).
• Состав задач. На GPU крутят и майнинг, и обучение моделей, и инференс — нагрузка на память, диск и сеть при этом принципиально разная.
• Ремонтопригодность. У сервера больше отказывающих узлов: блок питания, райзеры, накопители, планки памяти. Площадка должна быть готова их менять.
• Данные. На дисках AI-сервера лежат ваши данные и модели — это меняет требования к физическому и сетевому доступу.

Требования к питанию

Считать нужно не по паспортной мощности карт, а по пиковому потреблению всей машины. Серверные ускорители кратковременно выходят заметно выше номинала, и блок питания, подобранный «впритык», уводит машину в перезагрузку под нагрузкой — на площадке это выглядит как случайные падения задачи.

• Запас по мощности блока питания относительно расчётного пика, а не относительно номинала.
• Резервирование питания, если задача не терпит перерыва: два блока питания, ИБП, дизель.
• Отдельная линия и автомат под каждую машину, а не общий щиток на всю стойку.
• Понимание, что происходит при переходе на резерв: выдержит ли ИБП время запуска генератора.

Охлаждение и плотность стойки

Плотная сборка из нескольких ускорителей в одном корпусе выделяет на юнит больше тепла, чем классический сервер, под который проектировались старые залы. Если холодный коридор не отделён от горячего, верхние машины в стойке начинают всасывать выхлоп нижних и сбрасывать частоты — формально всё работает, фактически вы платите за мощность, которую не получаете.

• Разделение холодного и горячего коридоров, заглушки в пустых юнитах.
• Предельная мощность на стойку, которую площадка готова обеспечить по холоду, а не по питанию.
• Контроль температуры на входе в машину, а не «среднее по залу».
• Готовность площадки к жидкостному охлаждению, если оно нужно вашей конфигурации.

Сеть и удалённый доступ

• Пропускная способность канала и то, считается ли исходящий трафик отдельно.
• Выделенный адрес и возможность поднять VPN до машины.
• Внеполосное управление (IPMI/BMC): включение, перезагрузка и доступ к консоли без участия смены.
• Регламент реакции: за какое время дежурный подойдёт к стойке при аппаратном отказе.

Что уточнить до заезда

1. 1Полная конфигурация машины: модель ускорителей, их количество, расчётный пик потребления.
2. 2Форм-фактор: стоечный корпус или открытый стенд — не все площадки принимают вторые.
3. 3Кто несёт ответственность за содержимое дисков и есть ли у персонала физический доступ внутрь корпуса.
4. 4Порядок замены отказавших комплектующих и чьими запчастями это делается.
5. 5Условия вывоза оборудования и передачи данных при расторжении.

Частые вопросы

Можно ли разместить открытый майнинг-риг, а не серверный корпус?

Зависит от площадки. Открытые стенды занимают больше места и хуже вписываются в схему холодного и горячего коридоров, поэтому берут их не везде.

Чем GPU-хостинг отличается от аренды GPU в облаке?

При хостинге машина ваша, вы платите за место, питание и обслуживание. При аренде вы платите за часы работы чужого оборудования и не владеете им.

Нужен ли отдельный канал под инференс?

Если сервис отвечает на внешние запросы — да, важна не столько ширина канала, сколько стабильность задержки и наличие выделенного адреса.