Montar um servidor com seis GPUs normalmente significa recorrer a um chassi aberto ou a um gabinete de servidor. Um usuário do Reddit decidiu seguir outro caminho: colocou seis NVIDIA Tesla V100 PCIe de 16 GB dentro de um gabinete full tower convencional, criando uma máquina com 96 GB de memória HBM2 somada entre as placas para experimentos com inteligência artificial local.
As fotografias deixam clara a principal dificuldade do projeto. Quatro V100 ficam empilhadas na região tradicional das placas de expansão, enquanto outras duas foram posicionadas em outra área do gabinete e conectadas por extensores PCIe. Segundo o autor, o próprio gabinete precisou ser modificado para receber essas duas GPUs.
Installing 6 GPUs in a standard case rather than using an open-frame chassis.
by
u/Odd_Caterpillar_2994 in
LocalAIServers
Seis Tesla V100 poderiam consumir 1.500 W somente nas GPUs
A escolha das V100 cria outro problema: energia e refrigeração. A NVIDIA especifica até 250 W de consumo para cada Tesla V100 PCIe, o que levaria seis unidades a uma potência máxima combinada de 1.500 W apenas nas GPUs. Cada placa utiliza PCIe 3.0 x16 e pode trazer 16 GB ou 32 GB de HBM2.
O autor, porém, disse que pretende limitar cada V100 a 140 ou 150 W. Nesse cenário, as seis placas ficariam entre aproximadamente 840 e 900 W, sem contar processador, memória, armazenamento, ventoinhas e perdas da fonte.
A refrigeração também precisou ser adaptada. A Tesla V100 PCIe utiliza originalmente uma solução térmica passiva e depende do forte fluxo de ar encontrado em servidores. Nas imagens do projeto, cada GPU recebeu um cooler do tipo blower.
Servidor usa AMD EPYC e placa-mãe com sete slots PCIe
A base do sistema é um AMD EPYC 7262 instalado em uma placa-mãe ASRock Rack ROMED8-2T. O objetivo declarado é testar modelos de IA distribuídos entre as seis GPUs, usando paralelismo para dividir a carga entre elas.
Você também deve ler!
HyperX Pulsefire Core: mouse gamer de R$314 saindo por R$105 — e com nota 4.8 de 5 estrelas
