Engenheiro monta servidor caseiro com 12 placas de vídeo e 223 GB de VRAM para rodar inteligência artificial localmente

Um engenheiro de software chamou atenção no Reddit ao compartilhar imagens de uma estrutura que reúne quatro computadores e nada menos que 12 placas de vídeo. O equipamento foi montado para executar diferentes serviços de inteligência artificial localmente e conta com impressionantes 223 GB de memória de vídeo (VRAM) somados entre as GPUs.

A configuração foi apresentada pelo usuário u/negus123, na comunidade r/LocalLLM, dedicada à execução de modelos de linguagem em computadores próprios.

Show me your rack
byu/negus123 inLocalLLM

O que mais surpreende, além da quantidade de hardware, é a montagem. Os computadores foram distribuídos em quatro níveis de um rack, com placas de vídeo posicionadas de maneira pouco convencional, algumas aparentemente apoiadas sem fixação adequada.

Apesar da aparência improvisada, o conjunto reúne componentes de diferentes gerações, incluindo placas da AMD e da NVIDIA, além de modelos originalmente desenvolvidos para mineração de criptomoedas.

Quatro computadores e 12 placas de vídeo trabalhando com IA

O proprietário detalhou a configuração de cada uma das quatro máquinas. Embora compartilhem o mesmo rack, elas funcionam como computadores independentes. A primeira utiliza um processador AMD Ryzen 5 9600X, 32 GB de memória DDR5 e duas placas NVIDIA CMP 170HX, modelos originalmente voltados à mineração.

A segunda máquina é equipada com um Ryzen 7 5700, 32 GB de RAM DDR4 e cinco placas Radeon RX Vega 56.

O terceiro computador combina um Intel Core i7-9700, 32 GB de memória DDR4, uma GeForce RTX 3070 e uma RTX 2080 Ti.

Por fim, a quarta configuração utiliza um Ryzen 5 7500X3D, conforme informado pelo autor, 32 GB de memória DDR5, uma Radeon RX 7900 XTX e duas Radeon RX 5600 XT.

Somadas, as quatro máquinas possuem 128 GB de memória RAM e 223 GB de VRAM, distribuídos entre as 12 placas de vídeo.

Essa quantidade de memória gráfica é particularmente interessante para aplicações de inteligência artificial. Modelos de linguagem maiores exigem dezenas ou até centenas de gigabytes para manter seus parâmetros carregados, dependendo do tamanho e do nível de quantização utilizado.

Entretanto, existe uma diferença importante: os 223 GB anunciados não funcionam como uma memória única. Como as placas estão distribuídas entre computadores independentes, aproveitar toda essa capacidade para executar um único modelo exigiria técnicas específicas de distribuição e comunicação entre máquinas.

O servidor não executa os principais modelos de IA do proprietário

Uma das revelações mais curiosas surgiu nos comentários da publicação. Questionado se as quatro máquinas trabalhavam juntas para executar um único modelo de linguagem, o engenheiro explicou que elas funcionam separadamente.

Segundo ele, nenhuma delas hospeda seus principais modelos de IA. O rack é utilizado para executar diferentes servidores de inferência que podem ser acessados tanto pelo próprio usuário quanto por seus modelos de linguagem.

Na prática, isso permite distribuir tarefas de inteligência artificial entre computadores especializados, sem depender de uma única máquina para executar todas as operações. O proprietário revelou ainda que possui outros dois servidores principais, equipados com placas-mãe e processadores de workstation, além de centenas de gigabytes adicionais de VRAM.

Parte das placas veio de computadores antigos e máquinas de mineração

Outra curiosidade é que nem todo o hardware foi adquirido especificamente para o projeto. O engenheiro contou que reaproveitou placas de vídeo de antigos computadores destinados a jogos e componentes de uma estrutura de mineração que pertencia a um amigo.

Segundo ele, os componentes mais caros do rack são a Radeon RX 7900 XTX e as duas NVIDIA CMP 170HX.

Ao ser questionado sobre o valor total da configuração, estimou que o conjunto não ultrapassaria US$ 10 mil, com aproximadamente metade desse montante concentrada nas duas placas CMP.

O reaproveitamento de GPUs para inteligência artificial tem se tornado uma alternativa entre entusiastas que desejam experimentar modelos locais sem investir exclusivamente em aceleradores profissionais.

Embora placas mais antigas possam apresentar limitações de desempenho, memória e compatibilidade com determinados frameworks, elas ainda podem ser úteis em tarefas específicas.

Montagem improvisada preocupa outros usuários do Reddit

A fotografia também provocou uma série de comentários sobre a organização e a segurança do equipamento. Diversos participantes questionaram a ausência de suportes adequados para algumas placas de vídeo, alertando para possíveis problemas de vibração, contato entre componentes e desgaste dos sistemas de refrigeração.

Um usuário relatou ter observado problemas com ventoinhas em estruturas de mineração montadas com suportes inadequados. O proprietário respondeu com bom humor às críticas. Também explicou que o rack permanece fechado na maior parte do tempo e que a instalação ainda está em fase experimental.

A preocupação tem fundamento técnico. Placas de vídeo pesadas precisam de sustentação mecânica adequada, enquanto componentes expostos exigem atenção para evitar contatos elétricos indesejados. A ventilação também é importante quando diversas GPUs operam simultaneamente.

Isso não significa, entretanto, que o equipamento apresentado tenha sofrido algum defeito. O autor não relatou falhas desse tipo.

A configuração mostra como o interesse pela inteligência artificial executada localmente está incentivando entusiastas a reaproveitar hardware de diferentes gerações e construir infraestruturas próprias, mesmo quando o resultado está longe da organização encontrada em um data center convencional.