1 TB de memória: homem reúne 8 computadores NVIDIA DGX Spark em rack para rodar IA local

Uma estrutura com oito computadores NVIDIA DGX Spark, equipamentos de rede e aproximadamente 1 TB de memória unificada chamou a atenção da comunidade de inteligência artificial no Reddit. A montagem foi apresentada pelo usuário DominionCyber, que revelou utilizar o conjunto para executar modelos avançados de IA localmente, sem depender de serviços externos.

A fotografia publicada no subreddit r/LocalLLM mostra os oito computadores organizados sobre um pequeno rack com rodinhas, acompanhados de um switch MikroTik e equipamentos da Ubiquiti.

Our “quite terrible” allocation of DRAM
byu/DominionCyber inLocalLLM

Embora pareça um projeto de entusiasta, o responsável explicou que a infraestrutura atende a necessidades profissionais, especialmente relacionadas ao processamento de informações confidenciais.

Oito NVIDIA DGX Spark trabalhando em conjunto

O principal destaque da montagem são os oito NVIDIA DGX Spark, computadores compactos desenvolvidos para executar aplicações de inteligência artificial.

Cada unidade oferece 128 GB de memória unificada, compartilhada entre CPU e GPU. Com oito equipamentos, a estrutura reúne 1.024 GB, equivalentes a aproximadamente 1 TB de memória física.

Para interligar os computadores, o responsável utiliza um switch MikroTik CRS804-DDQ. Segundo ele, cada porta de 400 Gb/s emprega um cabo breakout que divide a conexão em dois enlaces de 200 Gb/s.

O projeto começou com quatro DGX Spark. Posteriormente, outras quatro unidades foram adicionadas conforme aumentou a necessidade de executar modelos maiores.

O autor reconheceu que, se estivesse começando novamente, consideraria economizar para adquirir uma NVIDIA DGX Station.

Sistema consegue executar modelos de IA de grande porte

Nos comentários, o responsável compartilhou resultados preliminares utilizando o modelo DeepSeek-V4.1-Flash, distribuído entre os oito computadores.

Em uma configuração ainda sem ajustes adicionais de desempenho, o conjunto alcançou 72,4 tokens por segundo na geração de respostas em um teste sem contexto prévio. Em outro cenário, com 65.536 tokens de contexto, registrou 90 tokens por segundo.

Os números foram divulgados pelo próprio autor e não representam testes independentes.

Ele também explicou que adicionar computadores não significa necessariamente acelerar uma única resposta. O objetivo principal é ampliar a capacidade de memória disponível e permitir a execução simultânea de diferentes solicitações.

Por que investir tanto dinheiro em IA local?

Questionado sobre a vantagem financeira em relação a plataformas como ChatGPT e Claude, o responsável admitiu não saber se a estrutura é mais econômica.

A justificativa está na privacidade dos dados.

Segundo ele, seus clientes não desejavam compartilhar informações com terceiros, enquanto os projetos exigiam analisar terabytes de dados em menos de uma semana.

Nesse contexto, manter o processamento dentro da própria infraestrutura tornou-se uma necessidade operacional.

O autor também comentou sobre a refrigeração. Embora os computadores estejam posicionados muito próximos, afirmou monitorar constantemente as temperaturas. A montagem é temporária e deverá ser transferida para um rack instalado em um ambiente climatizado.

Curiosamente, o título da publicação, Our “quite terrible” allocation of DRAM, faz uma referência irônica às declarações recentes de Sam Altman, CEO da OpenAI, sobre a eficiência da utilização de memória RAM em computadores pessoais.

O projeto demonstra justamente uma das razões pelas quais organizações podem optar por executar inteligência artificial localmente: manter controle sobre os próprios dados, mesmo quando isso exige investimentos elevados em hardware.