Homem monta PC com quatro placas Radeon e 128 GB de VRAM para rodar IA local e alcança 1.192 tokens por segundo

Um entusiasta de inteligência artificial chamou atenção no Reddit ao compartilhar imagens e resultados de um computador equipado com quatro placas de vídeo AMD Radeon AI PRO R9700. A máquina reúne impressionantes 128 GB de memória gráfica (VRAM) e foi montada para executar modelos avançados de inteligência artificial localmente, sem depender de serviços na nuvem.

A configuração foi apresentada pelo usuário u/brainchillzZ, na comunidade r/LocalLLM, neste sábado (24). Além das fotografias do computador, o proprietário divulgou testes de desempenho com o modelo Qwen3.8-Flash-Next, que possui aproximadamente 180 bilhões de parâmetros.

Qwen3.8-Flash-Next on 4x R9700 with Radiance at TP4: 11.3 ms steps, 236 tok/s single stream, 1,190 tok/s at 16 streams. Also tried 2x TP2, it lost.
byu/brainchillzZ inLocalLLM

O resultado mais impressionante foi a capacidade de alcançar 1.192 tokens por segundo com 16 fluxos simultâneos, utilizando as quatro placas de vídeo em conjunto. Com apenas um fluxo, a velocidade ficou em 236 tokens por segundo.

Quatro placas Radeon trabalhando juntas para executar IA

O computador utiliza quatro Radeon AI PRO R9700, cada uma equipada com 32 GB de VRAM. As placas estão conectadas por interfaces PCI Express 5.0 x16, com suporte à comunicação direta entre GPUs. A configuração também inclui 122 GB de memória RAM, Ubuntu 26.04 e um kernel Linux 7.0 configurado para permitir operações de transferência entre dispositivos PCIe.

O proprietário limitou o consumo de cada placa a 211 W, valor que, segundo ele, é atingido durante a geração das respostas. Somente as quatro GPUs podem consumir aproximadamente 844 W nessas condições, sem considerar os demais componentes.

A montagem lembra outras configurações utilizadas por entusiastas de IA. Recentemente, o Hardware.com.br mostrou o caso de um engenheiro que reuniu 12 placas de vídeo e 223 GB de VRAM em um servidor caseiro.

A diferença é que, no novo projeto, as quatro Radeon trabalham de maneira coordenada para executar uma única instância do modelo de linguagem.

Mudança de software fez o desempenho praticamente triplicar

O proprietário explicou que já utilizava as quatro Radeon para executar o Qwen3.8-Flash-Next, mas anteriormente dependia do llama.cpp.

Na configuração antiga, o desempenho ficava entre 65 e 75 tokens por segundo, mesmo com recursos de geração especulativa de tokens.

A situação mudou quando ele experimentou o Radiance, um mecanismo de inferência desenvolvido em C++ e HIP, capaz de distribuir o processamento entre as quatro placas por meio de paralelismo tensorial.

Com essa abordagem, o modelo passa a utilizar simultaneamente os recursos computacionais das GPUs, em vez de simplesmente distribuir suas camadas entre elas.

Os resultados divulgados foram os seguintes:

Os números representam a quantidade total de tokens gerados por segundo em cada cenário, não a velocidade individual de cada usuário.

Na prática, isso significa que o computador pode atender diversas solicitações de IA ao mesmo tempo, característica interessante para aplicações com agentes autônomos, assistentes de programação e serviços internos.

O desempenho de um único fluxo também aumentou aproximadamente três vezes em relação à configuração anterior, embora a comparação envolva mecanismos de inferência diferentes

Os 128 GB de VRAM fazem diferença na execução do modelo

Um dos principais desafios de executar modelos de linguagem grandes localmente é a quantidade de memória necessária para armazenar seus parâmetros.

O Qwen3.8-Flash-Next utilizado nos testes possui arquitetura Mixture of Experts (MoE), na qual apenas uma parcela dos especialistas participa do processamento de cada token.

O proprietário utilizou uma versão quantizada do modelo, com arquivo de aproximadamente 113,6 GiB. Com o paralelismo distribuído entre as quatro Radeon, cada placa armazena uma fração dos pesos e dos especialistas do modelo, além de reservar espaço para o cache KV, utilizado para manter informações das conversas.

Segundo os dados publicados, cada GPU disponibiliza aproximadamente 12,74 GiB para esse cache, permitindo trabalhar com contextos extensos e múltiplas sessões.

O projeto mostra a importância da memória gráfica para aplicações de IA, especialmente quando modelos maiores precisam permanecer carregados durante a inferência.

Usar as quatro placas juntas foi melhor do que dividir o computador em dois

Outro experimento realizado pelo entusiasta envolveu separar as quatro Radeon em dois grupos, cada um com duas GPUs.

A ideia era descobrir se duas instâncias independentes do modelo conseguiriam atender mais solicitações do que uma única instância distribuída entre as quatro placas.

Entretanto, a configuração com quatro GPUs trabalhando juntas apresentou resultados superiores em todas as comparações realizadas com a mesma quantidade de fluxos simultâneos.

Com 16 fluxos, por exemplo, a configuração unificada alcançou 1.192 tokens por segundo, enquanto as duas instâncias independentes chegaram a 917 tokens por segundo.

Segundo o proprietário, parte da diferença está relacionada à necessidade de transferir dados entre a memória RAM e as GPUs na configuração dividida. Com as quatro placas trabalhando juntas, os especialistas do modelo permanecem residentes na VRAM.

A configuração dividida conseguiu executar 32 fluxos simultâneos e atingir 1.280 tokens por segundo, mas o proprietário ainda não havia realizado um teste equivalente com as quatro GPUs unificadas. Portanto, esse resultado não estabelece uma vantagem definitiva para a divisão.

Até o gato da casa influenciou o projeto do gabinete

Além dos resultados de desempenho, um detalhe curioso da montagem chamou atenção nas fotos: a estrutura elevada instalada na parte superior do gabinete.

O proprietário explicou que comprou uma segunda tampa para o gabinete Thermaltake e utilizou hastes de aço e ímãs de neodímio para criar uma cobertura suspensa cerca de 3,8 centímetros acima da estrutura original.

O motivo foi bastante doméstico. Seu gato costumava deitar sobre o gabinete, bloqueando a saída de ar quente do radiador de 360 mm instalado na parte superior.

A adaptação permite que o ar continue escapando mesmo quando o animal decide descansar sobre o computador.

A preocupação com refrigeração não é exagerada. Em outra reportagem, mostramos um desenvolvedor que relatou problemas com o calor produzido por um servidor caseiro equipado com cinco placas de vídeo para IA.