Entusiasta usa 7 placas de vídeo, incluindo modelos lançados há 10 anos, para rodar IA local e alcança 96 tokens por segundo

Um entusiasta de hardware conseguiu executar um modelo de inteligência artificial localmente utilizando uma configuração pouco convencional: seis placas NVIDIA Tesla M10, lançadas há cerca de dez anos, combinadas com uma GeForce RTX 3070 Ti. O equipamento, montado com componentes antigos e adaptações de software, alcançou 96,32 tokens por segundo em um teste de geração de código.

O projeto foi apresentado pelo usuário WiseAbalone4021 no Reddit, na comunidade r/LocalLLM. Segundo o responsável, o hardware utilizado representa um investimento de aproximadamente US$ 1.500.

QWEN 3.8 FN – 8bit FP quant – 96.32 tokens/s – Context of 95k – $1500 hardware
byu/WiseAbalone4021 inLocalLLM

Além da velocidade, a máquina reúne cerca de 200 GB de memória de vídeo e consegue trabalhar com uma janela de contexto próxima de 95 mil tokens, utilizando o modelo Qwen3.8-Flash-Next em precisão FP8.

Computador utiliza 25 GPUs e um processador Intel antigo

A montagem chama atenção pela quantidade de processadores gráficos. Cada Tesla M10 possui quatro GPUs baseadas na arquitetura Maxwell, com 8 GB de memória para cada chip. Dessa forma, as seis placas oferecem 24 GPUs e 192 GB de VRAM.

Uma RTX 3070 Ti, com outros 8 GB, completa a configuração e assume tarefas centrais de processamento do modelo.

O restante do computador também está longe de representar uma estação de trabalho moderna:

• Processador: Intel Core i5-6400, com quatro núcleos;
• Placa-mãe: ASRock B250M Pro4;
• Memória RAM: 32 GB DDR4;
• Placas de vídeo: seis NVIDIA Tesla M10 e uma RTX 3070 Ti;
• Armazenamento: SSD NVMe de 1 TB;
• Alimentação: duas fontes, de 650 W e 1.650 W.

As Tesla M10 foram originalmente desenvolvidas para aplicações de virtualização gráfica. Embora ofereçam bastante memória, são placas antigas e não possuem os recursos especializados para IA encontrados nas GPUs modernas.

O autor afirma ter conseguido adquirir unidades da Tesla M10 por aproximadamente US$ 80 cada, tornando possível reunir uma quantidade elevada de VRAM sem investir em aceleradores profissionais recentes.

Como placas tão antigas conseguem executar uma IA moderna?

O principal desafio não estava apenas em conectar todas as placas, mas em permitir que trabalhassem de maneira coordenada.

O Qwen3.8-Flash-Next utiliza uma arquitetura conhecida como Mixture of Experts (MoE), na qual diferentes conjuntos de parâmetros são acionados conforme a tarefa processada.

O entusiasta distribuiu esses cálculos entre as GPUs Tesla M10, enquanto a RTX 3070 Ti ficou responsável por operações como o mecanismo de atenção e a coordenação dos resultados.

Para reduzir os atrasos de comunicação, ele desenvolveu otimizações envolvendo transferências diretas entre GPUs, switches PCIe e modificações de baixo nível no sistema.

Em uma publicação anterior, a máquina havia alcançado 52,5 tokens por segundo. Após novas otimizações e a implementação de uma técnica de geração especulativa com múltiplos tokens (MTP), o resultado subiu para 96,32 tokens por segundo em geração de código.

Em textos comuns, o desempenho informado foi de aproximadamente 69 tokens por segundo.

Os resultados representam medições divulgadas pelo próprio desenvolvedor, e não testes independentes.

Consumo elétrico pode chegar a 1.800 W

Apesar do custo relativamente baixo do hardware, a eficiência energética é uma das principais limitações da montagem.

Nos comentários da publicação, o responsável informou que o computador consome aproximadamente 200 W em repouso, podendo atingir entre 1.500 W e 1.800 W durante cargas elevadas.

Esse consumo supera consideravelmente o de computadores convencionais e pode representar uma despesa significativa para quem pretende manter uma IA local funcionando por muitas horas.

Outro obstáculo está na RTX 3070 Ti. Seus 8 GB de VRAM limitam a quantidade de contexto que o sistema consegue processar. O desenvolvedor considera substituí-la por uma placa de 16 GB, possivelmente uma RTX 5070 Ti, para ampliar essa capacidade.

Mesmo com essas limitações, o projeto demonstra como componentes antigos podem ganhar novas aplicações quando combinados com soluções específicas de software.

O responsável disponibilizou o código e a documentação técnica no GitHub, mas ressalta que a implementação exige conhecimentos avançados de hardware, Linux e programação de baixo nível. Não se trata de uma solução pronta para usuários comuns.