Um desenvolvedor apresentou no Reddit um projeto que foge da ideia tradicional de executar um único modelo de inteligência artificial em um hardware cada vez mais potente. Em vez disso, ele montou um cluster formado por cinco NVIDIA Jetson Orin Nano Super Developer Kit, cada um responsável por executar um pequeno modelo especializado. O objetivo é descobrir se um grupo de agentes de IA consegue produzir respostas melhores do que um único modelo generalista em determinadas tarefas.
A publicação foi compartilhada no subreddit dedicado à plataforma Jetson e mostra o conjunto já montado, com as cinco placas ligadas a um switch Ethernet. Segundo o autor, esta é a primeira etapa do projeto, que ele chama de “first light”, antes do início dos experimentos propriamente ditos.
First light from a 5x nano cluster
by
u/fixingbrokenrobots in
JetsonNano
Cada placa executa uma IA diferente
O desenvolvedor explicou que pretende transformar cada Jetson Orin Nano em um agente independente. Cada nó executará o llama.cpp, um pequeno modelo ajustado especificamente para sua função, adaptadores LoRA próprios e uma base RAG (Retrieval-Augmented Generation) contendo informações especializadas. A comunicação entre os dispositivos será feita por meio de uma API desenvolvida em Python utilizando FastAPI.
No topo dessa arquitetura ficará um sexto componente lógico, chamado pelo autor de “Hobbit Boss”. Esse controlador será responsável por distribuir tarefas entre os diferentes agentes, combinar as respostas produzidas por cada um e disponibilizar o resultado final por meio de uma interface acessível pela rede local.
Segundo o desenvolvedor, praticamente toda a infraestrutura está sendo escrita em Python, enquanto as interfaces serão baseadas em JavaScript executado no navegador.
O objetivo não é velocidade
Embora a montagem lembre um pequeno cluster de computação, o autor afirma que seu foco não é obter a maior quantidade possível de tokens por segundo.
A proposta é investigar uma abordagem diferente para sistemas de IA. Em vez de depender de um único modelo de grande porte, cada computador executará um modelo menor, treinado para uma função específica. Alguns poderão receber personalidades derivadas de personagens criados pelo próprio desenvolvedor em seus romances de ficção científica. Outros serão especializados em tarefas práticas, como normalização de dados, formatação de texto, reconhecimento de entidades (NER) ou recuperação de informações por meio de bases vetoriais.
A principal pergunta do projeto é direta:
será que um grupo de pequenos especialistas consegue produzir respostas melhores do que um único modelo generalista em determinados domínios?
Essa ideia se aproxima das arquiteturas multiagentes que vêm ganhando espaço na pesquisa em inteligência artificial, nas quais diferentes modelos cooperam para resolver problemas complexos.
Por que usar cinco Jetson Orin Nano?
Nos comentários da publicação, alguns usuários sugeriram que uma GPU usada de desktop poderia oferecer desempenho superior.
O autor respondeu que esse nunca foi o objetivo. Segundo ele, uma GeForce GTX 1070 possui largura de banda de memória maior e mais núcleos CUDA disponíveis, mas também consome aproximadamente 150 W, sem considerar o restante do computador necessário para operá-la.
Cada Jetson Orin Nano, por outro lado, consome até cerca de 40 W e pode funcionar de maneira praticamente silenciosa utilizando refrigeração ativa. Para o projeto, fatores como modularidade, baixo consumo energético e operação autônoma são mais importantes do que maximizar a taxa de inferência.
Hardware voltado para Edge AI
O desenvolvedor também explicou que escolheu o Jetson Orin Nano Super Developer Kit pelas características voltadas à computação de borda. Segundo ele, o kit oferece desempenho de até 17 TFLOPS em FP16 e 67 TOPS em operações INT8 esparsas, superando alternativas compactas como soluções baseadas em Raspberry Pi equipadas com aceleradores dedicados.
Ele ressalta que o projeto não pretende substituir servidores de IA nem computadores equipados com GPUs de alto desempenho. A proposta é construir uma plataforma modular para experimentos envolvendo agentes inteligentes executados localmente.
Nos primeiros experimentos, o autor pretende utilizar modelos como Phi-4 e BitNet 1.58, ambos voltados para execução em hardware relativamente modesto. À medida que o projeto evoluir, outros modelos compactos poderão ser incorporados ao cluster para comparar desempenho, qualidade das respostas e especialização dos diferentes agentes.
Por enquanto, o trabalho representa menos uma disputa por desempenho bruto e mais uma investigação sobre como arquiteturas distribuídas podem ampliar as possibilidades da inteligência artificial executada diretamente na borda da rede, sem depender de infraestrutura em nuvem.
Você também deve ler!