A NVIDIA oficializou nesta terça-feira (1º) o DLSS 5 e revelou novos detalhes sobre uma tecnologia que promete mudar a maneira como a inteligência artificial participa da renderização dos jogos. O recurso estreia em 3 de setembro no NBA 2K27, inicialmente nas placas GeForce RTX 50, e introduz o chamado 3D-Guided Neural Rendering, capaz de usar o frame produzido pelo próprio jogo como base para acrescentar respostas mais complexas de iluminação e materiais.
Só que parte da comunidade não esperou pelo lançamento. Uma implementação antecipada do Neural Rendering acabou vazando e rapidamente foi adaptada por modders para funcionar em jogos que nunca receberam suporte ao DLSS 5. O resultado foi uma onda de experimentos que vai muito além das comparações de imagem: a tecnologia foi desmontada, modificada e executada até em GPUs oficialmente incompatíveis.
Os testes da comunidade também ajudam a enxergar aspectos que a apresentação oficial não deixa tão evidentes: o que o DLSS 5 acrescenta ao frame, quanto controle os desenvolvedores terão sobre o resultado e por que fazê-lo funcionar em uma GPU antiga não significa que ela consiga rodá-lo bem. Separamos cinco fatos que ajudam a entender o que realmente muda com a nova geração do DLSS.
1. Apesar do nome, o DLSS 5 não é uma nova tecnologia de upscaling
Quem acompanha o DLSS desde as primeiras versões pode associar uma nova geração da tecnologia a imagens reconstruídas em resoluções maiores ou ao aumento da taxa de quadros. No DLSS 5, porém, a principal novidade tem outra função: modificar a aparência do frame depois que boa parte do trabalho tradicional de renderização já foi realizada.
O 3D-Guided Neural Rendering introduz uma nova etapa no final do pipeline gráfico, na qual uma rede neural usa informações produzidas pela própria engine para acrescentar detalhes de iluminação e materiais ao frame. A diferença para uma IA generativa convencional está justamente no controle sobre o resultado. Em vez de receber um prompt e produzir livremente uma imagem, o DLSS 5 parte do frame renderizado pelo jogo, preservando como referência sua geometria, texturas e iluminação. O modelo também é treinado para interpretar informações da engine, como cor, normais das superfícies e fontes de luz.
Com esses dados, a IA consegue reproduzir efeitos que seriam caros para renderizar convencionalmente em tempo real. A NVIDIA cita dispersão da luz sob a pele, transmissão da luz através de cabelos e vegetação, sombras de contato mais profundas e iluminação global. Há ainda uma diferença importante para modelos usados na geração de imagens e vídeos, o DLSS 5 foi desenvolvido para ser determinístico. Entradas iguais devem produzir o mesmo resultado, evitando que um rosto ou objeto mude aleatoriamente entre os frames. O sistema processa um quadro de cada vez e usa os vetores de movimento fornecidos pela engine para manter estabilidade enquanto personagens e câmera se movimentam.
O DLSS 5 não substitui Super Resolution, Ray Reconstruction ou Multi Frame Generation. Ele funciona como uma camada adicional e pode operar junto dessas tecnologias. A mudança é mais profunda: pela primeira vez, o principal recurso de uma nova geração do DLSS não está focado apenas em reconstruir o que a engine já produziu, mas em usar IA para acrescentar detalhes visuais ao resultado.
2. O resultado do DLSS 5 depende tanto do modelo quanto do “peso” que o desenvolvedor decide aplicar
Uma das críticas que apareceram logo após o vazamento do DLSS 5 foi que a tecnologia poderia alterar demais a direção artística dos jogos. Os testes feitos pela comunidade em The Last of Us Part II ilustram bem a questão, com parâmetros mais agressivos, rostos podem ganhar outra aparência, enquanto configurações mais moderadas preservam melhor os personagens e ainda mantêm parte das melhorias em iluminação, sombras e materiais.
O DLSS 5 não funciona necessariamente como um efeito único aplicado da mesma maneira ao jogo inteiro. A NVIDIA desenvolveu controles que permitem aos artistas escolher diferentes modelos neurais e ajustar com bastante precisão onde e com que intensidade o 3D-Guided Neural Rendering será usado.
Segundo a NVIDIA, o SDK oferece vários modelos com pesos diferentes, capazes de produzir resultados distintos. Um estúdio pode, por exemplo, usar um modelo para áreas externas com vegetação densa e outro para ambientes internos com iluminação mais dramática. Também é possível adotar configurações diferentes entre gameplay e cutscenes.
O nível de controle vai além da escolha do modelo. Dois parâmetros chamados Structure Intensity e Tone Intensity permitem regular separadamente detalhes mais finos, como oclusão ambiente, reflexos e dispersão subsuperficial, e alterações mais amplas de iluminação e cor. Ao reduzir o Tone Intensity a zero, por exemplo, o desenvolvedor pode preservar as cores do frame original.
Há ainda máscaras semânticas capazes de reconhecer elementos da cena e limitar a atuação da IA. O estúdio pode intensificar o efeito no ambiente e reduzi-lo nos personagens, ou fazer o contrário. Máscaras fornecidas pela própria engine permitem ir ainda mais longe, isolando objetos como vidro, gotas d’água ou vegetação para receber ajustes específicos.
Aplicar o Neural Rendering indiscriminadamente e com parâmetros extremos está muito distante do nível de controle disponível em uma integração oficial.
3. Ray tracing e path tracing podem melhorar o próprio DLSS 5
O DLSS 5 não foi criado para tornar técnicas como ray tracing e path tracing desnecessárias. Segundo a NVIDIA, acontece justamente o contrário, quanto melhores forem as informações produzidas pela engine, mais preciso tende a ser o resultado do 3D-Guided Neural Rendering.
O modelo consegue trabalhar sobre uma cena renderizada de maneira tradicional, por rasterização. Porém, quando recebe dados mais completos de iluminação produzidos por ray tracing ou path tracing, passa a contar com uma base mais rica para interpretar materiais, fontes de luz e a relação entre os objetos da cena. A NVIDIA afirma que esse tipo de entrada pode produzir resultados significativamente mais precisos.
Isso acontece porque o DLSS 5 não parte do zero. O frame renderizado funciona como sua fundação, acompanhado de informações da engine como cor, albedo, normais e iluminação. A rede neural usa esses dados para acrescentar respostas mais complexas, como dispersão da luz na pele, transmissão através de cabelos e vegetação, sombras de contato e iluminação global.
O DLSS 5 pode funcionar em conjunto com rasterização, ray tracing e path tracing, usando essas técnicas como ponto de partida para gerar a imagem final. Quanto mais fiel for essa base, maior é o potencial para a IA produzir um resultado coerente com a cena original.
4. O DLSS 5 já foi executado até em uma RTX 2070, mas isso não significa que ela consiga rodá-lo bem
Oficialmente, a NVIDIA vai estrear o DLSS 5 apenas nas GeForce RTX 50. Os experimentos da comunidade, porém, mostram que essa limitação não significa que o Neural Rendering seja simplesmente incapaz de executar em arquiteturas anteriores.
Modders já conseguiram colocar versões experimentais da tecnologia para funcionar em placas RTX 40 e RTX 30. Um pesquisador da comunidade conseguiu executar o Neural Rendering em uma RTX 2070, baseada na arquitetura Turing, e analisou os próprios kernels processados pela GPU.
DLSS 5 Neural Rendering running on an RTX 2070 / Turing under Linux + Proton — and we may have found why it is so slow
by
u/ConfidentDinner6648 in
nvidia
A experiência ajuda a revelar por que “funcionar” e “ser viável” são coisas muito diferentes. Parte do modelo utiliza operações associadas a FP8, formato que arquiteturas mais novas conseguem acelerar de maneira muito mais eficiente. Na RTX 2070, operações equivalentes precisam ser quebradas em uma sequência maior de instruções, aumentando o trabalho dos Tensor Cores, o uso de registradores e o custo do processamento.
Os resultados vistos nas RTX 30 deixam essa diferença ainda mais concreta. Em testes não oficiais acompanhados pela comunidade, uma RTX 3080 caiu de cerca de 130 FPS para apenas 4 FPS em Deep Rock Galactic depois que o Neural Rendering foi ativado. Em outros experimentos, RTX 3050 e RTX 3060 Ti chegaram a rodar alguns jogos a aproximadamente 1 FPS. O caso mais extremo apareceu em uma RTX 3070 para notebooks. Em Kingdom Come: Deliverance II, uma implementação experimental em FP16 conseguiu ativar o Neural Rendering, mas a latência de renderização saltou de aproximadamente 29 milissegundos para mais de 3,3 segundos por frame.
Modders fazem DLSS 5 rodar nas RTX 30, mas desempenho chega a cair para 1 FPS
5. O Neural Rendering tem seu próprio custo de resolução, e modders já encontraram uma forma de reduzi-lo
Reduzir a resolução interna é uma das maneiras mais conhecidas de recuperar desempenho com DLSS. Os primeiros experimentos com o DLSS 5, porém, revelaram outra variável: a resolução na qual o próprio Neural Rendering processa a imagem.
Um teste realizado pela comunidade em uma RTX 4090 trouxe uma pista sobre o impacto da resolução no Neural Rendering. Mantendo praticamente a mesma resolução interna do jogo e alterando a resolução de saída, a diferença no tempo de renderização foi de apenas 0,23 ms com o recurso desligado, mas subiu para 1,34 ms quando ele estava ativo. O experimento sugere que a resolução sobre a qual o Neural Rendering trabalha pode ter participação importante no seu custo computacional, embora o resultado ainda não possa ser generalizado a partir de um único teste.
Interesting DLSS 5 finding on RTX 4090
by
u/kulind in
nvidia
Essa característica começou a ser explorada em uma versão experimental do OptiScaler, ferramenta open source usada pela comunidade para modificar e substituir tecnologias de reconstrução de imagem nos jogos. Uma implementação criada especificamente para o DLSS 5 passou a permitir que o Neural Rendering trabalhe em uma resolução menor, reduzindo a quantidade de pixels processados pela rede neural. Em um experimento com The Last of Us Part II divulgado pela comunidade, essa mudança teria elevado o desempenho de 14 para 30 FPS.
Há uma contrapartida, reduzir demais essa resolução também pode eliminar detalhes e introduzir instabilidade na imagem. Ainda assim, a descoberta ajuda a explicar por que os primeiros mods do DLSS 5 eram tão pesados e abre uma possibilidade interessante para a implementação final. A resolução usada pelo Neural Rendering pode se tornar mais uma variável na disputa entre qualidade de imagem e desempenho.