Essa é a ferramenta de IA que o SBT usa para remasterizar Chaves e Chapolin

Já comentamos aqui no Hardware.com.br sobre a questão do uso de inteligência artificial que o SBT está empregando para remasterizar episódios de Chaves e Chapolin.

O tema divide opiniões. Algumas pessoas não se importaram tanto com o resultado do tratamento dado às imagens e até apontam o uso como algo positivo, já que é uma maneira de tentar renovar as produções. Outras pessoas, no entanto, estão criticando a maneira como o recurso está sendo utilizado, devido ao peso da artificialidade e até mesmo aos novos problemas que a IA está agregando aos episódios.

A IA usada pelo SBT nos episódios de Chaves e Chapolin

Afinal, qual é o método que o SBT tem utilizado para a remasterização dos episódios das obras de Chespirito?

A ferramenta em questão é fornecida por uma companhia conhecida por seus excelentes softwares de upscaling: a Topaz Labs.

Esse trabalho é gerenciado por Alfonso Aurin, Diretor de Tecnologia e Operações do SBT.

Em entrevista ao site NaTelinha, Aurin confirmou o uso de uma solução da Topaz. Ele não mencionou nominalmente o software utilizado, mas, dentre as opções oferecidas pela companhia, o programa que lida diretamente com o tratamento de materiais em vídeo é o Topaz Video AI. 

Outro software amplamente conhecido da Topaz é o Gigapixel, um upscaler fantástico para imagens. Ele é muito popular entre aqueles que curtem gerar imagens via inteligência artificial, atuando como uma solução de ponta para escalonar imagens de maneira refinada.

Assim como outros upscalings conhecidos, como o Magnific e o Krea, o Gigapixel consegue acrescentar muitos detalhes a uma imagem. Uma função interessante da versão mais recente do Gigapixel (8.0) é o escalonamento de detalhes setorizado: você seleciona uma parte da imagem, descreve o que seria no prompt, e o software trabalha na inclusão de definição naquela área específica.

Outra característica do Gigapixels são modelos de tratamento para imagens que visam atender determinadas particularidades do arquivo, como a preservação de textos e formas, ou, por exemplo, o refinamento para ilustrações e imagens geradas por computação gráfica. Já usei o Gigapixel algumas vezes, particularmente gosto do modelo Standard, ele costuma funcionar muito bem para todos os tipos de imagens:

Topaz Video AI

Em relação à ferramenta de vídeo, o Topaz Video AI é considerado uma solução profissional para upscale de vídeo, utilizada inclusive por estúdios de cinema.

Assim como a Adobe faz com seus softwares, a Topaz trabalha sob o modelo de assinatura. O preço da assinatura do Topaz Video AI parte de US$ 299 por ano e pode ultrapassar US$ 4.999 por ano.

Na entrevista ao NaTelinha, Aurin comentou que o SBT está implementando um hardware melhorado, com duas GPUs, para conseguir atender às remasterizações que a emissora almeja. O plano não é se limitar a Chaves e Chapolin; o SBT planeja aplicar a mesma solução em novelas e programas antigos.

Na página oficial do Topaz Video AI, é possível ver que a empresa menciona que na licença anual do modo Pro, de US$ 1.099/ano, há suporte para renderização em multi-GPUs, cenário de uso que o SBT deve começar a aplicar. Essa também é a licença que permite o uso comercial, caso que se aplica ao SBT.

Sobre o uso de mais de uma placa de vídeo, a Topaz menciona a importância da combinação de GPUs com desempenho o mais próximo possível:

“Recomendamos combinar as GPUs o mais próximo possível para um desempenho ideal. (Exemplo: uma placa RTX 4000 deve ser pareada com outra placa RTX 4000 no modo multi-GPU)”, explica a Topaz em seu site.

Citando como exemplo um input em 7680x4320p, e aplicando o modelo de denoise Nyx, a Topaz apresenta o seguinte tempo de render ao comparar o uso de uma GPU com o de múltiplas placas:

O Diretor de Tecnologia e Operações do SBT explicou o workflow do Topaz Video AI em Chaves e Chapolin:

“Cada episódio (de Chaves e Chapolin) tem um tempo médio de arte de 30 minutos. O tempo médio para remasterizar é de uma hora, dependendo do hardware e das opções de melhoria selecionadas. Estamos implementando hardware mais veloz com duas GPUs.”

Em relação às especificações recomendadas pela Topaz para rodar o Video AI, temos o seguinte:

• Processador: Intel ou AMD com instruções AVX2
• Memória RAM: 32 GB ou mais
• Placa de vídeo: RTX 3000 ou superior, 8 GB de VRAM / AMD Radeon RX 5000 ou superior, 8 GB

Além do Windows, o Topaz Video AI também roda em Mac. A quantidade de RAM recomendada é de 32 GB, e a Topaz menciona Macs da série M, isto é, opções que já contam com processadores da plataforma Apple Silicon.

Aurin menciona na entrevista que o tempo de render depende das opções de melhorias selecionadas. Essas opções do Video AI abordam diversos pontos, desde o escalonamento de resolução (podendo chegar até 24K), a definição de uma taxa de bitrate específica e até mesmo a renderização com um LUT de cor aplicado. O Topaz Video AI também conta com diversos modelos que visam atender refinamentos específicos, como o modelo Gaia, voltado para upscalling em animações. Os modelos também abragem outros aspectos, como artefatos de compressão. Os dados de treinamento da Topaz incluem milhares de vídeos em baixa, média e alta qualidade, abrangendo diversos problemas, como haloing ou aliasing.

O software conta com diversas opções de presets, que visam algumas metas, como remoção de ruído (útil em takes capturados com ISO elevado), conversão para 60 fps, upscale para FHD, 4K, 8K, aplicação de efeito de estabilização de imagem, entre outras funcionalidades.

Aurin também acrescentou que “para melhorar a experiência do público, foram usados recursos que corrigem distorções típicas do registro analógico em fitas. Na época, era comum o uso de videotapes, que se degradavam com o tempo, gerando ruídos, rotação de fase e outras instabilidades.”