Há cerca de um ano, um entusiasta entrou na comunidade r/homelab do Reddit com uma ideia: montar uma infraestrutura própria para oferecer servidores de Minecraft gratuitamente. Na época, o projeto consistia em dois sistemas com dois processadores AMD EPYC 7551 e 256 GB de memória DDR4 cada. Atualmente, as publicadas pelo responsável mostram algo bem diferente: racks ocupados por servidores, switches e equipamentos de rede, além de máquinas abertas sobre a bancada.
A dimensão declarada pelo autor é ainda maior. Segundo ele, a plataforma chegou a 1,2 milhão de usuários/containers e atualmente utiliza 31 nós equipados com Ryzen 9 7950X, além de seis hipervisores, um NAS de 172 TB e uma rede formada por equipamentos Arista e Juniper. Esses números são informados pelo próprio responsável e não foram auditados de forma independente.
A história do crescimento, porém, também registra uma descoberta curiosa sobre hardware: ter muito mais núcleos não necessariamente tornou os antigos servidores EPYC a melhor opção para hospedar Minecraft.
1 Year ago I posted my first homelab here, now it’s grown to a 1.2 million user/container platform.
by
u/ATubbo in
homelab
Os servidores EPYC tinham mais threads, mas o Ryzen entregou a melhor experiência
As primeiras máquinas utilizavam dois AMD EPYC 7551 cada. O processador de primeira geração da família EPYC possui 32 núcleos, 64 threads, clock básico de 2 GHz e boost de até 3 GHz. Em uma configuração dual socket, portanto, havia uma quantidade enorme de núcleos disponível.
O responsável pelo projeto conta, entretanto, que a densidade de containers de Minecraft nesses sistemas era apenas cerca de 15% maior do que em nós equipados com Ryzen 9 7950X e DDR5-5600. A diferença percebida pelos jogadores teria sido muito maior no sentido contrário. Em alguns casos, afirma ele, um servidor executado no EPYC suportava cerca de cinco jogadores nas condições utilizadas por sua plataforma, enquanto um nó Ryzen chegava a aproximadamente 25. O autor atribui a diferença ao desempenho por thread. Não se trata de um benchmark controlado e os detalhes completos da carga de trabalho não foram publicados, portanto esses números não permitem concluir que um Ryzen seja cinco vezes mais rápido que o EPYC de forma geral.
O EPYC 7551 chega a 3 GHz, enquanto o Ryzen 9 7950X, baseado em Zen 4, possui 16 núcleos, 32 threads, clock básico de 4,5 GHz e boost de até 5,7 GHz. São processadores de gerações e propósitos bastante diferentes. Os EPYC inicialmente usados para Minecraft foram desligados e o responsável passou a investir nos Ryzen.
Dez Ryzen 9 foram comprados quando o projeto chegou aos 100 mil usuários
O próximo salto aconteceu quando a plataforma atingiu, segundo seu criador, cerca de 100 mil usuários e 300 usuários simultâneos na rede. A receita de anúncios exibidos no painel e de programas de afiliados indicava que o projeto poderia se sustentar. O responsável então comprou dez máquinas com Ryzen 9 7950X, 128 GB de DDR5 e SSD NVMe de 1 TB cada.
A rede também deixou de depender apenas dos equipamentos utilizados no início. Entraram switches gerenciáveis Arista 7050SX e 7050QX. Nem toda a infraestrutura acompanhou imediatamente esse salto. O roteamento passou, durante aproximadamente quatro meses, por um mini PC com VyOS e um adaptador de rede USB. A solução improvisada funcionou até apresentar uma falha que o obrigou a reconstruir a rede.
Hoje a infraestrutura declarada inclui 31 nós Ryzen e um NAS de 172 TB
São 31 nós Ryzen 9 7950X, cada um equipado com 128 GB de DDR5-5600, SSD NVMe PCIe 4.0 de 1 TB e interface SFP+ de 10 Gbps. Somados, somente esses nós representam quase 4 TB de memória RAM instalada. Os antigos EPYC também não desapareceram completamente. Quatro hipervisores utilizam dois EPYC 7551, entre 256 e 512 GB de DDR4, NVMe de 4 TB e interfaces SFP28 de 25 Gbps. Outros dois hipervisores usam Ryzen 9 7950X, 256 GB de DDR5, NVMe PCIe 4.0 de 4 TB e rede de 10 Gbps.
O armazenamento central fica em um NAS de 172 TB configurado em RAID 10, equipado com duas interfaces QSFP de 40 Gbps. A rede inclui ainda dois Arista 7050SX utilizados como leaf switches, dois Arista 7050QX como spine, dois Juniper QFX5100 e um roteador/firewall VyOS com duas conexões de 100 Gbps. Um equipamento Cisco fornecido pelo provedor completa a infraestrutura para terminar um túnel ponto a ponto.
Os servidores gratuitos de Minecraft rodam em containers, não em máquinas virtuais
Há ainda uma separação importante entre os dois lados da operação.
Em respostas aos leitores, o responsável explicou que os nós Ryzen destinados à hospedagem gratuita de Minecraft não utilizam máquinas virtuais. Os servidores são executados em containers Docker administrados pelo Wings, componente do Pterodactyl. Já os serviços de VPS utilizam máquinas virtuais e VirtFusion. Essa operação paga possui SLA de 99,95%, enquanto ele atribuiu à hospedagem gratuita um SLA de apenas 26,04%.
O projeto gratuito quase ficou financeiramente insustentável
O crescimento trouxe um problema que mais processadores não resolveriam: dinheiro. O modelo original dependia da publicidade exibida no painel e de receita de afiliados. O responsável conta que cometeu o erro de presumir que o CPM do AdSense permaneceria estável. Quando a receita caiu, a operação começou a perder dinheiro.
A solução veio justamente dos equipamentos que haviam perdido espaço no serviço de Minecraft. A equipe passou a comercializar VPS baratos utilizando parte do hardware retirado da função original. Essa área acabou respondendo por 80% da receita total e passou a financiar novos nós para o serviço gratuito e melhorias no sistema de backups.
Conta de energia fica entre £ 1.200 e £ 1.800 por mês
Manter dezenas de servidores ligados continuamente também tem uma consequência bastante concreta na conta de luz. Questionado sobre isso, ele afirmou pagar entre 1.200 e 1.800 libras por mês em eletricidade. Ele diz que a operação permanece no positivo e, portanto, a despesa não precisa sair de seu próprio bolso. O sistema de alimentação conta com grandes baterias de UPS ligadas a três circuitos elétricos de 30 A cada.
Ataques DDoS de mais de 900 Gbps estão entre as alegações mais difíceis de verificar
A infraestrutura passou a sofrer diariamente ataques DDoS de camada 3/4 e também de camada 7, com ataques ultrapassando 900 Gbps. Isso se tornou especialmente problemático porque os uplinks dos servidores variavam de 1 a 10 Gbps. Ele também afirma ter abandonado completamente a OVH após considerar que o sistema de mitigação deixava passar entre 2% e 3% do tráfego dos ataques. O novo provedor, segundo ele, teria reduzido esse valor para menos de 0,002%.
Você também deve ler!