Fedora harnesses the power of idle computers with Nightlife
Autor original: Lisa Hoover
Publicado originalmente no: https://lwn.net/
Tradução: Roberto Bechtlufft
Bryan Che, membro da equipe de gerenciamento de produto da Red Hat, anunciou recentemente o Fedora Nightlife, um projeto que ele espera que vá incentivar as pessoas a doarem o tempo de ociosidade de seus computadores ao processamento de dados de pesquisa científica e outros trabalhos sociais benéficos. O trabalho será realizado pelo gerenciador de carga de trabalho Condor, da Universidade de Wisconsin-Madison, que será responsável pelo agendamento e pela logística do poder de processamento doado. Che espera construir uma rede de mais de um milhão de computadores rodando o Fedora para ajudar no processamento de dados que vão de projetos de indexação da Web até pesquisa médica.
“Estamos conversando com a turma da Wikia porque queremos ajudá-los a indexar a Web com seu motor de busca de código aberto,” diz Che. “Seria ótimo se pudéssemos ajudar a equipe de infra-estrutura do Fedora em coisas como compilações ou testes automatizados. Há diversas pesquisas científicas que exigem alto poder computacional, e muitos estudantes poderiam fazer uso de um grid para suas pesquisas. Eu adoraria se todos os projetos desse tipo participassem.”
Che afirma que o escopo e o tipo dos projetos que participarão serão em grande parte ditados pela comunidade, e ele espera aproveitar esse know-how coletivo para “tornar o Nightlife um serviço comunitário útil.” Mas seu objetivo final, no entanto, não é apenas disponibilizar recursos computacionais, mas também desenvolver uma base para projetos que exijam uma infra-estrutura maior. Che comenta: “Por exemplo, muito do trabalho de HPC (computação de alto desempenho) hoje em dia é feito com o Linux – e particularmente com o Fedora ou o Red Hat. Isso nos põe em uma posição privilegiada para moldar e construir uma pilha de código aberto para grids de computação para pesquisas. Hoje em dia, muitas pessoas dependem de bibliotecas proprietárias (e caras) para realizarem suas pesquisas científicas ou sua computação corporativa. O Nightlife vai nos oferecer um grande fórum para incentivar esses usuários a definirem suas necessidades para então oferecer a eles uma solução de código totalmente aberto que eles possam usar para sua valiosa pesquisa.”
Naturalmente, a segurança é de importância primordial quando computadores são unidos em um cluster e dados externos são inseridos para processamento em um sistema. Che diz que a equipe do Nightlife leva a segurança muito a sério, e está tomando uma série de medidas para proteger os computadores dos usuários e garantir que o código aplicado também esteja seguro.
“Vamos exigir que projetos de aperfeiçoamento do Nightlife distribuam seus pacotes e o código fonte pelo Fedora,” explica Che. “Isso nos permitirá inspecionar o que os aplicativos estão fazendo para garantir que não seja nada maléfico. No lado da execução, uma das capacidades que adicionamos ao Condor recentemente é sua integração à tecnologia de virtualização libvirt. Isso permitirá que as pessoas executem tarefas do Nightlife dentro de uma máquina virtual protegida de seus computadores físicos.”
“Também queremos tirar vantagem da tecnologia SELinux que desenvolvemos junto com a NSA, que agirá como um mecanismo para garantir que os trabalhos realizarão apenas as tarefas para as quais tiverem permissões explícitas.
Che é rápido ao apontar que embora o Fedora tenha contribuído com muitos recursos, o Nightlife não é voltado especificamente para o Fedora ou para o Linux. Como o Condor suporta a execução de processos em várias plataformas diferentes, Mac OS, Windows, Unix, e distribuições Linux de qualquer tipo são capazes de doar recursos. Nem todos os recursos estarão disponíveis em plataformas não-Linux, no entanto, caso não possuam certas tecnologias embutidas. Por exemplo, o Windows não tem um hypervisor para ambientes virtuais e não suporta o SELinux.
“Qualquer um disposto a doar recursos que estejam sobrando ao Nightlife é muito bem-vindo, e espero que usuários de todas as plataformas se unam a nós,” encoraja Che. “Não há razão para que outras comunidades não participem conosco e até que adicionem algumas capacidades ao cliente Nightlife para suas plataformas. Do ponto de vista do desenvolvimento, o código upstream reside no projeto Condor na Universidade de Wisconsin. Assim, qualquer um pode contribuir com o projeto sem que haja envolvimento algum com o Fedora.”
Quando o projeto foi anunciado na semana passada, os membros da comunidade não entenderam porque o Fedora escolheu o Condor ao invés do BOINC, um projeto parecido da Universidade da Califórnia-Berkeley. Che afirma que embora os dois projetos tenham muito em comum, cada um tem um foco totalmente diferente. Ele diz que a missão do BOINC é “muito focada em permitir que desktops e laptops ofereçam capacidade computacional como parte de um grid maior, enquanto o Condor serve a propósitos mais genéricos; ele pode fazer bom uso de capacidade não utilizada, mas é principalmente um bom agendador de recursos para grids dedicados.”
Enquanto algumas pessoas focam suas comparações entre o Condor e o BOINC na tecnologia por trás dos projetos, outros vêem semelhanças entre os projetos propriamente ditos. Na verdade, eles são bem diferentes. “O cliente do Condor pode usar um cliente BOINC para processar dados como “backfill” (quando não há outros trabalhos a serem executados),” observa Che. “Logo, não há porque encarar esses projetos como competidores. Afinal, há a possibilidade de se usar o Nightlife para aumentar o número de máquinas participantes do BOINC.” Obviamente, para que o Nightlife seja amplamente adotado, é preciso que seja fácil fazer parte dele. Como muitas empresas e pesquisadores já usam o Condor em seus grids dedicados, Che diz que ele foi uma escolha lógica para o projeto.
O Dr. Keith Laidig vê claramente o valor intrínseco do Nightlife, e como ele pode beneficiar a comunidade científica em geral. Ele é o chefe da infra-estrutura do grupo de biofísica computacional do Departamento de Bioquímica da Universidade de Washington, e regularmente utiliza capacidades computacionais externas para preparar os dados para os pesquisadores. Sob a direção do professor David Baker, há quatro anos o grupo criou o Robetta, um servidor de predição automatizado que distribui trabalho a outros sistemas via Condor, que se provou “muito bem-sucedido em manter o tempo de espera (para resultados de pesquisa) na faixa do ‘meses’.”
Laidig disse recentemente à comunidade do Nightlife: “se tivéssemos acesso a um maior poder computacional, mesmo aquele disponível em períodos modestos de ociosidade, poderíamos usar esse poder para trabalhar com muitas questões na área de pesquisa biomédica, como na criação de uma vacina para o HIV/AIDS, melhoria das drogas atuais ou criação de novas e a criação de novos métodos biológicos para a solução de problemas como o seqüestro de carbono.”
Como Laidig explicou ao LWN, reduzir o tempo de espera por resultados para algumas semanas não está fora de cogitação. “Com poder computacional suficiente, o tempo de processamento pode cair ainda mais. A princípio, o processamento pode levar um dia ou menos – depende do poder computacional, do tamanho da fila etc.”
Laidig diz que é difícil estimar a quantidade de computadores doadores que seriam necessários para que seu laboratório experimentasse um bom aumento na agilidade de pesquisa, mas ele estima que no momento esteja usando entre 300 e 400 processadores dia e noite para manter o ritmo de trabalho atual. “Se recebêssemos, digamos, 1.500 computadores que trabalhassem por 8 horas… conseguiríamos atingir essa meta – mesmo considerando o overhead. “Eu ficaria feliz em aumentar esses números em dez vezes ou mais.”
Ainda que fique feliz em ver o Nightlife crescer, Laidig observa que há algumas coisas a considerar antes de oferecer os recursos de seu computador para o projeto. “Sem querer jogar um balde de água fria, mas há algumas coisas que as pessoas precisam saber. O equipamento delas vai usar eletricidade e gerar calor. Existem também algumas considerações sobre o uso de banda – alguns conjuntos de dados necessários para lidar com o trabalho distribuído podem ser bem grandes (100 MBs) o que pode consumir muitos recursos. Também se ocupa bastante espaço em disco.”
“As pessoas precisam saber dos ‘custos’ da contribuição. Então, se o desejo de contribuir for maior do que os custos, eles devem se unir a nós!”
De fato, alguns membros da comunidade expressaram sua preocupação quanto ao consumo de energia dos computadores inativos e sugerem que os danos ecológicos causados pelas atividades dos processados e dos coolers de uma máquina inativa são maiores do que os benefícios da caridade em nome da ciência. Em resposta a uma animada discussão sobre o Nightlife no Slashdot, um usuário corporativo fez um teste para ver quanto seu computador ocioso consumia e descobriu que a conta havia aumentado em 70 dólares por ano. Che respondeu às críticas dizendo que, embora essa busca por ciclos computacionais possa ser vista como um “desperdício de energia”, a longo prazo ela poderia economizar energia. Além da noção de que a energia necessária ao processamento seria usada mais cedo ou mais tarde, de uma maneira ou de outra, o Nightlife também distribui o consumo de energia por uma vasta área geográfica, reduzindo o peso energético sobre um único local ou data center.
Os planos futuros para o Nightlife incluem uma opção a ser oferecida no primeiro boot de uma nova instalação do Fedora, pedindo aos usuários que doem recursos computacionais ao projeto. É claro que antes de Che alcançar seu objetivo de um milhão de máquinas, há muitos outros objetivos menores a serem alcançados pelo caminho. “A princípio, não teríamos como obter números dessa grandeza até pelo menos o lançamento do Fedora 10 – e isso sendo bem otimista.”
Créditos a Lisa Hoover – https://lwn.net/
Tradução por Roberto Bechtlufft <robertobech at gmail.com>
Esta postagem foi modificada pela última vez em 02/06/2009 22:26