Usando e construindo um motor de busca em código livre: Wikia

Quando se fala em Jimmy Wales logo vem à cabeça a Wikipedia, mas ela não é sua única criação. O motor de busca Wikia é sua mais nova invenção – ou era, pois o lançamento foi em janeiro de 2008. O Wikia foi desenvolvido como uma alternativa livre ao Google e a outros buscadores.

Em um artigo escrito em junho eu especulei sobre como a internet pode mudar a nossa forma de pensar, e mencionei brevemente o motor de busca Wikia. Passado algum tempo, vamos ver a quantas anda essa tentativa de democratizar um motor de busca.

A filosofia

Wales acredita que o modelo de buscas na web não é bom, pelo mesmo motivo que o software proprietário também não é: falta liberdade e responsabilidade. Para ele, o algoritmo de buscas do Google é uma espécie de “controle editorial”; de fato, embora o Google seja um amigo relativamente bom do software livre e de alguns padrões abertos, ele mantém seu algoritmo de buscas em segredo. É uma galinha que põe ovos de ouro, mas não cacareja. Wales quer que a galinha cacareje até estourar. Por isso ele criou o Wikia. Ele foi lançado sob a GPL e o código fonte está disponível para quem quiser examinar e fazer alterações. Além disso, enquanto motores de busca como o Google confiam no algoritmo para mover suas buscas, o Wikia adiciona um elemento humano a elas que estimula o usuário a contribuir para ampliar e dar corpo ao motor de busca. Para cuidar do algoritmo, o Wikia usa o Nutch, enquanto o Lucene cuida das buscas; Wales também adquiriu o Grub, um web crawler (robô que “varre” a internet de tempos em tempos em busca de sites) de código livre, para indexar a web (e liberou o código fonte dele também).

Até agora tudo vai bem. Porém, ao contrário da Wikipedia, o Wikia é uma empreitada com fins lucrativos, o que significa duas coisas: primeiro, apesar das credenciais livres, ele tem que fazer dinheiro com as buscas. Isso não é necessariamente errado, mas já que o Wikia é construído por voluntários que não ganham nada, não seria injusto lucrar sem dividir o dinheiro? Segundo, quando o Wikia foi lançado em janeiro (sendo relançado em junho) só recebeu críticas negativas. Até os que torciam pelo Wikia ficaram horrorizados, e o próprio Wales disse que os resultados de busca eram “uma porcaria”. No princípio, pouca gente entendeu que a idéia do Wikia era construir um motor de buscas com contribuições dos usuários, então já estava claro que levaria algum tempo para que o Wikia acumulasse um bom conjunto de informações. O Wikia parecia estar envolto em um círculo vicioso: sem indexação, nada de informações; sem informações, nada de indexação. Ter um número suficiente de contribuidores é a chave para quebrar esse círculo vicioso – além de tempo, muito tempo. Hoje, sexta-feira, 21 de novembro, o contador em tempo real do Wikia revela que ele já está perto de oito milhões de pesquisas e que já conta com mais de dois milhões de contribuições. Afinal de contas, imagine como funcionava a Wikipedia no dia de seu lançamento?

Uma solução para preencher esse vazio temporário seria puxar o conteúdo da Wikipedia, mas isso poderia ser problemático, já que a Wikipedia nuca teve fins lucrativos.

E como funciona o Wikia?

Basicamente, você acessa a página do Wikia (disponível em vinte e seis idiomas) e digita o termo a ser consultado. Fico feliz em dizer que já é exibida uma quantidade decente de resultados. Se você estiver usando o Wikia em um navegador com JavaScript, a tela deve ser parecida com esta:

Figura 1: a tela padrão do motor de busca Wikia

Qualquer um que já tenha usado o Google (basicamente todo mundo) vai se sentir em casa. Fiz várias buscas aleatoriamente: selinux, trucrypt, konqueror e gpl. As buscas retornaram muitos detalhes. Vamos dar uma olhada.

O diabo está nos detalhes

Digitei “konqueror” na barra de buscas e o resultado foi este:

Figura 2: o resultado da busca do Wikia pelo termo konqueror

A primeira diferença em relação ao Google é que o Wikia não indica o número de resultados encontrados. Ele também não exibe uma lista numérica de páginas na parte inferior da tela. No Wikia você rola a tela continuamente pelos resultados, graças à interface em Ajax. No topo dos resultados da busca temos o que parecem ser tags. Por exemplo, eu sei que o Konqueror usa o motor do Webkit para renderizar páginas. Clique na “tag” com o botão de rolagem para carregar uma pesquisa relacionada pelo termo. Caso tenha conhecimento sobre o tópico que está pesquisando, você pode (e deve) adicionar uma tag. Bom, eu amo o Konqueror e decidi incluir o que eu sei. Cliquei em “Adicionar Sugestão” e incluí “kio”, usado pelo Konqueror para cuidar da transparência integrada. Agora, sempre que alguém buscar pelo Konqueror, poderá iniciar uma busca suplementar sobre o kio. Os mais experientes podem achar que isso não tem muito valor, mas para aqueles de conhecimentos mais limitados o recurso é muito útil.

Ao posicionar o ponteiro do mouse à direita de um resultado, o Wikia exibe um sistema de avaliação. Mova o mouse pelas cinco estrelas para que elas acendam. Para dar sua avaliação, clique no número de estrelas desejado e elas permanecerão acessas em todas as buscas futuras. O Wikia vai fazer a classificação em tempo real e mover a entrada mais para cima na página. Mais à direita, há cinco opções para cada resultado de busca: editar, anotar, destaque, comentário e eliminar. A última é óbvia. Se você conferir um resultado em uma nova aba do navegador e concluir que está bem abaixo do esperado, clique em excluir e ele vai sumir. Se quiser fazer comentários sobre um resultado de busca em particular, clique em “comentário” e uma caixa de texto se abrirá imediatamente logo abaixo:

Figura 3: o quadro de comentários do Wikia

Escolha Anotar para abrir a página do resultado especificado com a tela dividida, com a página original do Wikia redimensionada à esquerda. Isso lhe dará a oportunidade de adicionar links, imagens ou textos ao índice de buscas do Wikia. Ao selecionar um link, o mesmo será incluído na parte inferior do resultado de busca. As mudanças são adicionadas na mesma hora. Finalmente, se você achar que um resultado merece mais do que cinco estrelas, clique em “destacar” e uma caixa bege realçará a entrada, mas pelo visto não dá para reverter isso.

No canto superior direito dos resultados de pesquisa há um link chamado “adicionar aplicativo”. Clique nele para abrir um quadro:

Figura 4: a função para adicionar aplicativo ao Wikia

É possível escolher entre categorias e aplicativos. Use as setas para cima e para baixo para navegar pelas categorias relativas à sua pesquisa e o Wikia mostrará o que encontrou, no meu caso “images” (imagens):

Figura 5: a adição de aplicativo do Wikia em ação

Selecione o aplicativo e ele será adicionado imediatamente aos resultados de busca, onde outros poderão excluí-lo, realizar edições, anotações e comentários, para ampliar (assim esperamos) o conhecimento coletivo total. Se isso é o que Eric Raymond chama de sabedoria das massas, ele deve estar orgulhoso da Wikia. É claro que, como em qualquer motor de busca, sempre pode haver abusos, assim como na Wikipedia, mas o Wikia está evoluindo e conforme os problemas vão surgindo, surgem também soluções para eles.

Evolução do Wiki

Os que tiverem a vista mais aguçada devem ter reparado na barra de ferramentas exibida nas fotos. Trata-se da extensão wikia evolution, que adiciona uma barra de ferramentas ao navegador (funciona no Firefox e no Netscape). Ela é muito, muito útil porque com ela você pode continuar ajudando o Wikia a construir seu índice mesmo quando não estiver realizando buscas diretamente pela página do Wikia.

A barra de ferramentas oferece os principais recursos que só estariam disponíveis diretamente na página do Wikia. Por exemplo, eu acessei um dos meus favoritos (sobre como adicionar repositórios ao Asus EeePC) e cliquei em “Add URL to Keyword” (adicionar URL à palavra-chave). Uma caixa de diálogo será aberta, solicitando um termo de busca sob o qual a URL será classificada e enviada ao índice de buscas do Wikia. Você saberá que a URL foi adicionada porque surgirá uma entrada na barra de ferramentas.

Uma dos melhores recursos da barra de ferramentas é que você continua podendo contribuir para a indexação da web e para a construção do Wikia como um motor de buscas eficaz. Se estiver usando os motores de busca do Google ou do Yahoo, o Wikia adiciona dois recursos: um pequeno sinal verde de “+” ao lado de cada resultado de busca encontrado, e o sistema de avaliação com estrelas. Por exemplo, eu encontrei um excelente artigo chamado “do it yourself Konqueror commands”. Cliquei no botão para adicioná-lo e o símbolo mudou para um sinal de conferência acompanhado do texto “URL added” (URL adicionada). Voltando à busca sobre o konqueror no Wikia, vejo que o link foi adicionado e uma mensagem acinzentada abaixo da entrada indica que ele foi adicionado por um usuário do Google. Eu.

Da mesma maneira, se a busca por um termo no Wikia for infrutífera, clique nos links de motores de busca à direita para buscar no Google ou no Yahoo e uma nova aba será aberta para que a busca seja realizada. Caso encontre o que procura em um desses motores de busca, o resultado da busca poderá ser adicionado ao Wikia. Você vai encontrar o que procura e, com pouco trabalho e nenhum custo, ajudará a construir um motor de busca livre. Dois recursos que eu já ia esquecendo: se você fizer uma busca em um outro motor de busca, o termo buscado será copiado automaticamente para a barra de ferramentas do Wikia. Logo, se não tiver sorte com o Google ou o Yahoo, clique no logotipo do Wikia para fazer a busca nele (clique com o botão do meio e os resultados serão exibidos em uma nova aba, e você poderá comparar os resultados se quiser). Além disso, caso tenha adicionado um resultado de busca do Google ou do Yahoo, haverá uma indicação disso logo abaixo. Apesar da cor cinza, os links são ativos e levam à busca pelo termo no motor de busca específico.

Concluindo: se não usar nada disso, ao menos instale o web crawler Grub

Quando o Wikia estreou em janeiro, recebeu algumas das piores críticas que eu já vi. Para fazer frente a elas, Wales precisaria de um elefante, mas ele já esperava por isso. De lá para cá, o Wikia ficou irreconhecível. Ele está pronto para o uso, oferece vários recursos, é altamente interativo, a barra de ferramentas é uma idéia matadora que permite contribuir com o projeto mesmo sem usar o motor de buscas diretamente e, sim, há conteúdo útil no Wikia. Fiquei impressionado. Eu certamente usarei o Wikia regularmente, e arrisco dizer que ele será tão popular quanto a Wikipedia. Se você odeia o Google ou simplesmente não confia nele no tocante a questões de privacidade ou política corporativa, então o Wikia pode ser o motor de busca que você esperava.

Mas será preciso mais do que a contribuição dos usuários para que o Wikia decole. Os motores de busca precisam de enormes fazendas de dados. O Google tem 270.000 servidores, e eles custam caro. Se o Wikia quiser trilhar esse caminho, fica claro o motivo de Wales ter escolhido um modelo que visa o lucro. Isso explica os anúncios do Google. É irônico que os anúncios do Google sirvam para bancar um de seus rivais. Wales acredita ter uma solução para esse problema: armazenar o índice em um grid distribuído de computadores, composto de servidores e PCs de usuários pela internet, a laSETI. Claro que essa solução também tem seus problemas, porque enquanto os servidores permanecem ligados o tempo todo, os PCs domésticos não; Jeremie Millar, diretor de tecnologia do Wikia, acha que a solução pode estar em softwares como o BitTorrent, que pode continuar trabalhando mesmo que alguns computadores sejam desligados, distribuindo cópias dos dados a outros computadores.

Por isso o Wikia comprou o Grub, um web crawler livre licenciado sob a GPLv3 e que pode ser instalado em seu computador para doar os ciclos de CPU não utilizados de seu PC à indexação da web. Na página do Grub há um arquivo install.bin executável. Ao clicar no arquivo no KDE, abre-se uma interface gráfica fácil de usar com o assistente de instalação. No Gnome, porém, é exibida a mensagem de que o Gnome não sabe o que fazer com o arquivo. A solução? Abra um console, torne-se root, vá até o diretório do download e digite: ./grubng-0.8-Linux-x86-Install.bin para iniciar a interface gráfica do assistente.

Se preferir, há noarch.rpms e src.rpms disponíveis no rpm.pbone e rpms para os OpenSuse 10 e 11 também no rpm.pbone. Também há versões do install.bin para o BSD e o Solaris na página do projeto Grub.

Isso vai instalar o Grub e acrescentar uma entrada ao menu. Se ao tentar iniciar o Grub o LED do HD começar a piscar mas o programa não abrir (o que eu chamo de “falha silenciosa”), muito provavelmente há dependências não resolvidas quanto à interface do programa. A saber, o Mono (versões superiores à 1.25), GTK2 e os arquivos de desenvolvimento relacionados. Uma vez instaladas as dependências pelo seu gerenciador de pacotes, a interface gráfica do Grub deve funcionar. Suas informações de login são solicitadas, então você precisa criar uma conta de usuário na página do Wikia. Acesse “Preferências” para configurar o programa e começar a varrer e indexar a web. Como você pode ver, tenho andado bastante ocupado nessa tarefa:

Figura 6: o relatório de progresso do Grub

Figura 7: o Grub indexando a web e subindo os resultados

Você pode configurar quanto crawlers quiser, gerenciar as velocidades de upload e download de acordo com sua conexão e executar o Grub em modo semi-automático ou automático.

Esteja você fazendo buscas com o Wikia e dando notas aos resultados ou ajudando a indexar a web com o Grub, ainda é preciso lidar com o desafio do spam. O Google está envolto em uma guerra sem fim com os spammers, e seu algoritmo é proprietário. O Wikia é livre. Qualquer um pode dar uma olhada no código, aprender como ele funciona e explorar suas brechas. Veremos se a “sabedoria das massas” se sustenta conforme um exército potencial de programadores e contribuidores encara o problema, ou se esse é apenas um clichê exagerado.

As pessoas que arrasaram o Wikia em janeiro deveriam dar mais uma olhada agora para conferir suas enormes melhorias. Se o que você realmente quer são resultados de buscas melhores e mais transparentes e está começando a encarar o Google como uma ameaça tão grande à liberdade, à privacidade e à transparência quanto a Microsoft, o que você está esperando? Use o Wikia, contribua com ele, instale a barra de ferramentas do Firefox e o cliente GNU/Linux do web crawler Grub. Mãos à obra!