Arquivo .rar de 790Kb contém arquivo com + de 1GB, como pode?

Sim, é verídico. Pegaram 100 megas de textos da wikipédia na forma de um único arquivo, chamaram-no de wiki8. Existe uma fórmula para se alcançar os 50.000 euros, no entanto que as pessoas recebem cerca de mil a dois mil euros em cada tentativa. Apenas se o programa conseguir comprimir muito, colocar abaixo de 1 mega ele ficará próximo desta quantia. Um dos ganhadores foi justamente o criador do PAQ, no site dele existe o código fonte do codificador aritmético usado, e parte foi otimizado em assembly, usando-se instruções SSE ou SSE2, não lembro agora, então é a melhor opção para quem usava KGB; ainda sobre, no site do author existe um livro no idioma inglês que fala sobre diversas formas de compressão, e disponibilizado de forma gratuita, o difícil, é que é muito matemático. O peazip começou a incluir esta compressão, sendo a melhor pedida que vejo atualmente, código fonte disponível na sourceforge, e gratuito.
O KGB usa codificação aritmética (patenteada pela IBM), lida com ponto flutuante (daí a demora). A idéia é simples, faz-se uma contagem das frequências (estatística), e com base nisso, supõem que os dados (de todo o arquivo) estão compreendidos entre 0 e 1. Atualmente, usam de mixagem de contextos, uma árvore huffman aqui, um dicionário alí, a codificação aritmética, depois passaram a analisar o contexto de estático pra dinâmico, ... .
Os programas compressores atuais tentam "predizer" o futuro, tentando adivinhar qual dado virá após o atual sendo processado. Eu acredito que a resposta esta na inteligência artificial, ensinando células, mas é só uma idéia.
Infelizmente, enquanto estudava, não consegui alcançar o objetivo do prêmio, eu simplesmente não consegui provar que é possível uma compressão independente do tipo de dado, mas não sei como, consigo sentir que é possível.
Se existirem programadores lendo o tópico que desejam começar a fazer testes, comecei lendo o link abaixo, o autor é bem didático, ex-aluno do MIT, e não joga fórmulas matemáticas absurdas para o leitor, ao invés disso ele explica as fórmulas ou a lógica utilizada, infelizmente, no idioma inglês.
http://www.fadden.com/techmisc/hdc/index.htm
Não se deixe ser impressionado pelo valor do prêmio, pois se alguém conseguir fazê-lo, 50.000 valerá o mesmo que uma moeda de 1 centavo nesse mercado.
Apenas ressaltando, existe como comprimir os arquivos, o dificil é descomprimí-los.

O mercado precisa disso, uma compania telefônica se enviando seus dados de forma compressa, poderá dispor de mais largura de banda e assim, abaixar os preços sem investir enormes quantias em equipamentos. Empresas com grande quantidade de computadores não precisarão comprar novas mídias para armazenar seus dados, e assim por diante.
Bom, criei um método de compressão que consegue comprimir dados entrópicos, porém não consegui criar o descompressor, se alguem se interessar, posso explicar a lógica.
abraços.