Um dos grandes problemas que enfrentamos no meu atual projeto na AdaptWorks foi descobrir qual o real encoding de páginas html arbitrárias.

Existem diversas causas para esse problema:

  1. Muitas pessoas não fazem idéia de como trabalhar com encodings de arquivos
  2. Nem sempre o encoding na resposta do servidor é o encoding do arquivo
  3. A tag meta com o charset também pode não bater com o encoding do arquivo
  4. Não existe uma forma simples de detectar qual o encoding do arquivo

Depois de muito procurar, encontramos um projeto que usa diversas heurísticas para detectar o encoding correto do arquivo.

O ICU (International Components for Unicode) faz todo o trabalho pesado para a detecção do encoding, com mais confiabilidade do que os dados enviados pelo servidor ou especificados pelo criador da página.

Entre os vários usuários do ICU, estão Google, IBM e Apple.

Ele é meio chato de usar, mas vale a pena.

Posts Relacionados:

  • Encoding hell
  • Proteção de Tela como Papel de Parede no Linux
  • Deixando seu Ubuntu mais rápido
  • Como migrar de SVN para GIT
  • Gerando memória swap on-the-fly
  • UTF-8 no Latex
  • YACP - Aprendendo a usar suas ferramentas
    • The Como descobrir o real encoding de um arquivo em java by VidaGeek.net, unless otherwise expressly stated, is licensed under a Creative Commons Atribuição-Uso Não-Comercial-Compartilhamento pela mesma Licença 2.5 Brasil License.

    Acompanhe-nos por RSS, por Email ou via Twitter.
    Veja como ter um desconto no Dreamhost: um excelente servidor web.