O Fineweb 2 é uma atualização do dataset anterior, reunindo mais de 50 milhões de sentenças classificadas em mais de 100 idiomas, com origem no Common Crawl. A classificação das sentenças foi realizada pelo modelo GlotLID, que revelou uma boa precisão, mas também cometeu equívocos ao tentar identificar idiomas de baixa carga de dados, como o árabe marroquino.

Em resposta a esses desafios, a equipe Fineweb decidiu aplicar o modelo Gherbal, que apresenta desempenho significativo em línguas menos representadas. O foco foi no Darija, língua falada por milhões na Marrocos e no exterior, especialmente na Europa, e o trabalho incluiu a limpeza do dataset, garantindo que o conteúdo fosse o mais natural possível.

Os resultados da análise mostraram que, apesar de original de 5,8 milhões de sentenças em Darija, apenas 37.352 (0,64%) foram filtradas como adequadas para uso. Essa filtragem identificou a presença de falsos positivos, onde variantes do árabe, como o argelino e o tunisiano, também foram erroneamente classificados como Darija.

1. O Fineweb 2 contém mais de 50 milhões de sentenças.

2. O modelo Gherbal melhorou a identificação e a qualidade dos dados em Darija.

3. A análise revelou que apenas 0,64% das sentenças iniciais eram utilizáveis.

4. Erros na identificação de variantes do árabe continuam a ser um desafio.

5. A análise das fontes revelou a necessidade de focar em conteúdos de alta qualidade.

A análise das fontes mostra que a maioria dos sites que hospedam conteúdo em Darija são de baixa qualidade, o que sugere que a criação de fundos mais robustos e de alta qualidade é necessária para melhorar a situação do árabe marroquino na web.

- O trabalho do Fineweb abre portas para futuras análises e melhorias. - Um foco contínuo na qualidade e na diversidade dos conteúdos é crucial. - O uso de modelos de linguagem deve ser ampliado para otimizar resultados. - A comunidade deve ser engajada para garantir relevância e utilização eficaz dos dados.

As conclusões ressaltam a importância do Fineweb na preservação do árabe marroquino digital, enquanto indicam áreas que necessitam de atenção e pesquisa adicional, como a expansão de dados e a inclusão de mais combinações linguísticas para superar as barreiras atuais.

A equipe do Fineweb expressou gratidão pela construção e lançamento do dataset, e está otimista em relação às contribuições que a comunidade de desenvolvedores poderá fazer com os novos dados em Darija. O convite é para que os interessados acompanhem as atualizações e continuem engajados nesse projeto vital para o fortalecimento do árabe marroquino na internet. Para mais conteúdos e atualizações diárias, inscreva-se em nossa newsletter.

FONTES:

1. Fineweb Team

2. Gherbal

3. Klimat

4. Achgal Insights

5. Sawalni API