O novo dataset QwQ-LongCoT-130K foi introduzido para facilitar o treinamento de modelos de linguagem, focando na geração de respostas que exigem raciocínio mais elaborado. Cada instância do dataset foi cuidadosamente elaborada para evitar respostas longas e excessivamente complexas para perguntas simples, garantindo que as instruções sejam realmente desafiadoras.

A construção do dataset envolveu a coleta de instruções a partir do NuminaMath-CoT, que possui 860 mil perguntas de matemática licenciadas sob Apache 2.0. Para diversificar o conteúdo e incluir perguntas além de matemática, foi utilizado o método Magpie, que se revelou complexo, com o modelo frequentemente não gerando as respostas esperadas. Um template específico foi criado para controlar melhor o tipo de reação do modelo.

A análise do dataset revelou que ele contém 90 mil amostras do NuminaMath e cerca de 43 mil geradas pelo Magpie. Observou-se que o QwQ-LongCoT tende a gerar instâncias mais longas, com o maior exemplo ultrapassando 170 mil caracteres. Em relação ao uso, os primeiros treinamentos evidenciaram dificuldades, especialmente com a geração intencional de erros que poderiam comprometer a qualidade do modelo.

O criador do dataset expressou a intenção de aprimorar o modelo e considera a utilização de técnicas de aprendizado por reforço para lidar melhor com os erros gerados durante o aprendizado. Uma colaboração futura e exploração do dataset estão abertas a interessados.

O lançamento do QwQ-LongCoT-130K representa um passo significativo para a pesquisa em inteligência artificial, permitindo o desenvolvimento de modelos de linguagem mais robustos e precisos. Para aqueles que se interessam pela área, é uma oportunidade única de contribuir e explorar novas possibilidades. Ao se inscrever em nossa newsletter, o leitor encontrará mais conteúdos atualizados diariamente sobre inovações em tecnologia e inteligência artificial.

FONTES:

1. Hugging Face

2. NuminaMath-CoT Dataset

3. Dataset QwQ-LongCoT-130K