O uso de *models de embedding* de texto, especialmente após o SimCSE, tem crescido, com ênfase em aprendizagem contrastiva. Este método visa agrupar sentenças semanticamente semelhantes e afastar as dissimilares. No entanto, a definição de quais pares são semelhantes ou não depende essencialmente da qualidade dos pares positivos e negativos.

A pesquisa destaca que pares negativos que são aleatórios ou muito simples não oferecem um sinal de treinamento robusto para os modelos. Em contrapartida, os *Hard Negatives*, que são pares que apresentam semelhança superficial, mas são semanticamente distintos, são cruciais para melhorar a performance do modelo. Entretanto, a identificação sistemática desses pares difíceis é um grande desafio.

O artigo apresenta o NV-Retriever como uma abordagem inovadora que considera a similaridade positiva ao estabelecer um limite de similaridade negativa, permitindo uma escolha mais eficaz dos pares negativos. Os autores também realizam experimentos no contexto de textos financeiros coreanos, utilizando diferentes *models* para comparar a eficácia da mineração de negativos difíceis.

1. A importância de pares negativos bem estruturados para o aprendizado de representações.

2. O impacto dos *Hard Negatives* no desempenho do modelo.

3. O desempenho superior de *embedding-based teachers* em comparação ao BM25.

4. A complexidade na definição de pares negativos em conjuntos de dados diversos.

5. A necessidade de curadoria cuidadosa de dados para evitar falsos negativos.

Os resultados mostraram que modelos de embeddings, como bge-m3 e KURE-v1, superaram o BM25 na curadoria de negativos difíceis. No entanto, a diversidade temática dos dados auxilia na identificação de pares genuinamente negativos, o que requer etiquetagem explícita ou curadoria cuidadosa.

- A eficácia do NV-Retriever na seleção de pares negativos. - A comparação entre diferentes *models* de embedding. - O valor do aprendizado contrastivo na mineração de negativos. - A relevância do domínio financeiro na aplicação das técnicas discutidas.

O artigo conclui que, apesar dos desafios, a técnica de *Hard Negative Mining* com NV-Retriever apresenta melhorias significativas sobre métodos anteriores. Este avanço na seleção de pares negativos pode levar a aprimoramentos substanciais na qualidade das representações textuais.

As inovações apresentadas neste estudo não só contribuem para o campo da aprendizagem de máquina em textos, mas também prometem avanços significativos na análise de dados financeiros. Os leitores são encorajados a se aprofundar nesse tema e a acompanhar as novidades sobre mineração de texto em nossa newsletter, onde conteúdos atualizados são disponibilizados diariamente.

FONTES:

1. SimCSE

2. BM25

3. DPR

4. ANCE

5. RocketQA

6. NV-Retriever