A busca vetorial tem se tornado essencial na era dos dados, especialmente em casos que envolvem recomendações e gestão de conteúdo. No entanto, a combinação de buscas por similaridade e filtros tradicionais, como preço ou disponibilidade, apresenta desafios significativos em termos de eficiência e desempenho.

A Weaviate explorou duas abordagens principais para resolver isso: a pré-filtragem, que aplica o filtro antes da busca vetorial, e a pós-filtragem, que faz o oposto. Essas técnicas, embora eficazes em determinados contextos, podem sofrer limitações quando aplicada a conjuntos de dados muito grandes ou àquelas com filtros altamente seletivos.

A solução ACORN apresenta uma abordagem inovadora ao manter a conectividade da busca vetorial por meio de uma expansão de dois saltos e evitando a desconexão do grafo. Ao fazer isso, o sistema é capaz de lidar melhor com a filtragem em situações de baixa correlação entre filtros e consultas.

1. Eliminação da poda normal de triângulos para preservar conexões no grafo.

2. Expansão da vizinhança baseada em dois saltos para melhorar a eficiência.

3. Adaptação de ponto de entrada no grafo para lidar com filtros pouco correlacionados.

4. Implementação que requer zero reindexação para usuários existentes.

5. Melhoria de desempenho em situações desafiadoras, alcançando até 10x mais eficiência.

As implementações internas da ACORN mostram um desempenho superior em cenários de baixa correlação, onde a busca tradicional apresenta limitações significativas. A metodologia ACORN é capaz de encontrar rapidamente a região alvo, permitindo uma execução eficiente em comparação com a abordagem anterior.

- ACORN mostra o valor particularmente em dados com baixa correlação. - A implementação atual de ACORN otimiza a capacidade de busca na Weaviate. - Resultados indicam melhorias significativas na performance geral. - Possíveis futuras melhorias incluem seleção dinâmica de filtros.

A ACORN não só endereça questões de desempenho como também promete trazer robustez e previsibilidade nas buscas filtradas em sistemas de recomendação e e-commerce. Com essa nova implementação, a Weaviate se posiciona como um líder na tecnologia de busca vetorial.

As inovações trazidas pela ACORN estão moldando o futuro da busca vetorial, prometendo maior eficiência e precisão em aplicações do mundo real. Os interessados em experimentar essa solução poderão ativá-la na versão 1.27 ou superior da Weaviate, incentivando a exploração de novos casos de uso e experiências. Para mais conteúdos atualizados, não deixe de assinar nossa newsletter!

FONTES:

1. Weaviate Blog

2. Original ACORN Paper

3. Filtered DiskANN Algorithm Reference

4. Benchmark Tool GitHub

5. Cohere BEIR Dataset