As avaliações de LLMs são fundamentais para garantir a qualidade de aplicações baseadas em inteligência artificial. No entanto, muitos desenvolvedores enfrentam dificuldades para saber como iniciar esse processo. Os novos pacotes "openevals" e "agentevals" da LangChain oferecem uma solução prática, fornecendo avaliadores e um framework comum para simplificar esse processo.

As avaliações consistem em dois componentes principais: os dados que estão sendo avaliados e as métricas utilizadas. A qualidade e a diversidade dos dados têm um impacto direto na eficácia da avaliação. O OpenEvals se compromete a fornecer soluções pré-concebidas que refletem as tendências de avaliação mais comuns, ajudando os desenvolvedores a personalizar suas avaliações de acordo com suas necessidades.

1. Facilidade de customização com exemplos pré-construídos.

2. Processo simplificado de configuração de um esquema de pontuação.

3. Capacidade de incorporar exemplos few-shot.

4. Transparência na avaliação com comentários sobre a pontuação.

5. Avaliações LLM-as-a-judge para qualidade de conversação e coerência.

6. Avaliações de dados estruturados para extração e formatação.

O OpenEvals e o Agentevals fornecem também suporte para a avaliação de trajetórias de agentes, permitindo que os desenvolvedores entendam melhor as ações e decisões tomadas pelos agentes durante a execução das tarefas. Com a intenção de expandir suas bibliotecas e incluir mais técnicas específicas no futuro, a LangChain convida a comunidade a contribuir com sugestões e desenvolvimentos adicionais.

- Possibilita avaliações objetivas sem necessidade de respostas de verdade. - Facilita a validação da conformidade dos outputs para chamadas de ferramentas. - Contribui para a melhoria contínua das aplicações de LLM. - Acesso a ferramentas de rastreamento e compartilhamento de resultados.

Nesse contexto, as novas ferramentas oferecem uma abordagem prática e acessível, tornando o processo de avaliação mais transparente e eficiente. Isso não apenas melhora a qualidade das LLMs, mas também acelera o desenvolvimento de aplicações que podem beneficiar uma gama ampla de usuários e setores.

Com a introdução dos pacotes OpenEvals e Agentevals, a avaliação de LLMs se torna mais acessível e focada em resultados práticos. Os desenvolvedores são incentivados a se inscreverem na newsletter da LangChain para receber atualizações contínuas e novas práticas de avaliação. Explorando essas ferramentas, é possível aprimorar não apenas as aplicações de LLM, mas também contribuir para a evolução do campo da inteligência artificial.

FONTES:

1. LangChain - OpenEvals

2. LangChain - Agentevals

3. Conceitos de Curadoria de Conjuntos de Dados

4. LangChain - LangSmith

5. LangChain - Clientes