No dia 5 de dezembro de 2024, a LangSmith anunciou a versão 0.2 do seu SDK, que inclui diversas melhorias para facilitar a avaliação de aplicações. Entre as inovações, destacam-se a simplificação do uso dos métodos evaluate() e aevaluate(), a possibilidade de executar avaliações localmente sem necessidade de upload de resultados, além de aprimoramentos na performance do SDK.

A nova versão apresenta mudanças no Python e no TypeScript, permitindo que os desenvolvedores definam co-evaluators de forma mais fácil, aceitando diretamente dicionários de inputs e outputs, o que otimiza a escrita do código. Também se destaca a consolidação de métodos de avaliação, agora centralizados no evaluate(), que unifica as funcionalidades anteriormente dispersas entre diferentes métodos.

Além das melhorias técnicas, a LangSmith implementou um recurso beta que permite rodar avaliações localmente, sem registrar os resultados no sistema, ideal para testes rápidos e validação de funções. O desempenho do SDK foi otimizado em cerca de 30%, especialmente para exemplos grandes, aumentando a eficiência das avaliações.

1. Métodos evaluate() e aevaluate() simplificados.

2. Execução de avaliações localmente sem upload.

3. Aprimoramento no desempenho de grandes exemplos.

4. Documentação expandida e atualizada.

5. Duas mudanças que quebram a compatibilidade no Python SDK.

Com a documentação renovada, a LangSmith fornece guias abrangentes para utilizar as novas funcionalidades. As melhorias contribuem para uma experiência mais fluida para os desenvolvedores, permitindo que se concentrem em desenvolver aplicações eficientes e precisas.

- Facilidade de uso e acessibilidade aprimorada. - Desempenho e eficiência melhorados. - Documentação mais robusta. - Relevância para desenvolvedores e usuários de machine learning.

Essas mudanças revelam uma evolução significativa na abordagem da LangSmith em relação ao suporte aos desenvolvedores. A simplificação de métodos e melhoria de desempenho são pontos cruciais que podem impactar positivamente na adoção do SDK por novos usuários e na satisfação de desenvolvedores existentes.

Com as melhorias introduzidas na versão 0.2 do LangSmith SDK, desenvolvedores têm novas ferramentas à disposição para aprimorar suas avaliações e desempenho de aplicações. Para se manter atualizado sobre inovações e conteúdos relevantes, inscreva-se na nossa newsletter e descobrindo mais sobre as tendências em tecnologia e desenvolvimento.

FONTES:

1. LangSmith Documentation

2. LangSmith Blog

3. LangChain Guides