A Podium, uma plataforma que facilita a comunicação entre pequenos negócios e seus clientes, lançou um agente de IA chamado 'AI Employee'. Desde seu lançamento em janeiro, a empresa otimizou o desempenho do agente utilizando LangSmith, uma ferramenta que auxiliou na curadoria de dados e no ajuste fino do modelo. Com essas mudanças, a equipe de engenharia conseguiu reduzir a necessidade de intervenções em 90%, ao mesmo tempo em que melhorou a qualidade das respostas.

A adoção do LangSmith permitiu que a Podium estabelecesse ciclos de feedback contínuos e de teste ao longo do desenvolvimento do agente. O engenheiro da Podium pôde implementar uma abordagem de avaliação que incluía curadoria de conjuntos de dados de referência e coleta de feedback em tempo real dos usuários. Isso gerou uma melhoria significativa nas classificações F1 do agente, que aumentaram para 98,6%, superando o limiar de qualidade estabelecido.

Com a implementação do LangSmith, a equipe de suporte da Podium, composta por Especialistas Técnicos de Produtos (TPS), ganhou autonomia para solucionar problemas rapidamente, reduzindo a carga sobre os engenheiros. Isso não só melhorou a eficiência da equipe de suporte, mas também resultou em um aumento na satisfação do cliente, uma vez que problemas podiam ser tratados de forma mais ágil.

1. Melhoria de 90% na redução da necessidade de intervenções de engenharia.

2. Aumento na qualidade das respostas do agente para 98%.

3. Estabelecimento de ciclos contínuos de feedback.

4. Capacitação da equipe de suporte para resolver problemas de forma independente.

5. Aumento na satisfação do cliente.

A integração do LangSmith e do LangChain proporciona à Podium vantagens competitivas em ferramentas de experiência do cliente. A empresa está focada em aprimorar a captação de leads, e a automação proporcionada pelo LangSmith permite que os engenheiros se concentrem em desenvolvimento de produtos em vez de suporte ao cliente.

- Aumento na eficiência de atendimento. - Melhoria na análise de dados. - Oportunidades para expandir o uso da IA em pequenas empresas.

Essas mudanças colocam a Podium em uma posição favorável no setor de atendimento ao cliente, permitindo que pequenas empresas sejam atendidas de maneira mais eficaz. Os avanços tecnológicos na gestão de IA podem ser explorados por outras empresas em busca de melhorias nas interações com o cliente.

Em suma, a implementação do LangSmith pela Podium não apenas aumentou a eficiência, mas também proporcionou um atendimento ao cliente de alta qualidade sem depender continuamente da equipe de engenharia. Para mais insights sobre inovações e tendências no atendimento ao cliente, inscreva-se em nossa newsletter e acompanhe conteúdos atualizados diariamente.

FONTES:

1. Podium

1. LangChain

1. LangGraph

1. LangSmith

1. Artigo Original