A empresa Baseten lançou uma solução avançada de transcrição de voz baseada no modelo Whisper, alegando ter alcançado um desempenho superior com uma taxa de erro de palavras (WER) de apenas 10,0. Essa solução foi projetada para atender às crescentes demandas de empresas que necessitam de transcrições rápidas, precisas e econômicas em um cenário de uso cada vez mais intenso de tecnologias de conversão de fala para texto.

Dentre os desafios da versão padrão do Whisper, destacam-se limitações como a incapacidade de processar áudios longos, a ocorrência de 'alucinações' e a ineficiência na realização de transcrições em tempo real. A abordagem tradicional não é considerada adequada para aplicações de produção, exigindo melhorias para atender às exigências do mercado.

O pipeline otimizado da Baseten adota uma estratégia em duas etapas: primeiro, o áudio é dividido em pequenos segmentos, e em seguida, cada segmento é transcrito. Essa metodologia não apenas aumenta a eficiência no processamento de grandes volumes de dados, mas também reduz os custos operacionais ao eliminar períodos desnecessários de silêncio durante as transcrições.

1. Transcrição de longos arquivos de áudio em segmentos de 30 segundos.

2. Processamento econômico ao evitar silêncios longos.

3. Execução em paralelo dos componentes de transcrição.

4. Implementação de um novo runtime em C++ para otimização de velocidade.

5. Mudança para batching em tempo real para processamento imediato.

As inovações trazidas pelo pipeline de transcrição da Baseten resultam em um desempenho mais de 10 vezes superior ao do modelo padrão da OpenAI, sem comprometer a precisão. A adoção de múltiplas melhorias tecnológicas e arquitetônicas oferece uma solução escalável e customizável, que se adapta às necessidades específicas de diferentes empresas.

- Elevada taxa de processamento com 1000x real-time factor. - Confiabilidade para transcrições em tempo real. - Economia de custos com uso otimizado de GPUs. - Adequação a diferentes setores e aplicações.

Com a nova solução, empresas podem melhorar suas interações com clientes, reduzir custos operacionais e oferecer uma experiência de usuário aprimorada. A Baseten garante que, além de eficiência, suas implementações estão em conformidade com normas de proteção de dados.

Em resumo, a Baseten posiciona-se como uma líder no desenvolvimento de soluções de transcrição de voz eficientes e precisas com o seu novo pipeline de Whisper. Com um desempenho superior e uma abordagem flexible, a empresa abre caminho para um futuro onde a transcrição de áudio se tornará ainda mais acessível e confiável. Para mais conteúdos sobre tecnologia e inovações, inscreva-se na nossa newsletter e fique por dentro do que há de mais recente!

FONTES:

1. Baseten Blog

2. OpenAI Whisper

3. Baseten Chains

4. Continuous vs Dynamic Batching for AI Inference

5. Baseten Customers