O pplx-api foi desenvolvido para ser uma das formas mais rápidas de acessar modelos LLM de código aberto, permitindo que desenvolvedores integrem esses modelos em seus projetos com facilidade. A API utiliza uma interface REST familiar, possibilitando que os usuários comecem a utilizá-la em minutos. A infraestrutura de inferência do pplx-api é altamente eficiente, alcançando latências significativamente menores em comparação com outras soluções como Replicate e Anyscale.

1. Facilidade de uso com uma API REST familiar.

2. Inferência extremamente rápida, com até 2,9x menos latência que Replicate.

3. Infraestrutura testada e confiável, já em uso em produtos da Perplexity.

4. Disponibilidade de modelos de código aberto logo após seus lançamentos.

A API pplx-api já está sendo utilizada em produtos da Perplexity, resultando em uma redução de custos significativa e mantendo a qualidade do serviço. Em testes internos, a API conseguiu processar um grande volume de requisições diárias sem degradação perceptível na qualidade. Além disso, a Perplexity está comprometida em adicionar novos modelos de código aberto à medida que são lançados, garantindo que os desenvolvedores tenham acesso às tecnologias mais recentes.

- Redução de custos de $0,62M/ano ao substituir APIs externas. - Capacidade de sustentar mais de um milhão de requisições diárias. - Integração rápida de novos modelos como Mistral 7B e Llama 2.

O pplx-api também é utilizado no Perplexity Labs, um playground de modelos que serve diversos modelos de código aberto. A API está disponível gratuitamente em beta público para assinantes do Perplexity Pro, e a empresa planeja introduzir uma estrutura de preços dedicada após a fase beta. Futuras atualizações incluirão suporte para LLMs personalizados, embeddings e uma API RAG-LLM com fundamentação para fatos e citações.

O lançamento do pplx-api marca um avanço significativo na acessibilidade e desempenho de modelos de linguagem de grande escala de código aberto. Com uma infraestrutura robusta e suporte contínuo para novos modelos, a Perplexity está posicionada para facilitar a inovação em diversos projetos de desenvolvedores. A empresa continua comprometida em aprimorar a API e expandir suas funcionalidades, prometendo um futuro promissor para a integração de LLMs em aplicações comerciais e de pesquisa.

FONTES:

1. Perplexity

2. Perplexity Answer Engine

3. Perplexity Labs

4. NVIDIA TensorRT-LLM

5. AWS p4d Instances

6. Mistral 7B

7. Llama 13B

8. Code Llama 34B

9. Llama 70B

10. [API Documentation](https://pplx.readme.io/docs)

11. [Quickstart Guide](https://pplx.readme.io/reference/post_chat_completions)

12. [API Privacy Policy](https://www.perplexity.ai../legal/perplexity-ai-api-privacy)