Implantação Segura de Modelos com Inference Endpoints e Custom Handlers

Tecnologia Inteligência Artificial Desenvolvimento de Software

A Hugging Face anunciou uma solução de implantação segura chamada Inference Endpoints, que permite a utilização de modelos Transformers, Sentence-Transformers e Diffusers com handlers personalizados, proporcionando flexibilidade e controle sobre o processamento de inferências.

Imagem gerada utilizando Dall-E 3

Os Inference Endpoints oferecem uma infraestrutura dedicada e escalável, gerida pela Hugging Face, que simplifica a implementação de modelos a partir do Hugging Face Hub. Este serviço é projetado para suportar a execução de código personalizado por meio de um handler, permitindo que usuários adaptem as etapas de pré-processamento, inferência e pós-processamento conforme suas necessidades específicas.

Os Custom Handlers são classes de Python que definem as etapas essenciais para executar a inferência em cima de um modelo. Estas classes ampliam a funcionalidade dos Inference Endpoints, permitindo ajustes em processos, inclusão de dependências e implementação de métricas personalizadas, proporcionando uma solução que se adapta às necessidades particulares de cada usuário.

Para iniciar o uso de handlers personalizados, os usuários podem duplicar repositórios de modelos ou criar novos repositórios contendo arquivos essenciais como handler.py e requirements.txt. Estes devem ser configurados corretamente para que sejam detectados automaticamente no backend dos Inference Endpoints, facilitando a implantação dos modelos desejados.

Duplicação de repositórios com pesos de modelos.
Abertura de Pull Request para inclusão de handlers.
Criação de novos repositórios apenas para handlers.
Configuração do arquivo README.md para habilitar o botão 'Deploy'.
Implementação correta da classe EndpointHandler em handler.py.

A flexibilidade dos Custom Handlers é destacada em diversas aplicações, como o uso de LoRA Adapters para modelos de difusão e a manipulação de modelos que não são suportados nativamente. As possibilidades incluem desde o ajuste de formatos de input e output, até a implementação de funcionalidades específicas que otimizam a experiência do usuário.

Os Inference Endpoints, ao permitirem a execução de Custom Handlers, representam uma evolução significativa na maneira como os modelos podem ser utilizados em produção, oferecendo uma infraestrutura confiável e escalável. Os usuários são incentivados a explorar essas possibilidades para melhorar suas aplicações. Para mais conteúdos atualizados diariamente, não deixe de se inscrever em nossa newsletter.