No contexto atual da inteligência artificial, a tendência é buscar os maiores modelos de linguagem (LLMs) disponíveis, como o Llama 70B. No entanto, o autor do artigo argumenta que, em muitos casos, é possível obter resultados satisfatórios com modelos menores ao direcionar corretamente suas saídas.

Durante uma conversa em um canal do Discord, o autor relata um exemplo onde um usuário, insatisfeito com seu modelo LLM, estava tendo dificuldades para obter resultados com um modelo de 70B em sua configuração de hardware. Ao invés de simplesmente aumentar a capacidade do modelo, a solução poderia ter sido utilizar um modelo de 12B com orientações apropriadas. Isso ressalta uma abordagem comum entre aqueles que exploram LLMs de maneira autodidata, enfatizando a busca por maior poder computacional como uma solução padrão.

O conceito de schema-steered structured output (3SO) é introduzido como uma alternativa mais eficiente para garantir a geração de saídas estruturadas corretas. A técnica envolve a conversão do formato de entrada em uma máquina de estados, que aplica regras rigorosas, evitando a necessidade de repetidas tentativas de engenharia de prompt.

1. 3SO permite o direcionamento da saída do LLM para garantir a conformidade com esquemas JSON específicos.

2. Modelos menores podem apresentar desempenho equivalente aos maiores quando adequadamente orientados.

3. O autor compartilha sua experiência com a ferramenta Toolio, que facilita a implementação do 3SO.

4. O trabalho com LLMOps é potencializado por abordagens estruturadas como o 3SO.

5. A distinção entre conhecimento semântico e sintático é fundamental para a utilização eficaz dos LLMs.

A análise do problema do usuário ilustrado no artigo enfatiza que muitas vezes a busca por modelos mais poderosos resulta de uma compreensão equivocada das capacidades dos LLMs e da natureza das tarefas. Ao incorporar 3SO, é possível canalizar os recursos de forma mais eficaz, obtendo resultados com menos poder computacional, o que representa uma evolução significativa na forma como os LLMs são utilizados.

- A necessidade de hardware potente pode ser superada com técnicas de direcionamento. - O conceito de 3SO oferece uma abordagem mais precisa e econômica. - A simplicidade na produção de saídas estruturadas melhora a eficiência do trabalho. - Maior compreensão das limitações e capacidades dos LLMs é essencial para a escolha adequada da ferramenta.

Com a implementação de abordagens como 3SO, o campo dos LLMs se torna mais acessível, permitindo que mais pessoas se beneficiem da tecnologia sem a necessidade de investir em hardware exorbitante. Essa prática não apenas democratiza o acesso à inteligência artificial, mas também otimiza processos que tradicionalmente exigem maior capacidade computacional.

O artigo conclui que a eficácia em tarefas de saída estruturada pode ser alcançada sem a dependência de modelos de linguagem extremamente grandes, graças a técnicas como o 3SO. A adoção dessas abordagens pode transformar a forma como profissionais e entusiastas utilizam LLMs, promovendo a eficiência e acessibilidade no uso da inteligência artificial. Para mais insights sobre o mundo da tecnologia e IA, os leitores são encorajados a se inscrever na nossa newsletter, onde encontrarão atualizações diárias sobre o tema.

FONTES:

1. Hugging Face

2. Ollama

3. MLX Community

4. OpenAI

5. Toolio