A web é repleta de informações, mas encontrar o que se procura pode ser um desafio, especialmente em sites com capacidades de busca fracas. O método 'Chat With' propõe uma nova abordagem, onde se alimenta um modelo de linguagem como o ChatGPT com dados de um site inteiro, possibilitando uma interação mais natural e específica com as informações disponíveis.

A grande vantagem desse método é que o usuário pode fazer perguntas de forma conversacional, recebendo respostas precisas, ao invés de ter que se limitar a buscas por palavras-chave. Este método é especialmente útil em contextos onde a documentação é extensa e complexa, evitando o problema de 'hallucination', que ocorre quando um modelo gera informações incorretas ou enganosas.

Para implementar essa solução de forma eficaz, ressalta-se a importância de ter controle sobre o processo de *crawling* e extração de dados. A recomendação é dividir o processo em partes e utilizar ferramentas especializadas, como Apify para a extração de dados e Open WebUI para a análise e uso das informações.

1. Imitar JavaScript durante o crawling.

2. Utilizar proxies para contornar proteções de bots.

3. Seguir links a diferentes níveis de profundidade.

4. Realizar rolagem automática para carregar mais conteúdo.

5. Extrair texto, ignorando elementos não essenciais como menus de navegação.

O tutorial fornece um passo a passo sobre como usar o Apify para extrair a documentação do Obsidian, uma ferramenta de tomada de notas, e em seguida, usar o Open WebUI para conversar sobre cenários específicos de uso, como a criação de Canvas e utilização de Markdown.

- Facilita a busca de informações em sites complexos. - Minimiza a probabilidade de obter informações incorretas. - Permite uma interação mais rica com as documentações. - Proporciona controle total sobre o processo de extração.

Ao final, o tutorial conclui que, ao se usar uma combinação de ferramentas para controlar o processo de *crawling* e análise, é possível obter resultados mais confiáveis e eficazes ao buscar informações em sites extensos e complexos.

O artigo traz à tona uma abordagem inovadora para a interação com sites, destacando a importância de um método mais eficiente e controlado para a busca de informações. Os leitores são convidados a explorar essa técnica em seus próprios projetos e a se inscreverem na nossa newsletter para receber mais conteúdos atualizados diariamente.

FONTES:

1. Apify

2. Obsidian Documentation