Crawl4AI
Rastreador de páginas web feito para alimentar IA. Ele abre o site, descarta menu, anúncio e rodapé, e devolve só o conteúdo em markdown limpo — no formato que modelo de linguagem consome bem e sem desperdiçar tokens com lixo de navegação.
Qualquer coisa que precise ler muita página antes de responder: pesquisa de concorrente, leitura de documentação, base de consulta a partir de conteúdo público.