Capacidades
Web crawl
O web crawl do AnyCap da aos agentes um caminho direto de extracao de URL para Markdown por meio de uma unica CLI. Em vez de integrar uma API separada de crawling, scraping ou extracao de conteudo, o agente pode buscar uma pagina conhecida, normalizar o conteudo e leva-lo para o restante do fluxo dentro do mesmo runtime usado para busca, geracao e analise.
Uso via CLI
Leia uma URL conhecida
anycap crawl https://example.com
Pegue apenas o titulo da pagina
anycap crawl https://go.dev | jq -r '.data.title'
Extraia o conteudo em Markdown
anycap crawl https://docs.go.dev/ref/spec | jq -r '.data.markdown'
Quando agentes precisam de web crawl
Converter URLs conhecidas em Markdown limpo para sumarizacao ou analise posterior.
Extrair paginas de documentacao sem manter uma stack separada de scraping.
Buscar conteudo diretamente quando a busca ja identificou a pagina-fonte correta.
Normalizar o conteudo de paginas web antes de enviá-lo para um fluxo de pesquisa, escrita ou codigo.
Paginas relacionadas
Capability relacionada
Busca na web
A busca ajuda a descobrir paginas candidatas antes de o crawl extrair o conteudo da URL escolhida.
Capability relacionada
Busca na web com grounding
Use grounded search quando o fluxo precisar de uma resposta sintetizada com citacoes.
Precos
Precos
Veja o preco do crawl ao lado da busca e do restante da stack de capabilities.
FAQ
O que o web crawl do AnyCap permite que os agentes facam?
Ele permite que os agentes peguem uma URL conhecida e convertam a pagina em Markdown limpo por meio de um unico comando de CLI. Isso torna web crawl uma camada pratica de extracao de conteudo para documentacao, artigos e paginas de referencia.
Por que nao chamar isso simplesmente de scraping?
Scraping, crawl API, web data API e content extraction API sao todos termos de mercado proximos. Web crawl e o nome da capability, mas a pagina tambem precisa atender a intencao mais ampla de extracao de conteudo, porque e assim que a demanda costuma aparecer.
Quando as equipes devem usar crawl em vez de busca?
Use crawl quando a URL de destino ja for conhecida e o agente precisar do proprio conteudo da pagina. Use busca quando o fluxo ainda precisar de descoberta ou selecao de fontes.
Por que a conversao para Markdown e util para agentes de IA?
Porque Markdown e mais facil para ferramentas e modelos processarem de forma consistente. Isso reduz a quantidade de limpeza de HTML ou logica de extracao que a equipe precisa manter por conta propria.