Capacidades · Last updated April 13, 2026
Web crawl
for AI agents
O web crawl do AnyCap da aos agentes um caminho direto de extracao de URL para Markdown por meio de uma unica CLI. Em vez de integrar uma API separada de crawling, scraping ou extracao de conteudo, o agente pode buscar uma pagina conhecida, normalizar o conteudo e leva-lo para o restante do fluxo dentro do mesmo runtime usado para busca, geracao e analise.
Agents do not need another disconnected tool.
They need the capability inside the workflow.
AnyCap turns capability access into agent action.
The short answer
Use AnyCap web crawl when the agent already knows the URL and needs clean page content, not a result list.
01
Known URLs become normalized Markdown without a separate scraping stack.
02
Crawl complements search: search discovers candidates, crawl extracts the chosen page.
03
Extracted content can flow into research, writing, coding, and citation workflows.
How web crawl fits an AnyCap workflow
01 / Select
The agent starts from a known URL, or receives one after a web search step has identified the right source.
02 / Extract
AnyCap fetches the page and returns clean content that is easier for models and downstream tools to process.
03 / Reuse
The agent can summarize, compare, quote, transform, or feed the extracted content into a larger workflow.
Uso via CLI
Leia uma URL conhecida
anycap crawl https://example.comPegue apenas o titulo da pagina
anycap crawl https://go.dev | jq -r '.data.title'Extraia o conteudo em Markdown
anycap crawl https://docs.go.dev/ref/spec | jq -r '.data.markdown'Quando agentes precisam de web crawl
Use case 1
Converter URLs conhecidas em Markdown limpo para sumarizacao ou analise posterior.
Use case 2
Extrair paginas de documentacao sem manter uma stack separada de scraping.
Use case 3
Buscar conteudo diretamente quando a busca ja identificou a pagina-fonte correta.
Use case 4
Normalizar o conteudo de paginas web antes de enviá-lo para um fluxo de pesquisa, escrita ou codigo.
Paginas relacionadas
Capability relacionada
Busca na web
A busca ajuda a descobrir paginas candidatas antes de o crawl extrair o conteudo da URL escolhida.
Capability relacionada
Busca na web com grounding
Use grounded search quando o fluxo precisar de uma resposta sintetizada com citacoes.
Precos
Precos
Veja o preco do crawl ao lado da busca e do restante da stack de capabilities.
FAQ
O que o web crawl do AnyCap permite que os agentes facam?
Ele permite que os agentes peguem uma URL conhecida e convertam a pagina em Markdown limpo por meio de um unico comando de CLI. Isso torna web crawl uma camada pratica de extracao de conteudo para documentacao, artigos e paginas de referencia.
Por que nao chamar isso simplesmente de scraping?
Scraping, crawl API, web data API e content extraction API sao todos termos de mercado proximos. Web crawl e o nome da capability, mas a pagina tambem precisa atender a intencao mais ampla de extracao de conteudo, porque e assim que a demanda costuma aparecer.
Quando as equipes devem usar crawl em vez de busca?
Use crawl quando a URL de destino ja for conhecida e o agente precisar do proprio conteudo da pagina. Use busca quando o fluxo ainda precisar de descoberta ou selecao de fontes.
Por que a conversao para Markdown e util para agentes de IA?
Porque Markdown e mais facil para ferramentas e modelos processarem de forma consistente. Isso reduz a quantidade de limpeza de HTML ou logica de extracao que a equipe precisa manter por conta propria.
Let your agent read the page.
Use crawl when the source is already known and the agent needs clean content it can reuse without rebuilding extraction logic.