anycapanycap
Capabilities

Generate

Image GenerationCreate and edit images from prompts or references.Video GenerationCreate motion outputs from text and image inputs.Music GenerationProduce music tracks through one runtime.Audio GenerationGenerate speech, dialogue, sound effects, and complete audio scenes from text, audio, or image input.

Understand

Image UnderstandingRead screenshots, diagrams, and visual references.Video AnalysisInspect recordings and extract structured details.Audio UnderstandingTranscribe and analyze voice and audio files.

Retrieve

Web SearchSearch the web from the same agent workflow.Grounded Web SearchReturn synthesized answers with live citations.Web CrawlFetch pages and convert them into clean content.Social Media LookupRead Instagram and X profiles, posts, feeds, and X search results.

Store

DriveStore outputs, organize assets, and create public URLs.
Equip Agents
Claude CodeCursorCodexDeepSeek HarnessManus
Resources

Explore

GuidesDecision guides for building reliable agent workflows.Context EngineeringUnderstand how prompts, files, and workspace state shape agent behavior.Agent SkillsSee how reusable skills package workflows and capability usage for agents.

Evaluate

Compare AnyCapBrowse comparison pages for adjacent agent tooling, media APIs, and tradeoffs.GlossaryA shared vocabulary for agent capabilities, tools, and workflows.
Docs ↗Pricing
I'm Agent
I'm Agent
  1. Inicio
  2. Capacidades
  3. Web crawl

Capacidades · Last updated April 13, 2026

Web crawl for AI agents

O web crawl do AnyCap da aos agentes um caminho direto de extracao de URL para Markdown por meio de uma unica CLI. Em vez de integrar uma API separada de crawling, scraping ou extracao de conteudo, o agente pode buscar uma pagina conhecida, normalizar o conteudo e leva-lo para o restante do fluxo dentro do mesmo runtime usado para busca, geracao e analise.

Equip your AgentWeb SearchGrounded Search
Read the source. A known URL turns into clean Markdown the agent can reason over.

The short answer

Use AnyCap web crawl when the agent already knows the URL and needs clean page content, not a result list.

  • Known URLs become normalized Markdown without a separate scraping stack.
  • Crawl complements search: search discovers candidates, crawl extracts the chosen page.
  • Extracted content can flow into research, writing, coding, and citation workflows.

Uso via CLI

Leia uma URL conhecida

$
anycap crawl https://example.com

Pegue apenas o titulo da pagina

$
anycap crawl https://go.dev | jq -r '.data.title'

Extraia o conteudo em Markdown

$
anycap crawl https://docs.go.dev/ref/spec | jq -r '.data.markdown'

How web crawl fits an AnyCap workflow

  1. 1.

    Select

    The agent starts from a known URL, or receives one after a web search step has identified the right source.

  2. 2.

    Extract

    AnyCap fetches the page and returns clean content that is easier for models and downstream tools to process.

  3. 3.

    Reuse

    The agent can summarize, compare, quote, transform, or feed the extracted content into a larger workflow.

Quando agentes precisam de web crawl

  1. —

    Use case 1

    Converter URLs conhecidas em Markdown limpo para sumarizacao ou analise posterior.

  2. —

    Use case 2

    Extrair paginas de documentacao sem manter uma stack separada de scraping.

  3. —

    Use case 3

    Buscar conteudo diretamente quando a busca ja identificou a pagina-fonte correta.

  4. —

    Use case 4

    Normalizar o conteudo de paginas web antes de enviá-lo para um fluxo de pesquisa, escrita ou codigo.

Paginas relacionadas

  • Busca na web →

    A busca ajuda a descobrir paginas candidatas antes de o crawl extrair o conteudo da URL escolhida.

    Capability relacionada

  • Busca na web com grounding →

    Use grounded search quando o fluxo precisar de uma resposta sintetizada com citacoes.

    Capability relacionada

  • Precos →

    Veja o preco do crawl ao lado da busca e do restante da stack de capabilities.

    Precos

FAQ

O que o web crawl do AnyCap permite que os agentes facam?

+

Ele permite que os agentes peguem uma URL conhecida e convertam a pagina em Markdown limpo por meio de um unico comando de CLI. Isso torna web crawl uma camada pratica de extracao de conteudo para documentacao, artigos e paginas de referencia.

Por que nao chamar isso simplesmente de scraping?

+

Scraping, crawl API, web data API e content extraction API sao todos termos de mercado proximos. Web crawl e o nome da capability, mas a pagina tambem precisa atender a intencao mais ampla de extracao de conteudo, porque e assim que a demanda costuma aparecer.

Quando as equipes devem usar crawl em vez de busca?

+

Use crawl quando a URL de destino ja for conhecida e o agente precisar do proprio conteudo da pagina. Use busca quando o fluxo ainda precisar de descoberta ou selecao de fontes.

Por que a conversao para Markdown e util para agentes de IA?

+

Porque Markdown e mais facil para ferramentas e modelos processarem de forma consistente. Isso reduz a quantidade de limpeza de HTML ou logica de extracao que a equipe precisa manter por conta propria.

Let your agent read the page.

Use crawl when the source is already known and the agent needs clean content it can reuse without rebuilding extraction logic.

Equip your AgentWeb SearchGrounded Search

Official documentation

Use the maintained web capability reference.

Choose crawl here when the workflow needs known-URL extraction; use Docs for the current command contract and implementation details.

Web capability ↗
Versão e atualização da CLI · 0.6.5

Versão atual verificada em 21 de outubro de 2026: 0.6.5. Use o comando correspondente à instalação e confira a versão e o login no ambiente do agente.

Instalação binária

$
anycap update

Instalação npm

$
npm install -g @anycap/cli@latest
$
anycap --version
anycap status

A versão 0.6.5 repete downloads transitórios, recupera links de vídeo expirados consultando a mesma tarefa e salva várias imagens em arquivos numerados. Após falha no download, retome a tarefa existente em vez de gerar novamente.

$
anycap video tasks wait <task-id> -o result.mp4

Exemplos datados mantêm a versão, o resultado e o custo originais. Atualizar a CLI não revalida resultados antigos. Confira o schema e os preços atuais antes de uma nova tarefa paga.

Capabilities

  • Overview
  • Image Generation
  • Video Generation
  • Music Generation
  • Image Understanding
  • Video Analysis
  • Audio Understanding
  • Web Search
  • Grounded Web Search
  • Web Crawl
  • Social Media Lookup
  • Drive

Equip Agents

  • Overview
  • Start here
  • Claude Code
  • Cursor
  • Codex
  • Manus

Resources

  • Overview
  • Context Engineering
  • Agent Skills
  • What Agents Can't Do
  • Compare agents and tools

Product

  • Product overview
  • Models
  • Install AnyCap
  • Install the Agent Skill

Documentation

  • Docs overview
  • Install AnyCap
  • MCP setup
  • CLI reference

Company

  • About
  • Contact
  • Privacy
  • Terms
anycap
Join the AnyCap Discord