Du bittest Claude Code, die Preisseite eines Konkurrenten zu recherchieren. Es durchsucht das Web und gibt einen Ausschnitt zurück: „Ab 29 $/Monat." Das reicht nicht. Du brauchst die vollständige Preistabelle, den Funktionsvergleich, die Enterprise-Stufe — den tatsächlichen Seiteninhalt.
Web-Suche liefert Zusammenfassungen. Web-Crawling liefert die Seite.
So fügst du Web-Crawling zu Claude Code hinzu — damit dein Agent vollständige Webseiten lesen, strukturierte Daten extrahieren und die Recherche direkt in seinen Arbeitsablauf einspeisen kann.
Web-Suche vs. Web-Crawling: Was ist der Unterschied?
Beide sind verwandt, erfüllen aber unterschiedliche Aufgaben:
| Web-Suche | Web-Crawling | |
|---|---|---|
| Was zurückgegeben wird | Ausschnitte, Links, Zitate | Vollständiger Seiteninhalt als sauberes Markdown |
| Am besten für | Schnelle Antworten, Entdeckung, Faktencheck | Tiefgehende Recherche, Inhaltsextraktion, Wettbewerbsanalyse |
| Geschwindigkeit | Sekunden | Sekunden bis eine Minute (vollständiger Seitenaufruf) |
| Datentiefe | Oberflächlich | Vollständig — jede Überschrift, jeder Absatz, jede Tabelle |
| Anwendungsfall | „Was kostet X?" | „Extrahiere die gesamte Preisseite und vergleiche sie mit unserer" |
Dein Agent braucht beides. Suche, um die richtigen Seiten zu finden. Crawling, um sie richtig zu lesen.
Warum Claude Code Web-Crawling braucht
Claude Code analysiert deine Codebasis. Es kann Funktionen refaktorieren, Tests schreiben und Fehler über Dateien hinweg debuggen. Aber wenn es etwas recherchieren muss — die API-Dokumentation eines Konkurrenten, den Changelog einer Bibliothek, die Feature-Liste eines Produkts — stößt es an eine Grenze.
Web-Suche hilft, aber Ausschnitte reichen nur so weit. Eine Preisseite kann 12 Stufen haben. Eine Dokumentationsseite kann 40 Abschnitte enthalten. Ein Changelog kann 3 Jahre Releases umspannen. Ein 150-Zeichen-Ausschnitt sagt dir eine Sache. Die vollständige Seite sagt dir alles.
Web-Crawling gibt deinem Agenten die komplette Seite. Er kann dann:
- Strukturierte Daten extrahieren (Preisstufen, Feature-Listen, API-Endpunkte)
- Konkurrenzangebote Punkt für Punkt vergleichen
- Dokumentation in die Code-Generierung einspeisen („Implementiere die Authentifizierung genau wie in der Dokumentation beschrieben")
- Änderungen im Laufe der Zeit überwachen (dieselbe Seite wöchentlich crawlen, Ergebnisse vergleichen)
Für ein umfassenderes Bild davon, wie Suche und Crawling in den Tool-Stack deines Agenten passen, lies Was ist ein Capability Runtime?.
Methode 1: Manuelles Web-Scraping (Der fragile Weg)
Du kannst Claude Code so konfigurieren, dass es einen Scraping-Dienst direkt aufruft. Wähle einen Anbieter (Firecrawl, Jina, ScrapingBee), melde dich an, hol einen API-Schlüssel und binde ihn in deinen Agenten ein.
Der manuelle Ansatz:
- Bei einem Scraping-Dienst anmelden
- Einen API-Schlüssel holen
- Ein Shell-Skript oder eine MCP-Konfiguration schreiben, die Claude Code aufrufen kann
- Rate-Limits, Wiederholungsversuche und fehlgeschlagene Abrufe behandeln
- Die Antwort parsen und in den Agenten-Kontext zurückspeisen
Das funktioniert für gelegentliche Nutzung. Es bricht zusammen, wenn du skalierst — verschiedene Websites blockieren verschiedene Scraper, Rate-Limits variieren je nach Anbieter, und die Pflege der Integration frisst Zeit, die du eigentlich zum Entwickeln nutzen wolltest.
Methode 2: MCP-Server für Crawling
MCP-Server für Web-Crawling bündeln die Scraping-Logik in eine wiederverwendbare Integration. Der MCP-Server von Firecrawl ist am weitesten verbreitet — Claude Code ruft ihn auf und er liefert sauberes Markdown von jeder URL zurück.
Das Setup ist einfacher als manuelles API-Wiring, aber du verwaltest immer noch:
- Einen MCP-Server pro Funktion (Crawling ist von der Suche getrennt)
- Anbieterspezifische Rate-Limits und Authentifizierung
- Formatinkonsistenzen beim Wechsel zwischen Scraping-Anbietern
Methode 3: Eine CLI für Suche + Crawling (Der AnyCap-Weg)
Dieser Ansatz bündelt Suche und Crawling in einer einzigen Befehlsoberfläche. Dein Agent sucht, um Seiten zu finden, und crawlt dann, um sie vollständig zu lesen — alles über dieselbe CLI.
# Schritt 1: Nach relevanten Seiten suchen
anycap search --prompt "competitor pricing pages SaaS 2026" --citations
# Schritt 2: Das relevanteste Ergebnis für vollständigen Inhalt crawlen
anycap crawl --url "https://competitor.com/pricing" -o pricing.md
Die Runtime übernimmt:
- Strukturierte Ausgabe. Seiten werden in sauberes Markdown umgewandelt — Überschriften, Absätze, Tabellen und Code-Blöcke bleiben erhalten.
- JavaScript-Rendering. Dynamische Seiten (SPAs, React-Apps) werden vor der Extraktion gerendert.
- Sauberer Inhalt. Navigation, Werbung und Boilerplate werden entfernt. Was übrig bleibt, ist der Artikelinhalt.
- Konsistentes Format. Jede gecrawlte Seite gibt dieselbe Markdown-Struktur zurück, unabhängig von der Quelle.
Installation:
npm i -g anycap
anycap login
anycap skill install --target ~/.claude/skills/anycap-cli/
→ AnyCap kostenlos installieren — 250 Credits für neue Nutzer
Praxisbeispiel: Wettbewerbsrecherche-Pipeline
Dein Agent soll die Preisgestaltung deines Produkts mit drei Konkurrenten vergleichen. Hier ist der vollständige Workflow:
# 1. Nach Preisseiten der Konkurrenten suchen
anycap search --prompt "competitor A pricing plans 2026" --citations
anycap search --prompt "competitor B pricing plans 2026" --citations
anycap search --prompt "competitor C pricing plans 2026" --citations
# 2. Jede Preisseite für vollständigen Inhalt crawlen
anycap crawl --url "https://competitor-a.com/pricing" -o competitor-a.md
anycap crawl --url "https://competitor-b.com/pricing" -o competitor-b.md
anycap crawl --url "https://competitor-c.com/pricing" -o competitor-c.md
# 3. Den gecrawlten Inhalt an Claude Code zur Analyse übergeben
# Claude Code hat jetzt alle Preisdaten und kann erstellen:
# - Eine Vergleichstabelle
# - Empfehlungen zur Preispositionierung
# - Analyse von Feature-Lücken
Dein Agent hat recherchiert, gecrawlt, analysiert und Empfehlungen gegeben — alles in einer Sitzung. Keine manuellen Browser-Tabs. Kein Kopieren und Einfügen.
Praxisbeispiel: Dokumentationsgetriebene Entwicklung
Dein Agent muss eine API-Integration implementieren. Statt den Authentifizierungsfluss zu erraten, crawlt er die offiziellen Dokumentationen:
# API-Authentifizierungsdokumentation crawlen
anycap crawl --url "https://api.provider.com/docs/auth" -o auth-docs.md
# Endpunkt-Referenz crawlen
anycap crawl --url "https://api.provider.com/docs/endpoints" -o endpoints.md
# Claude Code implementiert die Integration jetzt aus den echten Dokumentationen,
# nicht aus seinen Trainingsdaten, die möglicherweise veraltet sind
Das ist der Unterschied zwischen „Claude Code, implementiere die Stripe-Integration" (arbeitet aus Trainingsdaten, könnte veraltet sein) und „Claude Code, crawle die neuesten Stripe-Dokumentationen und implementiere die Integration genau wie beschrieben" (präzise, aktuell, zuverlässig).
Praxisbeispiel: Wettbewerbsüberwachung
Richte einen wiederkehrenden Recherche-Workflow ein. Dein Agent crawlt Konkurrenzseiten nach einem Zeitplan und vergleicht die Ergebnisse:
# Konkurrenz-Changelog crawlen
anycap crawl --url "https://competitor.com/changelog" -o competitor-changelog-$(date +%Y%m%d).md
# Konkurrenz-Feature-Seite crawlen
anycap crawl --url "https://competitor.com/features" -o competitor-features-$(date +%Y%m%d).md
# Mit dem Crawl der letzten Woche vergleichen
diff competitor-features-20260511.md competitor-features-20260518.md
Führe das wöchentlich aus. Dein Agent meldet neue Features, geänderte Preise, aktualisierte Botschaften — bevor dein Produktteam davon von einem Kunden erfährt.
Suche + Crawling: Der vollständige Recherche-Stack
Web-Suche findet. Web-Crawling liest. Zusammen bilden sie eine vollständige Recherchefähigkeit für deinen Agenten:
| Schritt | Befehl | Was es tut |
|---|---|---|
| 1. Entdecken | anycap search |
Findet relevante Seiten mit verankerten Zitaten |
| 2. Extrahieren | anycap crawl |
Ruft vollständigen Seiteninhalt als sauberes Markdown ab |
| 3. Analysieren | Claude Code | Analysiert den extrahierten Inhalt |
| 4. Handeln | Claude Code | Implementiert, vergleicht oder berichtet basierend auf den Ergebnissen |
Das ist verankerte Recherche — dein Agent verlässt sich nicht auf Trainingsdaten oder Teil-Ausschnitte. Er arbeitet mit dem tatsächlichen, aktuellen Inhalt der relevanten Seiten.
Wann crawlen, wann suchen?
| Suche verwenden, wenn… | Crawling verwenden, wenn… |
|---|---|
| Du eine schnelle Antwort brauchst | Du die vollständige Seite brauchst |
| Du entdeckst, welche Seiten existieren | Du weißt, welche Seite du brauchst, und alles davon haben möchtest |
| Du zitierte, verankerte Zusammenfassungen brauchst | Du strukturierte Datenextraktion brauchst |
| Geschwindigkeit Priorität hat | Tiefe Priorität hat |
| Die Antwort in einen Ausschnitt passt | Die Antwort eine Tabelle oder Liste ist oder mehrere Abschnitte umspannt |
Die meisten Recherche-Workflows nutzen beides: Suche zum Entdecken, Crawling zum Extrahieren.
FAQ
Funktioniert Web-Crawling auf JavaScript-gerenderten Seiten?
Ja. Die Runtime rendert dynamische Inhalte (React, Vue, SPAs) vor der Extraktion. Was du im Browser siehst, bekommt dein Agent.
Wie unterscheidet sich Web-Crawling von der eingebauten Web-Suche von Claude Code?
Die eingebaute Web-Suche von Claude Code liefert Ausschnitte und Zusammenfassungen. Web-Crawling liefert den vollständigen Seiteninhalt als Markdown — jede Überschrift, jeden Absatz, jede Tabelle und jeden Code-Block. Nutze Suche für schnelle Antworten. Nutze Crawling, wenn du Tiefe brauchst.
Kann ich mehrere Seiten in einer Sitzung crawlen?
Ja. Führe anycap crawl einmal pro URL aus. Dein Agent kann eine Liste von URLs durchlaufen und sie nacheinander crawlen. Alle Ergebnisse werden als lokale Markdown-Dateien gespeichert.
Was passiert, wenn eine Seite Crawler blockiert?
Einige Seiten blockieren automatisierten Zugriff. Die Runtime respektiert robots.txt und behandelt Zugriffsbeschränkungen zuverlässig. Wenn eine Seite nicht gecrawlt werden kann, erhält dein Agent eine klare Fehlermeldung — kein stilles Versagen.
Funktioniert das auch in Cursor und Codex?
Ja. anycap crawl verwendet dieselbe CLI und funktioniert in Claude Code, Cursor und Codex. Eine Installation, alle Agenten.
Das Fazit
Web-Suche sagt deinem Agenten, was existiert. Web-Crawling lässt deinen Agenten es lesen. Für Wettbewerbsrecherche, dokumentationsgetriebene Entwicklung und Inhaltsextraktion reicht Suche allein nicht aus.
Gib deinem Agenten beides. Suche zum Entdecken. Crawling zum Verstehen.
→ Claude Code vollständigen Web-Zugriff geben — Suche + Crawling über eine CLI
📖 Was als Nächstes lesen?
- Wie du deinem KI-Agenten Web-Suchfähigkeit gibst — Ein CLI-Befehl — Der Web-Such-Begleiter zu diesem Crawling-Guide.
- Wie man Videos mit Claude Code generiert: Der vollständige Guide 2026 — Recherchieren, dann erstellen. Die Fähigkeiten wachsen weiter.
- Wie man eine Website von Claude Code aus deployt — Inhalte crawlen, eine Seite bauen, deployen. Vollständige Pipeline.
Verwandte Artikel
- Was ist ein Capability Runtime? — Die Infrastruktur, die Suche, Crawling, Bild, Video und Speicher in einer CLI bündelt.
- Was ist ein KI-Agent? Der vollständige Entwickler-Guide — Die Grundlagen: Was Agenten sind und welche Tools sie brauchen.
- Agentic AI vs. Traditional AI: 5 wesentliche Unterschiede — Warum der Engpass nicht das Modell ist — sondern ob der Agent Tools wie Web-Zugriff hat.
Geschrieben vom AnyCap-Team. Wir bauen den Capability Runtime, der deinem Agenten Web-Suche mit Zitaten, vollständiges Seiten-Crawling und alles gibt, was er für eigenständige Recherche braucht.