Du bittest Claude Code, die Preisseite eines Konkurrenten zu recherchieren. Es durchsucht das Web und liefert nur einen Ausschnitt: „Ab 29 $ pro Monat.“ Das reicht nicht. Du brauchst die komplette Preistabelle, den Funktionsvergleich, die Enterprise-Stufe — den eigentlichen Seiteninhalt.
Websuche liefert Zusammenfassungen. Web-Crawling liefert die Seite.
So fügst du Web-Crawling zu Claude Code hinzu — damit dein Agent vollständige Webseiten lesen, strukturierte Daten extrahieren und diese Recherche direkt in seinen Workflow einspeisen kann.
Websuche vs. Web-Crawl: Was ist der Unterschied?
Beides hängt zusammen, erfüllt aber unterschiedliche Aufgaben:
| Websuche | Web-Crawl | |
|---|---|---|
| Was zurückkommt | Snippets, Links, Zitate | Vollständiger Seiteninhalt als sauberes Markdown |
| Am besten für | Schnelle Antworten, Entdeckung, Faktenprüfung | Tiefgehende Recherche, Datenextraktion, Wettbewerbsanalyse |
| Geschwindigkeit | Sekunden | Sekunden bis eine Minute (vollständiger Seitenabruf) |
| Datentiefe | Oberflächlich | Vollständig — jede Überschrift, jeder Absatz, jede Tabelle |
| Anwendungsfall | „Was kostet X?“ | „Extrahiere die gesamte Preisseite und vergleiche sie mit unseren Preisen“ |
Dein Agent braucht beides. Suchen, um die richtigen Seiten zu finden. Crawlen, um sie richtig zu lesen.
Warum Claude Code Web-Crawl braucht
Claude Code denkt über deine Codebasis nach. Es kann Funktionen refaktorieren, Tests schreiben und Fehler über Dateien hinweg beheben. Aber wenn es etwas recherchieren soll — die API-Dokumentation eines Konkurrenten, das Changelog einer Bibliothek, eine Produktfunktionsliste — stößt es an eine Grenze.
Websuche hilft, aber Snippets reichen nur so weit. Eine Preisseite kann 12 Tarife haben. Eine Doku-Seite kann 40 Abschnitte enthalten. Ein Changelog kann sich über drei Jahre an Releases erstrecken. Ein 150-Zeichen-Snippet sagt dir eine Sache. Die komplette Seite sagt dir alles.
Web-Crawl gibt deinem Agenten die vollständige Seite. Danach kann er:
- strukturierte Daten extrahieren (Tarife, Funktionslisten, API-Endpunkte)
- Angebote von Wettbewerbern Punkt für Punkt vergleichen
- Dokumentation in die Codegenerierung einfließen lassen („implementiere die Authentifizierung exakt so, wie sie in der Doku beschrieben ist“)
- Änderungen über die Zeit beobachten (dieselbe Seite wöchentlich crawlen und die Ergebnisse vergleichen)
Methode 1: Manuelles Web-Scraping (der fragile Weg)
Du kannst Claude Code so konfigurieren, dass es direkt einen Scraping-Dienst aufruft. Wähle einen Anbieter (Firecrawl, Jina, ScrapingBee), registriere dich, hol dir einen API-Schlüssel und binde ihn in deinen Agenten ein.
Der manuelle Ansatz:
- Für einen Scraping-Dienst registrieren
- API-Schlüssel erhalten
- Ein Shell-Skript oder eine MCP-Konfiguration schreiben, die Claude Code aufrufen kann
- Ratenlimits, Wiederholungen und fehlgeschlagene Abrufe behandeln
- Die Antwort parsen und zurück in den Agentenkontext geben
Das funktioniert für gelegentliche Nutzung. Es bricht, wenn du skalierst — verschiedene Websites blockieren unterschiedliche Scraper, Ratenlimits variieren je nach Anbieter, und die Pflege der Integration kostet Zeit, die du lieber ins Bauen stecken würdest.
Methode 2: MCP-Server fürs Crawlen
MCP-Server für Web-Crawling bündeln die Scraping-Logik in eine wiederverwendbare Integration. Der MCP-Server von Firecrawl ist am verbreitetsten — Claude Code ruft ihn auf, und er liefert sauberes Markdown von jeder URL.
Das Setup ist leichter als eine manuelle API-Anbindung, aber du verwaltest trotzdem noch:
- einen MCP-Server pro Fähigkeit (Crawling ist getrennt von Suche)
- anbieterspezifische Ratenlimits und Authentifizierung
- Formatinkonsistenzen beim Wechsel zwischen Scraping-Anbietern
Methode 3: Eine CLI für Suche + Crawl (der AnyCap-Weg)
Dieser Ansatz bündelt Suche und Crawling in einer einzigen Befehlsoberfläche. Dein Agent sucht, um Seiten zu finden, und crawlt dann, um sie vollständig zu lesen — alles über dieselbe CLI.
# Schritt 1: Nach relevanten Seiten suchen
anycap search --prompt "competitor pricing pages SaaS 2026" --citations
# Schritt 2: Das relevanteste Ergebnis für den vollständigen Inhalt crawlen
anycap crawl --url "https://competitor.com/pricing" -o pricing.md
Die Laufzeit übernimmt:
- Strukturierten Output. Seiten werden in sauberes Markdown umgewandelt — Überschriften, Absätze, Tabellen und Codeblöcke bleiben erhalten.
- JavaScript-Rendering. Dynamische Seiten (SPAs, React-Apps) werden vor der Extraktion gerendert.
- Sauberen Inhalt. Navigation, Werbung und Boilerplate werden entfernt. Übrig bleibt der Artikeltext.
- Einheitliches Format. Jede gecrawlte Seite liefert dieselbe Markdown-Struktur, unabhängig von der Quelle.
Installieren:
npm i -g anycap
anycap login
anycap skill install --target ~/.claude/skills/anycap-cli/
→ AnyCap kostenlos installieren — 250 Credits für neue Nutzer
Praxisbeispiel: Pipeline für Wettbewerbsrecherche
Dein Agent soll die Preise deines Produkts mit drei Wettbewerbern vergleichen. Hier ist der vollständige Ablauf:
# 1. Nach Preisseiten der Wettbewerber suchen
anycap search --prompt "competitor A pricing plans 2026" --citations
anycap search --prompt "competitor B pricing plans 2026" --citations
anycap search --prompt "competitor C pricing plans 2026" --citations
# 2. Jede Preisseite vollständig crawlen
anycap crawl --url "https://competitor-a.com/pricing" -o competitor-a.md
anycap crawl --url "https://competitor-b.com/pricing" -o competitor-b.md
anycap crawl --url "https://competitor-c.com/pricing" -o competitor-c.md
# 3. Den gecrawlten Inhalt an Claude Code zur Analyse geben
# Claude Code hat nun die kompletten Preisdaten und kann erstellen:
# - eine Vergleichstabelle
# - Empfehlungen zur Preispositionierung
# - eine Analyse der Funktionslücken
Dein Agent hat recherchiert, gecrawlt, analysiert und Empfehlungen gegeben — alles in einer Sitzung. Keine manuellen Browser-Tabs. Kein Copy-Paste.
Praxisbeispiel: Dokumentationsgetriebene Entwicklung
Dein Agent muss eine API-Integration implementieren. Statt den Auth-Flow zu raten, crawlt er die offizielle Dokumentation:
# Die API-Authentifizierungsdoku crawlen
anycap crawl --url "https://api.provider.com/docs/auth" -o auth-docs.md
# Die Endpunkt-Referenz crawlen
anycap crawl --url "https://api.provider.com/docs/endpoints" -o endpoints.md
# Claude Code implementiert die Integration jetzt anhand der echten Doku,
# nicht anhand seiner Trainingsdaten, die veraltet sein könnten
Das ist der Unterschied zwischen „Claude Code, implementiere die Stripe-Integration“ (funktioniert auf Basis von Trainingsdaten, kann veraltet sein) und „Claude Code, crawle die neuesten Stripe-Dokumente und implementiere die Integration exakt wie beschrieben“ (genau, aktuell, zuverlässig).
Praxisbeispiel: Wettbewerbs-Monitoring
Richte einen wiederkehrenden Recherche-Workflow ein. Dein Agent crawlt Wettbewerberseiten nach Zeitplan und vergleicht die Ergebnisse:
# Changelog des Wettbewerbers crawlen
anycap crawl --url "https://competitor.com/changelog" -o competitor-changelog-$(date +%Y%m%d).md
# Feature-Seite des Wettbewerbers crawlen
anycap crawl --url "https://competitor.com/features" -o competitor-features-$(date +%Y%m%d).md
# Mit dem Crawl der letzten Woche vergleichen
diff competitor-features-20260511.md competitor-features-20260518.md
Führe das wöchentlich aus. Dein Agent meldet neue Funktionen, geänderte Preise und aktualisierte Botschaften — bevor dein Produktteam davon von einem Kunden erfährt.
Suche + Crawl: Der komplette Research-Stack
Websuche findet. Web-Crawl liest. Zusammen ergeben sie für deinen Agenten eine vollständige Recherchefähigkeit:
| Schritt | Befehl | Was er tut |
|---|---|---|
| 1. Finden | anycap search |
Findet relevante Seiten mit belastbaren Zitaten |
| 2. Extrahieren | anycap crawl |
Holt den vollständigen Seiteninhalt als sauberes Markdown |
| 3. Analysieren | Claude Code | Schließt auf Basis des extrahierten Inhalts |
| 4. Handeln | Claude Code | Implementiert, vergleicht oder berichtet auf Grundlage der Ergebnisse |
Das ist belastbare Recherche — dein Agent verlässt sich nicht auf Trainingsdaten oder unvollständige Snippets. Er arbeitet mit dem tatsächlichen, aktuellen Inhalt der relevanten Seiten.
Wann crawlen, wann suchen?
| Suche verwenden, wenn... | Crawl verwenden, wenn... |
|---|---|
| du eine schnelle Antwort brauchst | du die komplette Seite brauchst |
| du herausfinden willst, welche Seiten existieren | du weißt, welche Seite du brauchst, und willst sie vollständig |
| du zitierte, belastbare Zusammenfassungen brauchst | du strukturierte Daten extrahieren willst |
| Geschwindigkeit wichtig ist | Tiefe wichtig ist |
| die Antwort in ein Snippet passt | die Antwort eine Tabelle, eine Liste oder mehrere Abschnitte umfasst |
Die meisten Research-Workflows nutzen beides: suchen zum Finden, crawlen zum Extrahieren.
FAQ
Funktioniert Web-Crawl auf JavaScript-gerenderten Seiten?
Ja. Die Laufzeit rendert dynamische Inhalte (React, Vue, SPAs), bevor sie extrahiert. Was du im Browser siehst, bekommt auch dein Agent.
Worin unterscheidet sich Web-Crawl von der eingebauten Websuche von Claude Code?
Die eingebaute Websuche von Claude Code liefert Snippets und Zusammenfassungen. Web-Crawl liefert den vollständigen Seiteninhalt als Markdown — jede Überschrift, jeder Absatz, jede Tabelle und jeder Codeblock. Nutze Suche für schnelle Antworten. Nutze Crawl, wenn du Tiefe brauchst.
Kann ich mehrere Seiten in einer Sitzung crawlen?
Ja. Führe anycap crawl einmal pro URL aus. Dein Agent kann eine Liste von URLs durchlaufen und sie nacheinander crawlen. Alle Ergebnisse werden als lokale Markdown-Dateien gespeichert.
Was, wenn eine Seite Crawler blockiert?
Manche Seiten blockieren automatisierten Zugriff. Die Laufzeit respektiert robots.txt und behandelt Zugriffsbeschränkungen sauber. Wenn eine Seite nicht gecrawlt werden kann, erhält dein Agent eine klare Fehlermeldung — kein stilles Scheitern.
Funktioniert das auch in Cursor und Codex?
Ja. anycap crawl verwendet dieselbe CLI und funktioniert mit Claude Code, Cursor und Codex. Eine Installation, alle Agenten.
Das Fazit
Websuche sagt deinem Agenten, was existiert. Web-Crawl lässt ihn es lesen. Für Wettbewerbsrecherche, dokumentationsgetriebene Entwicklung und Datenextraktion reicht Suche allein nicht aus.
Gib deinem Agenten beides. Suchen, um zu entdecken. Crawlen, um zu verstehen.
→ Claude Code vollständigen Webzugriff geben — Suche + Crawl über eine CLI
📖 Was du als Nächstes lesen solltest
- Wie du deinem KI-Agenten Websuche per einem CLI-Befehl gibst — Die Websuche-Ergänzung zu diesem Crawl-Leitfaden.
- Wettbewerbs-Monitoring mit KI-Agenten — Erstelle einen Cron-Job, der deine Wettbewerber automatisch beobachtet.
- KI-gestützte Suche für KI-Agenten: belastbare Suche vs. traditionelles RAG — Wann belastbare Suche und wann Vektorsuche sinnvoll ist.
Verwandte Artikel
- Wie man mit Claude Code Video erzeugt: Der vollständige Leitfaden 2026 — Die Fähigkeiten stapeln sich weiter.
- Was ist eine Capability Runtime? — Die Infrastruktur, die Suche, Crawl, Bild, Video und Speicher in einer CLI bündelt.
Verfasst vom AnyCap-Team. Wir bauen die Capability Runtime, die deinem Agenten Websuche mit Zitaten, vollwertiges Crawling und alles gibt, was er zum Recherchieren braucht — ohne dich.