Anda meminta Claude Code untuk meneliti halaman harga kompetitor. Ia mencari di web dan mengembalikan cuplikan: "Mulai dari $29/bulan." Itu tidak cukup. Anda perlu tabel harga lengkap, perbandingan fitur, tier enterprise — konten halaman yang sebenarnya.
Pencarian web memberikan ringkasan. Web crawl memberikan halamannya.
Begini cara menambahkan web crawling ke Claude Code — agar agen Anda dapat membaca halaman web penuh, mengekstrak data terstruktur, dan memasukkan hasil riset tersebut langsung ke dalam alur kerjanya.
Pencarian Web vs. Web Crawl: Apa Bedanya?
Keduanya berkaitan, tetapi melakukan pekerjaan yang berbeda:
| Pencarian Web | Web Crawl | |
|---|---|---|
| Yang dikembalikan | Cuplikan, tautan, kutipan | Konten halaman penuh sebagai Markdown bersih |
| Terbaik untuk | Jawaban cepat, penemuan, pengecekan fakta | Riset mendalam, ekstraksi konten, analisis kompetitor |
| Kecepatan | Detik | Detik hingga satu menit (pengambilan halaman penuh) |
| Kedalaman data | Permukaan | Lengkap — setiap judul, paragraf, tabel |
| Kasus penggunaan | "Berapa harga X?" | "Ekstrak seluruh halaman harga dan bandingkan dengan harga kami" |
Agen Anda membutuhkan keduanya. Pencarian untuk menemukan halaman yang tepat. Crawl untuk membacanya dengan benar.
Mengapa Claude Code Membutuhkan Web Crawl
Claude Code menganalisis basis kode Anda. Ia dapat melakukan refaktor fungsi, menulis tes, dan melakukan debug masalah di berbagai file. Tetapi ketika perlu meneliti sesuatu — dokumentasi API kompetitor, changelog sebuah library, daftar fitur produk — ia menemui jalan buntu.
Pencarian web membantu, tetapi cuplikan hanya sejauh itu. Halaman harga mungkin memiliki 12 tier. Halaman dokumen mungkin memiliki 40 bagian. Changelog mungkin mencakup 3 tahun rilis. Cuplikan 150 karakter memberi tahu satu hal. Halaman penuh memberi tahu segalanya.
Web crawl memberi agen Anda halaman lengkap. Kemudian ia dapat:
- Mengekstrak data terstruktur (tier harga, daftar fitur, endpoint API)
- Membandingkan penawaran kompetitor poin demi poin
- Memasukkan dokumentasi ke dalam pembuatan kode ("implementasikan autentikasi persis seperti yang dijelaskan dalam docs")
- Memantau perubahan dari waktu ke waktu (crawl halaman yang sama setiap minggu, bandingkan hasilnya)
Untuk gambaran lebih luas tentang bagaimana pencarian dan crawl cocok dalam tumpukan alat agen Anda, baca Apa itu Capability Runtime?.
Metode 1: Web Scraping Manual (Cara yang Rapuh)
Anda dapat mengonfigurasi Claude Code untuk memanggil layanan scraping secara langsung. Pilih penyedia (Firecrawl, Jina, ScrapingBee), daftar, dapatkan API key, dan hubungkan ke agen Anda.
Pendekatan manual:
- Daftar ke layanan scraping
- Dapatkan API key
- Tulis shell script atau konfigurasi MCP yang dapat dipanggil Claude Code
- Tangani rate limit, percobaan ulang, dan pengambilan yang gagal
- Parse respons dan masukkan kembali ke konteks agen
Ini berfungsi untuk penggunaan sesekali. Ini akan bermasalah saat Anda melakukan scaling — situs web yang berbeda memblokir scraper yang berbeda, rate limit bervariasi per penyedia, dan pemeliharaan integrasi menghabiskan waktu yang ingin Anda gunakan untuk membangun.
Metode 2: MCP Server untuk Crawling
MCP server untuk web crawling membundel logika scraping ke dalam integrasi yang dapat digunakan kembali. MCP server Firecrawl adalah yang paling umum — Claude Code memanggilnya, dan ia mengembalikan Markdown bersih dari URL mana pun.
Pengaturannya lebih ringan dari API wiring manual, tetapi Anda masih mengelola:
- Satu MCP server per kapabilitas (crawl terpisah dari pencarian)
- Rate limit dan autentikasi khusus penyedia
- Inkonsistensi format saat beralih antara penyedia scraping
Metode 3: Satu CLI untuk Pencarian + Crawl (Cara AnyCap)
Pendekatan ini membundel pencarian dan crawl dalam satu antarmuka perintah. Agen Anda mencari untuk menemukan halaman, lalu crawl untuk membacanya sepenuhnya — semuanya melalui CLI yang sama.
# Langkah 1: Cari halaman yang relevan
anycap search --prompt "competitor pricing pages SaaS 2026" --citations
# Langkah 2: Crawl hasil paling relevan untuk konten penuh
anycap crawl --url "https://competitor.com/pricing" -o pricing.md
Runtime menangani:
- Output terstruktur. Halaman dikonversi ke Markdown bersih — judul, paragraf, tabel, dan blok kode dipertahankan.
- Rendering JavaScript. Halaman dinamis (SPA, aplikasi React) dirender sebelum ekstraksi.
- Konten bersih. Navigasi, iklan, dan boilerplate dihapus. Yang tersisa adalah isi artikel.
- Format konsisten. Setiap halaman yang di-crawl mengembalikan struktur Markdown yang sama, terlepas dari sumbernya.
Instalasi:
npm i -g anycap
anycap login
anycap skill install --target ~/.claude/skills/anycap-cli/
→ Instal AnyCap gratis — 250 kredit untuk pengguna baru
Kasus Penggunaan Nyata: Pipeline Riset Kompetitor
Agen Anda perlu membandingkan harga produk Anda dengan tiga kompetitor. Berikut alur kerja lengkapnya:
# 1. Cari halaman harga kompetitor
anycap search --prompt "competitor A pricing plans 2026" --citations
anycap search --prompt "competitor B pricing plans 2026" --citations
anycap search --prompt "competitor C pricing plans 2026" --citations
# 2. Crawl setiap halaman harga untuk konten penuh
anycap crawl --url "https://competitor-a.com/pricing" -o competitor-a.md
anycap crawl --url "https://competitor-b.com/pricing" -o competitor-b.md
anycap crawl --url "https://competitor-c.com/pricing" -o competitor-c.md
# 3. Masukkan konten yang di-crawl ke Claude Code untuk dianalisis
# Claude Code kini memiliki data harga lengkap dan dapat menghasilkan:
# - Tabel perbandingan
# - Rekomendasi positioning harga
# - Analisis kesenjangan fitur
Agen Anda meneliti, crawl, menganalisis, dan merekomendasikan — semuanya dalam satu sesi. Tidak ada tab browser manual. Tidak ada copy-paste.
Kasus Penggunaan Nyata: Pengembangan Berbasis Dokumentasi
Agen Anda perlu mengimplementasikan integrasi API. Daripada menebak alur autentikasi, ia crawl dokumentasi resmi:
# Crawl dokumentasi autentikasi API
anycap crawl --url "https://api.provider.com/docs/auth" -o auth-docs.md
# Crawl referensi endpoint
anycap crawl --url "https://api.provider.com/docs/endpoints" -o endpoints.md
# Claude Code kini mengimplementasikan integrasi dari docs asli,
# bukan dari data pelatihannya yang mungkin sudah usang
Inilah perbedaan antara "Claude Code, implementasikan integrasi Stripe" (bekerja dari data pelatihan, mungkin usang) dan "Claude Code, crawl docs Stripe terbaru dan implementasikan integrasi persis seperti yang dijelaskan" (akurat, terkini, andal).
Kasus Penggunaan Nyata: Pemantauan Kompetitor
Siapkan alur kerja riset berulang. Agen Anda crawl halaman kompetitor secara terjadwal dan membandingkan hasilnya:
# Crawl changelog kompetitor
anycap crawl --url "https://competitor.com/changelog" -o competitor-changelog-$(date +%Y%m%d).md
# Crawl halaman fitur kompetitor
anycap crawl --url "https://competitor.com/features" -o competitor-features-$(date +%Y%m%d).md
# Bandingkan dengan crawl minggu lalu
diff competitor-features-20260511.md competitor-features-20260518.md
Jalankan ini setiap minggu. Agen Anda menandai fitur baru, harga yang berubah, pesan yang diperbarui — sebelum tim produk Anda mendengarnya dari pelanggan.
Pencarian + Crawl: Tumpukan Riset Lengkap
Pencarian web menemukan. Web crawl membaca. Bersama-sama, keduanya membentuk kapabilitas riset lengkap untuk agen Anda:
| Langkah | Perintah | Yang dilakukan |
|---|---|---|
| 1. Temukan | anycap search |
Menemukan halaman relevan dengan kutipan yang terverifikasi |
| 2. Ekstrak | anycap crawl |
Mengambil konten halaman penuh sebagai Markdown bersih |
| 3. Analisis | Claude Code | Menganalisis konten yang diekstrak |
| 4. Bertindak | Claude Code | Mengimplementasikan, membandingkan, atau melaporkan berdasarkan temuan |
Ini adalah riset yang terverifikasi — agen Anda tidak bergantung pada data pelatihan atau cuplikan parsial. Ia bekerja dari konten aktual dan terkini dari halaman yang penting.
Kapan Crawl, Kapan Pencarian?
| Gunakan pencarian ketika... | Gunakan crawl ketika... |
|---|---|
| Anda butuh jawaban cepat | Anda butuh halaman lengkap |
| Anda menemukan halaman mana yang ada | Anda tahu halaman mana yang dibutuhkan dan ingin semuanya |
| Anda butuh ringkasan yang dikutip dan terverifikasi | Anda butuh ekstraksi data terstruktur |
| Kecepatan adalah prioritas | Kedalaman adalah prioritas |
| Jawabannya muat dalam cuplikan | Jawabannya adalah tabel, daftar, atau mencakup beberapa bagian |
Sebagian besar alur kerja riset menggunakan keduanya: pencarian untuk menemukan, crawl untuk mengekstrak.
FAQ
Apakah web crawl berfungsi pada halaman yang dirender JavaScript?
Ya. Runtime merender konten dinamis (React, Vue, SPA) sebelum mengekstrak. Apa yang Anda lihat di browser adalah apa yang didapatkan agen Anda.
Apa bedanya web crawl dengan pencarian web bawaan Claude Code?
Pencarian web bawaan Claude Code mengembalikan cuplikan dan ringkasan. Web crawl mengembalikan konten halaman penuh sebagai Markdown — setiap judul, paragraf, tabel, dan blok kode. Gunakan pencarian untuk jawaban cepat. Gunakan crawl ketika Anda butuh kedalaman.
Bisakah saya crawl beberapa halaman dalam satu sesi?
Ya. Jalankan anycap crawl sekali per URL. Agen Anda dapat melakukan loop melalui daftar URL dan crawl secara berurutan. Semua hasil disimpan sebagai file Markdown lokal.
Bagaimana jika halaman memblokir crawler?
Beberapa halaman memblokir akses otomatis. Runtime menghormati robots.txt dan menangani pembatasan akses dengan baik. Jika halaman tidak dapat di-crawl, agen Anda mendapat pesan error yang jelas — tidak ada kegagalan diam-diam.
Apakah ini berfungsi di Cursor dan Codex juga?
Ya. anycap crawl menggunakan CLI yang sama dan berfungsi di Claude Code, Cursor, dan Codex. Satu instalasi, semua agen.
Kesimpulan
Pencarian web memberi tahu agen Anda apa yang ada. Web crawl membiarkan agen Anda membacanya. Untuk riset kompetitor, pengembangan berbasis dokumentasi, dan ekstraksi konten, pencarian saja tidak cukup.
Beri agen Anda keduanya. Pencarian untuk menemukan. Crawl untuk memahami.
→ Beri Claude Code akses web penuh — pencarian + crawl melalui satu CLI
📖 Bacaan Selanjutnya
- Cara Memberi Agen AI Kemampuan Pencarian Web — Satu Perintah CLI — Panduan pencarian web yang melengkapi panduan crawl ini.
- Cara Membuat Video dengan Claude Code: Panduan Lengkap 2026 — Riset, lalu buat. Kemampuan terus bertambah.
- Cara Deploy Website dari Claude Code — Crawl konten, bangun halaman, deploy. Pipeline lengkap.
Artikel Terkait
- Apa itu Capability Runtime? — Infrastruktur yang membundel pencarian, crawl, gambar, video, dan penyimpanan ke dalam satu CLI.
- Apa itu AI Agent? Panduan Lengkap untuk Developer — Dasar-dasarnya: apa itu agen dan alat apa yang mereka butuhkan.
- Agentic AI vs Traditional AI: 5 Perbedaan Utama — Mengapa hambatannya bukan modelnya — melainkan apakah agen memiliki alat seperti akses web.
Ditulis oleh tim AnyCap. Kami membangun capability runtime yang memberi agen Anda pencarian web dengan kutipan, crawling halaman penuh, dan semua yang dibutuhkan untuk riset mandiri.