Crawling vs Indexing — Mas Ahmad Safwan

Crawling adalah proses Googlebot mengambil sebuah URL: mengirim permintaan HTTP dan menerima responsnya. Indexing adalah proses setelahnya: Google memproses isi halaman, memutuskan apakah layak disimpan, dan menyimpannya di indeks dengan URL canonical tertentu. Halaman bisa di-crawl tanpa diindeks, dan dalam kasus tertentu bisa diindeks tanpa di-crawl.

Perbedaannya dalam satu tabel

	Crawling	Indexing
Pertanyaan yang dijawab	Bolehkah dan bisakah Google mengambil URL ini?	Layakkah halaman ini disimpan, dan dengan URL mana?
Alat kontrol	robots.txt, kode status HTTP, kecepatan server, internal link, sitemap	meta robots noindex, X-Robots-Tag, canonical, kualitas konten
Kalau gagal, laporan GSC menampilkan	"Discovered – currently not indexed", "Blocked by robots.txt", "Server error (5xx)", "Redirect error"	"Crawled – currently not indexed", "Excluded by noindex tag", "Duplicate, Google chose different canonical", "Soft 404"
Bisa dipaksa?	Sebagian: perbaiki blokir, percepat server, tambah internal link. Request indexing hanya menaruh URL di antrean.	Tidak. Google memutuskan sendiri. Yang bisa dilakukan: perbaiki alasan penolakannya.
Yang tidak melakukannya	Sitemap tidak menjamin crawl, hanya memberi tahu.	Crawl tidak menjamin indeks. Request indexing tidak menjamin indeks.

Bagaimana Google memproses satu URL

Urutan di bawah disederhanakan dari dokumentasi Google. Yang penting diperhatikan: ada dua antrean terpisah, satu untuk crawl dan satu untuk render.

DiscoveryURL masuk daftar karena ditemukan di halaman lain, di sitemap, atau dikirim lewat URL Inspection.
Crawl queueURL dijadwalkan. Prioritas dipengaruhi seberapa penting URL menurut Google dan seberapa cepat server merespons. Di sini URL bisa lama berstatus "Discovered".
FetchGooglebot mengambil URL. Sebelum itu ia membaca robots.txt. Respons 200 lanjut; 3xx diikuti; 4xx/5xx dicatat.
Render queueHalaman 200 diantrekan untuk dirender dengan Chromium, kecuali ada noindex. Bisa beberapa detik, bisa lebih lama.
ProcessingGoogle mengekstrak teks, link, structured data, sinyal canonical. Link baru masuk ke discovery.
Index decisionGoogle memutuskan apakah halaman disimpan, dan URL mana yang jadi canonical. Di sini muncul "Crawled – currently not indexed".

Empat kombinasi yang mungkin

Memahami empat kombinasi ini membuat laporan Search Console jadi jauh lebih masuk akal.

Di-crawl?	Diindeks?	Contoh kasus	Yang perlu dilihat
Ya	Ya	Halaman normal.	Tidak ada yang perlu diperbaiki. Pastikan canonical yang dipilih Google sama dengan yang kita mau.
Ya	Tidak	Halaman tipis, duplikat, noindex, atau Google belum yakin. Status: "Crawled – currently not indexed".	Kualitas, keunikan, sinyal canonical. Bukan masalah crawl.
Tidak	Tidak	URL diketahui tapi belum diambil. Status: "Discovered – currently not indexed".	Kapasitas server, internal link, jumlah URL bernilai rendah yang menghabiskan antrean.
Tidak	Ya	URL diblokir robots.txt tapi ada link dari luar. Google mengindeks URL-nya tanpa isi. Tampil dengan snippet "No information is available for this page".	Kalau memang tidak ingin tampil: buka blokir, pasang noindex, tunggu di-crawl ulang, baru boleh diblokir lagi kalau mau.

Cara mengecek status satu URL

Buka URL Inspection di Search Console, tempel URL-nya.
Baca bagian Page indexing: "URL is on Google" berarti diindeks. Kalau tidak, alasannya tertulis di sana.
Baca bagian Crawl: tanggal crawl terakhir, apakah crawl diizinkan, apakah fetch berhasil. Kalau tanggalnya kosong, URL belum pernah di-crawl.
Baca bagian Indexing: canonical yang kita deklarasikan vs canonical yang dipilih Google. Kalau berbeda, itu masalah kanonikalisasi, bukan crawl.
Kalau perlu melihat apa yang benar-benar diterima Google, klik Test live URL lalu View tested page untuk HTML hasil render.

Cara mengecek dalam skala besar

Untuk ratusan atau ribuan URL, URL Inspection satu per satu tidak praktis. Bandingkan tiga daftar: URL di sitemap (yang kita anggap penting), URL yang ditemukan crawler desktop (yang benar-benar tertaut), dan URL di laporan Page indexing (yang diketahui Google beserta statusnya). Prosedurnya ada di playbook audit indexing. Untuk melihat apakah Google benar-benar mengambil URL tertentu, log server adalah sumber paling jujur: cari permintaan dari user-agent Googlebot dan verifikasi alamat IP-nya lewat reverse DNS.

Kesalahan yang sering terjadi

Mengirim request indexing berulang-ulang untuk halaman yang berstatus "Crawled – currently not indexed". Google sudah melihat halamannya. Mengirim ulang tidak mengubah penilaian; yang mengubah penilaian adalah halamannya.
Memblokir halaman dengan robots.txt supaya tidak terindeks. Efeknya bisa sebaliknya.
Menganggap sitemap sebagai perintah. Sitemap adalah saran. URL yang ada di sitemap tapi tidak tertaut dari mana pun tetap berprioritas rendah.
Mengukur "terindeks" dengan operator site:. Angka yang ditampilkan operator itu perkiraan kasar dan tidak stabil. Pakai laporan Page indexing.

Rujukan

In-depth guide to how Google Search works Google Search Central
Introduction to robots.txt Google Search Central
Page indexing report Search Console Help

Tentang penulis

Ahmad Safwan menulis dan mendokumentasikan pembelajaran tentang SEO, technical SEO, search visibility, dan perkembangan AI Search di situs ini. Koreksi dan pertanyaan lewat halaman kontak.