Cara Kerja Google Search: Crawling sampai Ranking

Google Search bekerja dalam tiga tahap besar: crawling (menemukan URL dan mengambil isinya dengan program otomatis bernama Googlebot), indexing (memproses teks, gambar, dan sinyal halaman lalu menyimpannya dalam indeks yang sangat besar), dan serving atau ranking (ketika seseorang mencari, memilih hasil paling relevan dari indeks dan mengurutkannya). Tidak ada tahap yang dijamin: URL bisa berhenti di mana saja.

Alur lengkap satu URL

DiscoveryGoogle mengetahui URL dari link di halaman yang sudah dikenal, dari sitemap, dari pengiriman lewat Search Console, atau dari URL yang pernah ada. Halaman tanpa jalur masuk (orphan) berhenti di sini.
Crawl schedulingURL masuk antrean. Google menentukan seberapa cepat dan seberapa sering mengambilnya berdasarkan seberapa penting URL menurutnya dan seberapa besar beban yang sanggup ditanggung server (crawl budget). Di sini URL bisa lama berstatus "Discovered – currently not indexed".
FetchGooglebot membaca robots.txt, lalu mengambil URL. Respons 200 lanjut ke tahap berikutnya; redirect diikuti; 404, 5xx, dan blokir dicatat.
RenderHalaman diantrekan untuk dijalankan dengan Chromium versi terbaru, supaya konten yang dihasilkan JavaScript ikut terbaca. Antrean ini terpisah dan bisa tertunda.
Processing dan indexingGoogle mengekstrak teks, atribut gambar, structured data, link, sinyal canonical. Ia menilai apakah halaman duplikat dari halaman lain, apakah isinya cukup berharga, dan URL mana yang jadi canonical. Hasilnya disimpan di indeks. Di sini muncul "Crawled – currently not indexed" atau "Duplicate".
ServingSaat ada query, Google mencari dokumen yang cocok di indeks, mengurutkannya dengan banyak sistem ranking, lalu menyusun halaman hasil beserta fitur-fiturnya (featured snippet, AI Overview, gambar, dan lainnya). Personalisasi lokasi dan bahasa terjadi di sini.

Discovery: dari mana Google tahu sebuah URL ada

Google tidak pernah "menjelajah" internet secara buta. Setiap URL yang ia ambil berasal dari sesuatu: link di halaman yang sudah pernah di-crawl, entri di sitemap, pengiriman manual lewat URL Inspection, atau daftar URL lama. Konsekuensinya sederhana tapi sering diabaikan: halaman baru yang tidak ditautkan dari mana pun dan tidak ada di sitemap tidak akan ditemukan. Halaman yang hanya ditautkan dari satu halaman yang jarang di-crawl akan ditemukan lambat. Ini alasan internal link dibahas sebagai topik teknis, bukan hanya topik konten.

Crawling: Googlebot dan batasannya

Googlebot adalah nama umum untuk crawler Google. Ia mengambil halaman dari banyak alamat IP, mematuhi robots.txt, dan menyesuaikan kecepatan supaya tidak membebani server. Dua hal yang menentukan seberapa sering sebuah situs di-crawl:

Kapasitas (crawl capacity limit): seberapa banyak permintaan paralel yang bisa ditanggung server tanpa melambat atau mengembalikan error. Server yang lambat atau sering 5xx membuat Google mengerem.
Permintaan (crawl demand): seberapa penting dan seberapa sering berubah URL-URL di situs itu menurut Google. Halaman populer yang sering diperbarui di-crawl lebih sering; halaman yang bertahun-tahun tidak berubah lebih jarang.

Untuk situs dengan ribuan halaman atau kurang, crawl budget hampir tidak pernah jadi masalah. Google sendiri menyatakan ini relevan terutama untuk situs sangat besar atau yang menghasilkan URL dalam jumlah besar secara otomatis.

Rendering: kenapa JavaScript butuh perhatian khusus

Setelah mengambil HTML, Google menjalankannya di browser tanpa layar (headless Chromium) untuk mendapatkan halaman "jadi", termasuk konten yang disisipkan JavaScript. Ini terjadi di antrean terpisah yang, menurut Google, biasanya beberapa detik tapi bisa lebih lama. Tiga implikasi:

Konten yang hanya muncul setelah JavaScript tetap bisa diindeks, tapi lebih lambat dan dengan lebih banyak titik gagal (skrip diblokir, error, timeout).
Link yang dibuat lewat JavaScript tanpa atribut href yang sebenarnya tidak dianggap link.
Meta robots atau canonical yang diubah lewat JavaScript bisa terbaca berbeda dari HTML mentah. Google secara eksplisit menulis: kalau noindex ada di HTML mentah, rendering bisa dilewati sama sekali.

Cara paling aman: konten utama, link, judul, canonical, dan meta robots ada di HTML yang dikirim server. Selengkapnya di rendering.

Indexing: bukan sekadar "disimpan"

Tahap ini yang paling sering disederhanakan. Google tidak menyimpan semua yang ia crawl. Saat memproses halaman, ia memutuskan beberapa hal:

Keputusan	Pertanyaan yang dijawab	Kalau jawabannya buruk
Duplikasi	Apakah halaman ini pada dasarnya sama dengan halaman lain yang sudah dikenal (di situs ini atau di situs lain)?	Halaman dikelompokkan dengan duplikatnya; hanya satu yang jadi canonical dan ditampilkan
Nilai	Apakah halaman ini menambah sesuatu yang belum ada di indeks?	"Crawled – currently not indexed"
Kelayakan	Apakah halaman ini melanggar kebijakan spam atau berisi konten yang tidak bisa ditampilkan?	Tidak diindeks, atau tindakan manual
Struktur	Bagian mana yang judul, isi utama, navigasi, boilerplate?	Snippet dan pemahaman topik meleset

Indeks Google menyimpan lebih dari sekadar teks: struktur halaman, gambar dan video beserta konteksnya, structured data, dan sinyal tentang halaman seperti bahasa, negara, dan tanggal.

Serving: apa yang terjadi saat seseorang mencari

Ketika query masuk, Google mencari di indeks halaman-halaman yang cocok, lalu mengurutkannya. Dokumentasi Google menyebut faktor yang dipertimbangkan secara garis besar: makna query (termasuk sinonim dan ejaan), relevansi konten, kualitas (keahlian, otoritas, kepercayaan, sebagian dinilai dari link), kegunaan halaman (kecepatan, mobile), serta konteks seperti lokasi, bahasa, dan riwayat. Hasilnya bukan hanya daftar link; Google menyusun SERP dengan berbagai fitur, dan sejak 2024 termasuk AI Overviews untuk sebagian query.

Google memperbarui sistem ranking terus-menerus dan mengumumkan perubahan besar sebagai core update beberapa kali setahun. Pada 2026 sudah ada core update Maret dan Mei, plus spam update Maret, Juni, dan Agustus. Daftar resminya ada di Search Status Dashboard.

Titik gagal di tiap tahap, dan alat untuk melihatnya

Tahap	Gejala di Search Console	Panduan
Discovery	URL tidak pernah muncul di laporan mana pun	Orphan page, sitemap
Crawl scheduling	"Discovered – currently not indexed"	Discovered – currently not indexed
Fetch	"Blocked by robots.txt", "Server error (5xx)", "Not found (404)", "Redirect error"	robots.txt, status code
Render	Konten di URL Inspection → View tested page tidak lengkap	Rendering
Indexing	"Crawled – currently not indexed", "Duplicate…", "Excluded by noindex", "Soft 404"	Crawled – currently not indexed, canonical
Serving	Terindeks, tapi impresi rendah atau posisi jauh	Search intent, Content SEO

Rujukan

In-depth guide to how Google Search works Google Search Central
Ranking results: how Search works Google
Large site owner's guide to managing your crawl budget Google Search Central
Understand JavaScript SEO basics Google Search Central
Google Search Status Dashboard (bagian Ranking) Google

Tentang penulis

Ahmad Safwan menulis dan mendokumentasikan pembelajaran tentang SEO, technical SEO, search visibility, dan perkembangan AI Search di situs ini. Koreksi dan pertanyaan lewat halaman kontak.