Search Console menengah
Discovered – Currently Not Indexed
Google tahu URL ini ada, tapi belum pernah mengambilnya. Menurut dokumentasi Google, ini biasanya soal penjadwalan: Google memperkirakan crawl akan membebani server dan menundanya. Dalam praktik, ini juga cara Google mengatakan bahwa URL itu belum cukup penting untuk diantrekan.
Status ini muncul ketika URL sudah masuk daftar Google (dari sitemap, link, atau pengiriman) tapi belum di-crawl. Penjelasan resminya: "Google found the page but hasn't crawled it yet. Typically, Google wanted to crawl the URL but this was expected to overload the site; therefore Google rescheduled the crawl." Kalimat kedua menjelaskan sebagian kasus; sisanya dijelaskan oleh cara Google memprioritaskan antrean crawl.
Gejala, penyebab, cek pertama
| Gejala | Kemungkinan penyebab | Cek pertama |
|---|---|---|
| Situs besar (puluhan ribu URL ke atas), status ini pada ribuan URL | Crawl budget: Google membatasi jumlah permintaan agar tidak membebani server, dan URL bernilai rendah menghabiskan jatahnya | Crawl stats: waktu respons rata-rata, kode 5xx, dan jenis URL yang paling banyak di-crawl |
| Situs kecil-menengah, status ini pada halaman yang dalam atau baru | Prioritas rendah: URL hanya ditemukan lewat sitemap atau dari halaman yang jarang di-crawl | Crawl depth dan jumlah internal link ke URL itu |
| Halaman baru di situs baru | Google belum menetapkan laju crawl yang tinggi untuk situs yang belum punya sinyal | Berapa halaman yang sudah diindeks; apakah ada link dari luar |
| URL dengan parameter atau ID yang dihasilkan otomatis dalam jumlah besar | Google mendeteksi pola URL tak terbatas dan menunda sebagian besar | Apakah URL-URL itu memang perlu di-crawl? |
| Server lambat atau sering 5xx pada periode tertentu | Google mengerem laju crawl saat server bermasalah, dan antrean menumpuk | Crawl stats → host status; log server |
| Halaman hanya ada di sitemap, tidak tertaut | Orphan page; Google tahu dari sitemap tapi tidak melihat alasan untuk memprioritaskannya | Bandingkan crawl vs sitemap |
Cara Google memutuskan apa yang di-crawl
Dokumentasi crawl budget menyebut dua faktor: crawl capacity limit (seberapa banyak yang bisa diambil tanpa membebani server, disesuaikan dari waktu respons dan error) dan crawl demand (seberapa besar keinginan Google meng-crawl URL, dari popularitas, seberapa sering berubah, dan kualitas yang dipersepsikan). URL berstatus Discovered adalah URL yang kalah dalam perebutan jatah ini. Untuk situs kecil, kapasitasnya hampir selalu cukup; yang kurang adalah demand: Google tidak melihat cukup alasan untuk mengambil URL itu sekarang.
Bedanya dengan Crawled
| Discovered – currently not indexed | Crawled – currently not indexed | |
|---|---|---|
| Google sudah mengambil halaman? | Belum | Sudah |
| Keputusan tentang | Prioritas dan kapasitas crawl | Isi halaman |
| Last crawl di URL Inspection | Kosong | Ada tanggal |
| Tindakan utama | Struktur, link, sitemap, server | Kualitas, duplikasi, render |
| Request indexing membantu? | Untuk beberapa URL, ya | Tidak |
Tindakan per penyebab
| Penyebab | Tindakan | Cara verifikasi |
|---|---|---|
| Prioritas rendah (situs kecil-menengah) | Tautkan URL dari hub dan dari halaman yang sering di-crawl; kurangi crawl depth; pastikan ada di sitemap dengan lastmod yang benar; untuk beberapa URL penting, request indexing | Last crawl terisi dalam 1–3 minggu; status berubah |
| Crawl budget (situs besar) | Kurangi URL yang tidak perlu di-crawl: blokir parameter tak berguna di robots.txt, konsolidasi varian, hapus atau noindex halaman bernilai rendah; percepat server; perbaiki 5xx | Crawl stats: jumlah permintaan ke URL yang berguna naik; status Discovered turun |
| Server lambat / 5xx | Perbaiki performa server dan stabilitas; periksa CDN dan rate limiter tidak memblokir Googlebot | Crawl stats → host status hijau; waktu respons rata-rata turun |
| Orphan | Tautkan dari halaman yang relevan | Referring page di URL Inspection terisi |
| Situs baru | Perkuat sinyal: internal link, beberapa link dari luar yang relevan, konsistensi publikasi; sabar | Bertahap, cek bulanan |
| Pola URL tak terbatas | Tentukan versi canonical, blokir sisanya di robots.txt atau ubah agar tidak menghasilkan URL baru | Status Discovered pada pola itu berhenti bertambah |
Berapa lama menunggu
Tidak ada angka resmi. Untuk situs yang sehat, URL baru yang tertaut dengan baik biasanya di-crawl dalam hitungan hari. Kalau halaman penting berstatus Discovered lebih dari dua minggu, itu tanda struktur atau sinyal yang perlu diperbaiki, bukan tanda untuk menunggu lebih lama. Kalau status ini menimpa sebagian besar URL baru secara konsisten, Google sedang membatasi crawl situs itu, dan penyebabnya biasanya kapasitas server atau proporsi URL bernilai rendah yang besar.
Rujukan
- Page indexing report: Discovered - currently not indexed Search Console Help
- Large site owner's guide to managing your crawl budget Google Search Central
- Crawl Stats report Search Console Help