Technical SEO menengah
Noindex vs Nofollow
Keduanya sering ditulis berdampingan, tapi bekerja di level yang berbeda: noindex berbicara tentang halaman, nofollow berbicara tentang link. Salah satu kombinasi yang paling sering dipasang justru membatalkan keduanya.
noindex adalah direktif yang meminta mesin pencari tidak memasukkan sebuah halaman ke indeks, sehingga tidak muncul di hasil pencarian. nofollow adalah petunjuk agar mesin pencari tidak mengikuti link, baik semua link di halaman (lewat meta robots) maupun satu link tertentu (lewat atribut rel). Keduanya independen: halaman bisa noindex tapi link-nya tetap diikuti, dan sebaliknya.
Perbandingan
| noindex | nofollow | |
|---|---|---|
| Objek | Halaman | Link |
| Efek | Halaman dikeluarkan dari indeks setelah di-crawl ulang | Google tidak mengikuti link itu untuk discovery dan tidak meneruskan sinyalnya (sejak 2019 diperlakukan sebagai petunjuk, bukan perintah) |
| Cara pasang | Meta robots atau header X-Robots-Tag | Meta robots (semua link) atau rel="nofollow" per link |
| Direktif | Ya, dipatuhi Google | Petunjuk; Google boleh mengabaikan |
| Alternatif spesifik | Tidak ada | rel="sponsored" untuk link berbayar, rel="ugc" untuk konten pengguna |
| Efek samping | Halaman noindex yang bertahan lama akhirnya lebih jarang di-crawl, dan Google pernah menyatakan link di dalamnya juga bisa berhenti diikuti | Halaman yang hanya tertaut dengan nofollow bisa jadi tidak pernah ditemukan |
Cara pasang
<!-- Halaman tidak diindeks, link tetap diikuti (kombinasi paling umum yang benar) -->
<meta name="robots" content="noindex">
<!-- Halaman tidak diindeks DAN link tidak diikuti -->
<meta name="robots" content="noindex, nofollow">
<!-- Hanya untuk Googlebot -->
<meta name="googlebot" content="noindex"># Berkas non-HTML (PDF, gambar) atau kalau tidak bisa mengubah HTML
X-Robots-Tag: noindex
# Apache: semua PDF
<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex"
</FilesMatch><a href="https://contoh-sponsor.com/" rel="sponsored">Sponsor</a>
<a href="https://blog-pembaca.com/" rel="ugc">Komentar</a>
<a href="https://situs-lain.com/" rel="nofollow">Tidak ingin memberi sinyal</a>Kalau index atau follow tidak disebut, nilai bawaannya sudah index, follow. Tag <meta name="robots" content="index, follow"> tidak menambah apa pun.
Kombinasi dengan robots.txt yang membatalkan noindex
Ini kesalahan paling umum di topik ini. Supaya noindex terbaca, Google harus meng-crawl halamannya. Kalau URL yang sama diblokir di robots.txt, Google tidak pernah melihat tag noindex, dan URL bisa tetap terindeks tanpa isi kalau ada link dari luar.
- Pasang noindexdi meta robots atau X-Robots-Tag
- Pastikan URL tidak diblokir robots.txtkalau sebelumnya diblokir, buka blokirnya
- Tunggu Google meng-crawl ulangbisa dipercepat lewat URL Inspection → Request indexing (ya, untuk membaca noindex)
- VerifikasiURL Inspection menampilkan "Excluded by noindex tag"
- Baru boleh diblokir robots.txt lagikalau memang ingin menghemat crawl; tidak wajib
Google juga pernah menyatakan bahwa noindex di robots.txt tidak lagi didukung sejak 2019. Baris Noindex: /path/ di robots.txt tidak melakukan apa-apa.
Kapan memakai noindex
- Hasil pencarian internal, halaman filter tanpa nilai tersendiri, halaman "terima kasih", halaman login.
- Halaman tag atau arsip tanggal di blog yang isinya cuma daftar kutipan.
- Halaman staging yang terlanjur publik (lebih baik lagi: lindungi dengan password).
- Konten sindikasi di situs penerima, kalau sumber asli ingin tetap jadi yang tampil.
Yang bukan kasus noindex: halaman duplikat (pakai canonical) dan halaman yang sudah pindah (pakai redirect). Google secara eksplisit menulis untuk tidak memakai noindex sebagai alat kanonikalisasi di dalam satu situs.
Kapan memakai nofollow
Lebih jarang dari yang orang kira. Sejak Google memperkenalkan sponsored dan ugc, nofollow tersisa untuk link yang tidak ingin kita beri sinyal apa pun tanpa alasan spesifik. Untuk link internal, nofollow hampir selalu keliru: kalau halamannya tidak ingin diindeks, pakai noindex di halamannya; kalau tidak ingin ditemukan, jangan ditautkan. Memberi nofollow ke link internal cuma membuat Google menemukan halaman itu lewat jalur lain tanpa konteks.
Direktif lain di meta robots
| Direktif | Efek |
|---|---|
nosnippet | Tidak ada snippet teks di hasil pencarian. Google mencatat ini juga mencegah konten dipakai sebagai input langsung AI Overviews dan AI Mode. |
max-snippet:[n] | Batasi panjang snippet. 0 = tanpa snippet, -1 = tanpa batas. Juga membatasi pemakaian di fitur AI. |
max-image-preview:[none|standard|large] | Ukuran pratinjau gambar. large dibutuhkan untuk tampil di Discover. |
noimageindex | Gambar di halaman ini tidak diindeks. |
unavailable_after: [tanggal] | Keluarkan dari hasil pencarian setelah tanggal tertentu. |
notranslate | Jangan tawarkan terjemahan di hasil pencarian. |
none | Sama dengan noindex, nofollow. |
Cara mengecek
- Lihat HTML mentah (view-source), bukan DOM di DevTools: cari
name="robots"danname="googlebot". Kalau CMS atau plugin menyuntikkan noindex lewat JavaScript, itu juga terbaca Google setelah render, tapi pastikan tidak ada dua nilai yang bertentangan. - Cek header dengan
curl -sI URL | grep -i x-robots-tag. CDN atau server bisa menambahkan header ini tanpa terlihat di HTML. - Di Search Console, laporan Page indexing → alasan "Excluded by noindex tag" mendaftar semua URL yang Google lihat noindex-nya. Kalau ada halaman penting di sana, biasanya ada plugin atau template yang salah.
- Setelah mencabut noindex, minta indexing ulang lewat URL Inspection, karena Google tidak akan buru-buru meng-crawl ulang halaman yang sebelumnya ditandai noindex.
Rujukan
- Robots meta tag, data-nosnippet, and X-Robots-Tag specifications Google Search Central
- Block Search indexing with noindex Google Search Central
- Qualify your outbound links to Google Google Search Central