Akhir-akhir ini, kita mendengar banyak definisi untuk "anggaran perayapan", namun tidak ada satu istilah yang benar-benar menjelaskan tentang "anggaran perayapan" secara eksternal. Melalui postingan ini, kami akan memperjelas definisinya menurut kami dan maknanya bagi Googlebot.
Pertama-tama, kami ingin menekankan bahwa anggaran perayapan, seperti yang dijelaskan di bawah, bukanlah hal yang harus dikhawatirkan oleh kebanyakan publishers. Jika halaman baru cenderung dirayapi di hari yang sama saat ditayangkan, anggaran perayapan bukanlah hal yang perlu diperhatikan oleh webmaster. Demikian halnya jika sebuah situs memiliki kurang dari beberapa ribu URL, biasanya situs tersebut akan dirayapi secara efisien.
Memprioritaskan apa yang dirayapi, kapan, dan seberapa banyak sumber daya yang dapat dialokasikan oleh server yang menjadi host adalah hal yang lebih penting bagi situs yang lebih besar, atau situs yang membuat halaman secara otomatis berdasarkan parameter URL, misalnya.
Batas laju perayapanGooglebot dirancang untuk menjadi fitur web yang baik. Perayapan adalah prioritas utamanya, sembari memastikan hal ini tidak menyulitkan pengguna yang mengunjungi situs. Kami menyebut hal ini "batas laju perayapan", yang membatasi tingkat pengambilan maksimum untuk situs tertentu.
Singkatnya, hal ini menunjukkan jumlah sambungan paralel simultan yang dapat digunakan Googlebot untuk merayapi sebuah situs, serta waktu untuk menunggu antara pengambilan satu ke pengambilan berikutnya. Batas laju perayapan dapat naik dan turun berdasarkan beberapa faktor:
- Kualitas perayapan: jika situs menanggapi dengan sangat cepat untuk sementara waktu, batas laju perayapan naik, yang artinya ada lebih banyak sambungan yang dapat digunakan untuk melakukan perayapan. Jika situs melambat atau menanggapi dengan error server, batas laju perayapan menurun dan Googlebot akan lebih sedikit melakukan perayapan.
- Batas yang disetel di Search Console: pemilik situs web dapat mengurangi frekuensi perayapan Googlebot di situs mereka. Perlu diperhatikan bahwa menyetel batas yang lebih tinggi tidak meningkatkan perayapan secara otomatis.
Permintaan perayapanMeskipun laju perayapan belum mencapai batasnya, jika tidak ada permintaan dari pengindeksan, aktivitas Googlebot menjadi rendah. Dua faktor yang memiliki peran penting dalam menentukan permintaan perayapan antara lain:
- Popularitas: URL yang lebih populer di Internet cenderung dirayapil lebih sering untuk mempertahankan posisinya di indeks kami.
- Kedaluwarsa: sistem kami berupaya mencegah URL kedaluwarsa dalam indeks.
Selain itu, peristiwa yang berdampak pada situs secara keseluruhan seperti perpindahan situs dapat memicu peningkatan permintaan perayapan untuk mengindeks ulang konten dengan URL baru.
Dengan mempertimbangkan laju perayapan dan permintaan perayapan, kami mendefinisikan anggaran perayapan sebagai jumlah URL yang dapat dan ingin dirayapi oleh Googlebot.
Faktor yang memengaruhi anggaran perayapanMenurut analisis kami, memiliki banyak URL bernilai tambah rendah dapat memberikan dampak yang buruk pada proses perayapan dan pengindeksan situs. Kami mengetahui bahwa URL bernilai tambah rendah termasuk dalam kategori berikut, disebutkan sesuai dengan urutan signifikansinya:
Menyia-nyiakan sumber daya server pada halaman seperti ini akan mengurangi aktivitas perayapan dari halaman yang benar-benar bernilai, sehingga dapat menyebabkan penundaan signifikan dalam menemukan konten yang bermutu di situs tertentu.
Pertanyaan teratas Perayapan adalah pintu masuk situs ke hasil penelusuran Google. Perayapan sebuah situs web secara efisien akan membantu pengindeksannya di Google Penelusuran.
T: Apakah kecepatan situs memengaruhi anggaran perayapan? Bagaimana dengan error yang terjadi?
J: Mempercepat situs akan meningkatkan pengalaman pengguna sekaligus meningkatkan laju perayapan. Bagi Googlebot, situs yang cepat menunjukkan bahwa servernya sehat, sehingga situs dapat memperoleh lebih banyak konten dengan jumlah sambungan yang sama. Di sisi lain, error 5xx atau putusnya sambungan dalam jumlah yang signifikan menandakan sebaliknya, dan perayapan akan melambat.
Sebaiknya perhatikan
Laporan Kesalahan Perayapan di Search Console dan pastikan jumlah error server rendah.
T: Apakah perayapan adalah faktor yang menentukan peringkat?
J: Laju perayapan yang tinggi belum tentu meningkatkan posisi situs pada hasil Penelusuran. Google menggunakan ratusan sinyal untuk menentukan peringkat pada hasil penelusuran, dan meskipun diperlukan untuk membuat situs muncul di hasil penelusuran, perayapan bukanlah sinyal yang menentukan peringkat.
T: Apakah URL alternatif dan konten yang disematkan berpengaruh pada anggaran perayapan?
J: Umumnya, setiap URL yang dirayapi Googlebot berpengaruh pada anggaran perayapan situs. URL alternatif, seperti AMP atau hreflang, serta konten yang disematkan, seperti CSS dan JavaScript, mungkin harus dirayapi dan menyedot anggaran perayapan situs. Demikian juga, rantai pengalihan (redirect) yang panjang dapat berdampak negatif pada perayapan.
T: Dapatkah saya mengontrol Googlebot dengan perintah "penundaan perayapan"?
J: Perintah robots.txt "penundaan perayapan" non-standar tidak diproses oleh Googlebot.
T: Apakah perintah nofollow mempengaruhi anggaran perayapan?
J: Bergantung kepada beberapa hal. Setiap URL yang dirayapi mempengaruhi anggaran perayapan, meskipun kamu menandakan sebuah laman sebagai nofollow, laman tersebut masih bisa dirayapi apabila ada laman lain disitus, ataupun diweb yang tidak menandakan tautan menuju laman tersebut dengan perintah nofollow.
Untuk informasi terkait cara mengoptimalkan perayapan situs Anda, kunjungi entri blog kami tentang
mengoptimalkan perayapan yang ditulis pada 2009 namun masih berlaku. Jika Anda memiliki pertanyaan, ajukan di
forum!
Diposting oleh Gary, Crawling and Indexing Team
