HTML/JavaScript

Apa Itu Googlebot 2019

apa itu Googlebot Web Crawler?
Googlebot adalah webcrawler (perayap jaringan) yang dipakai oleh Google. Googlebot dipakai buat mencari dan mengumpulkan halaman-page di internet. Informasi yang dikumpulkan Googlebot digunakan buat memperbarui index Google.
Googlebot mengunjungi triliunan page web dan terus menerus mengunjungi page-page tadi.

Apa itu WebCrawler?

Sebenarnya Webcrawlers yg juga disebut sebagai bots, robots, atau spiders, hanyalah sejenis software yg didesain buat mengikuti tautan-tautan/links serta mengumpulkan data menurut setiap link.
Googlebot mengambil konten berdasarkan halaman-halaman web, seperti istilah-istilah, kode, serta sumberdaya yang menyusun page web tersebut.
Kalau pada pada konten yang diambilnya ada link menuju page lain, maka link-link itu akan dicatat.

Googlebot dan Website Anda

Informasi yang dikirimkan oleh Googlebot akan memperbarui index Google. Index inilah tempat pada mana semua laman web akan dibandingkan dan diberi ranking berdasarkan istilah kunci.
Jadi langkah pertama supaya halaman website anda sanggup terdapat pada dalam index ini adalah membuat website anda sanggup terlihat serta mampu diakses oleh Googlebot.

Apakah Googlebot Bisa Melihat Halaman Web Saya?

Untuk mengetahui apa yg mampu dicermati oleh Googlebot berdasarkan situs anda, lakukan hal ini pada pencarian Google. Masukkan pencarian berikut:
site:namadomain.com
Ini merupakan perintah buat menampilkan semua laman yg dikumpulkan Googlebot ke dalam Google index.
Dari sini anda sanggup melihat ada berapa banyak page anda yg ada pada pada index Google. Apakah jumlahnya masuk akal, kurang, atau malah terlalu hiperbola?
Jika kurang, maka sanggup saja ada laman yg anda anggap seharusnya masuk ke pada index Google malah secara nir sengaja anda blokir dengan robots.txt.
Kalau hiperbola, maka sanggup jadi terdapat page-page yg nir anda inginkan masuk malah terindeks; atau bahkan website anda secara nir sengaja menciptakan poly duplikat konten lantaran sistem dari tema yg digunakan.
Mana saja yang terjadi di antara keduanya akan menghambat SEO berdasarkan website anda.... Apabila page yg terindeks kurang, maka kurang pula poin yg harusnya anda dapatkan; serta sebaliknya bila halaman yg terindeks hiperbola, maka poin setiap laman juga menjadi lebih mini karena pembaginya jadi lebih banyak....
Jadi apabila anda baru pertama kali belajar SEO, maka mengamati index Google merupakan galat satu hal yang harus anda pahami.

Apakah Google bisa mengakses seluruh konten dan tautan?

Tidak semua yang ada pada dalam halaman kita sanggup diakses oleh Google, jadi anda harus tahu apakah elemen krusial berdasarkan halaman yang anda harapkan mampu membantu SEO sanggup dilihat sang Google.
Ada poly jenis kasus yang mengakibatkan Google nir mampu melihat seluruh isi konten pada dalam website kita. Beberapa pada antaranya adalah:
  1. Diblokir robots.txt
  2. Link nir terbaca (broken link)
  3. Memakai teknologi flash yg belum sanggup dipandang Googlebot
  4. Kode yang error
  5. Link bergerak maju yang terlalu rumit

Jika anda mau mengetahui apakah semua komponen laman anda sanggup dipandang sang Google, maka coba lakukan FETCH AND RENDER di Search console; lihat apakah Google bisa merayapi semuanya atau hanya sebagian.
Atau anda mampu pula mencari page anda di Google menggunakan operator site: tadi, serta sehabis hasil pencarian keluar, coba lihat CACHE Google dari panah kecil yang terdapat di setiap hasil pencarian (lihat gambar di bawah)
cek cache pada pencarian Google

Bisakah Googlebot dikendalikan?

Ya, Google merupakan perusahaan yg menghargai anggaran di pada robots.txt. Jadi robotnya tidak akan mengumpulkan data berdasarkan halaman-laman yang dihentikan.
Secara holistik ada beberapa cara anda mampu mengatur robot google:
  1. Memakai robots.txt
  2. Memasukkan meta robots pada halaman
  3. Menggunakan instruksi robot pada header
  4. Memakai peta situs
  5. Memakai Google Search Console

Tapi yang paling umum dipakai adalah robots.txt

Apa itu Robots.txt?

Ini merupakan file yang berisi anggaran bagaimana seharusnya robot perayap berinteraksi pada page web anda. Yang perlu anda ketahui adalah;... Hanya lantaran website anda memakai robots.txt bukan berarti seluruh robot akan mengikuti aturan yang ada pada dalamnya.
Robot dari pihak yang buruk tentu saja tidak akan mempedulikan aturan di dalam robots.txt ini.
Khusus Googlebot; anda sanggup mengatur page mana yg boleh dan nir boleh diakses sang Googlebot waktu datang ke website anda. Hanya saja pembahasan robots.txt ini cukup kompleks jadi akan dibahas nanti di artikel tersendiri.

Googlebot dan Peta Situs

Peta situs atau biasa diklaim sitemap merupakan cara buat membantu google tahu struktur berdasarkan website anda.
Google mengungkapkan terdapat beberapa kondisi di mana anda sangat perlu menggunakan peta situs...
  1. Anda menciptakan website yang sangat besar
  2. Website anda memiliki poly konten akan tetapi saling terisolasi serta nir memiliki struktur link yg baik
  3. Situs anda masih baru serta hanya sedikit backlink yang masuk; jadi Google lebih mengandalkan peta situs untuk perayapan semua halaman baru.

Tipe-Tipe Googlebot

Googlebot memiliki 9 tipe yang berbeda menggunakan fungsi yang tidak sinkron pula. Kesembilan Googlebot tadi adalah:
  1. Googlebot (Google Web search)
  2. Google Smartphone
  3. Google Mobile (Feature phone)
  4. Googlebot Images
  5. Googlebot Video
  6. Googlebot News
  7. Google Adsense
  8. Google Mobile Adsense
  9. Google Adsbot (landing page quality check)
Kalau terdapat yang mau info yg lebih detilnya bisa kunjungi halaman penjelasan Google Crawlers.

Iklan Atas Artikel

Iklan Tengah Artikel 1

Iklan Tengah Artikel 2

Iklan Bawah Artikel