Googlebot nedir?

[orhan]

• Googlebot, Google tarafından kullanılan web tarayıcısıdır.
• Web sayfalarını bulmak ve almak için Google tarafından kullanılır.
• Googlebot tarafından toplanan bilgiler Google endeksini güncellemek için kullanılır.

Googlebot milyarlarca web sayfasını ziyaret eder ve web’deki sayfaları sürekli ziyaret eder.

Web tarayıcısı nedir?

Web tarayıcıları (botlar, robotlar veya örümcekler olarak da bilinir) bağlantıları izlemek, bilgi toplamak ve daha sonra bu bilgileri bir yere göndermek için tasarlanmış bir yazılım türüdür.

Googlebot ne yapar?

• Googlebot, web sayfalarının içeriğini (web sayfasını oluşturan kelimeler, kod ve kaynaklar) alır.
• Aldığı içeriğin başka şeylere bağlantıları varsa, bu not edilir.
• Daha sonra bilgileri Google’a gönderir.

Googlebot ve web siteniz

Googlebot’un Google bilgisayarlarına geri gönderdiği bilgiler Google endeksini günceller.

Google dizini, web sayfalarının karşılaştırıldığı ve sıralandığı yerdir.

• Web sayfalarınızın Google’da bulunabilmesi için Googlebot’a görünür olmaları gerekir.
• Web sayfalarınızın en iyi şekilde sıralanması için, tüm web sayfası kaynaklarına Googlebot tarafından erişilebilmelidir.

Googlebot ile Google dizini arasındaki fark

Googlebot

• Googlebot, web’deki içeriği alır.
• Googlebot, içeriği zaten yargılamaz, yalnızca onu alır.
• Googlebot’un tek endişesi “Bu içeriğe erişebilir miyim?”. ve "Erişebileceğim başka içerik var mı?"

Google dizini

• Google dizini, Googlebot’tan aldığı içeriği alıyor ve sayfaları sıralamak için kullanıyor

Google tarafından sıralanmanın ilk adımı Googlebot tarafından alınmaktadır.

Googlebot’un sayfalarınızı görebilmesini sağlamak

Googlebot, Google’ın endeksini güncelleme şekli olduğundan, Googlebot’un sayfalarınızı görmesi çok önemlidir.

Bir web yöneticisinin sorması gereken ilk temel sorular ...

[list type=decimal]
[*]Googlebot, sayfalarımı "görebilir" mi?
[*]Googlebot tüm içeriğime ve bağlantılarıma tamamen erişebilir mi?
[*]Googlebot tüm sayfa kaynaklarıma erişebilir mi?
[/list]

Her birine daha yakından bakalım ...

1. Googlebot, sayfalarımı "görebilir" mi?

Google’ın sitenizden gördükleri hakkında fikir edinmek için aşağıdaki Google aramasını yapın ...

site: sizinsiteniz.com

Alan adınızın önüne "site:" koyarak Google’dan siteniz için dizine eklediği sayfaları listelemesini isteyeceksiniz.

İpucu: Bunu yaparken "site:" ile etki alanı adınız arasında boşluk olmadığından emin olun. İşte bu siteyi kullanarak bir örnek ...

site: webtiryaki.com

Beklediğiniz sayfa sayısından daha az şey görürseniz, Googlebot’u robots.txt dosyanızla engellemediğinizden emin olmanız gerekir

2. Googlebot tüm içeriğime ve bağlantılarıma tamamen erişebilir mi?

Bir sonraki adım, Google’ın içeriğinizi ve bağlantılarınızı doğru görmesini sağlamaktır.

Sadece Googlebot’un sayfalarınızı görebilmesi, Google’ın bu sayfaların tam olarak ne olduğuna dair mükemmel bir resme sahip olduğu anlamına gelmez.

Google bot bir web sitesini insanlarla aynı şekilde görmüyor. Yukarıdaki resimde, üzerinde bir resim bulunan bir web sayfası var. İnsanlar resmi görebilir, ancak Googlebot’un gördüğü şey yalnızca bu resmi çağıran koddur.

Googlebot bu web sayfasına (html dosyası) erişebilir, ancak çeşitli nedenlerden dolayı bu web sayfasında bulunan resme erişemeyebilir.

Bu senaryoda, Google endeksi bu resmi içermeyecektir; bu, Google’ın web sayfanızı tam olarak anlamadığı anlamına gelir.

Googlebot bir web sayfasını nasıl "görür"

Googlebot web sayfalarının tamamını görmüyor, yalnızca o sayfanın bileşenlerini görüyor.

Bu bileşenlerden herhangi biri Googlebot’a erişemiyorsa, onları Google dizinine göndermez.

Daha önceki örneğimizi kullanmak için, Googlebot burada bir web sayfasını (html ve css) görüyor ancak resmi göremiyor.

Bu sadece görüntü değil. Bir web sayfasında birçok parça var. Google’ın web sayfalarınızı en iyi şekilde sıralayabilmesi için Google’ın tüm resme ihtiyacı var.

Googlebot’un web içeriğine erişemeyebileceği pek çok senaryo var, işte birkaç tane bunlardan birkaçı.

• Kaynak robots.txt tarafından engellendi
• Sayfa bağlantıları okunamıyor veya yanlış
• Flash'a veya web tarayıcılarının sorun yaşayabileceği başka bir teknolojiye güvenme
• Kötü HTML veya kodlama hataları
• Aşırı karmaşık dinamik bağlantılar

Bir Google hesabınız varsa, Google arama konsolunda bulunan "al ve oluştur" aracını kullanın . Bu araç, Google’ın tek bir sayfa için gördüğü şey hakkında size canlı bir örnek sağlayacaktır.

3. Googlebot tüm kaynaklarıma erişebilir mi?

CSS ve javascript dosyaları robots.txt dosyanız tarafından engellenmişse, web sayfası içeriğinizle ilgili bazı ciddi yanlış anlamalara neden olabilir (sadece eksik bir görüntüden çok daha kötü).

Sayfa kaynakları yüklenmemişse, bir web sayfasının gerçekten farklı olabileceği veya farklı içeriğe sahip olabileceği giderek daha fazla doğrudur.

Bunu göstermek için bir örnek, hangi cihazın sayfaya bakacağına bağlı olarak neyin gösterileceğini belirlemek için CSS veya javascript kullanan bir mobil sayfa olacaktır. Googlebot bu sayfanın CSS’ine veya Javascript’ine erişemiyorsa, sayfanın mobil olabileceğini fark etmeyebilir.

Bu senaryoda ve onun gibi diğerleri, Google sayfanızı "görecek" ve hatta anlayabilecektir, ancak yalnızca HTML’nin sunduğu şeyden başka pek çok senaryoda sıralanabileceğini fark etmeyebilir.

Googlebot’u kontrol edebilir miyim?
Evet.

Googlebot, robots.txt standartları aracılığıyla aldığı talimatları izler ve hatta Google’a özgü kontrol etmek için gelişmiş yöntemlere sahiptir.

Googlebot’u kontrol etmenin bazı yolları ...

• Bir robots.txt dosyası kullanma
• Web sayfalarınızın meta verilerine robot talimatlarını dahil etme
• Robot talimatlarını başlıklarınıza ekleyin
• Site haritalarını kullanma
• Google arama konsolunu kullanma

Şimdiye kadarki en yaygın yöntem robots.txt dosyasını kullanmak

 

[vbasic]

Eline sağlık çok faydalı bir makale olmuş.