
Küçük işletme veya kuruluşlar için en doğru çözümü size getiriyoruz.
Hem ucuz hemde çok hızlı bir şekilde web sitenizin olmasını mı istiyorsunuz? Ozaman bu hizmet tam size göre. Önceden hazırladığımız profesyonel tasarım paketlerimizi, hiç vakit kaybetmeden sizin için uygulayalım. Hemen kendi alan adınızla sitenizi yayına alalım.
Kurumsal e-mail hizmeti,| Robots.txt ne işe yarar? |
|
Arama motorlarının indeksleme robotları bir web sitesine ulaştıklarında ilk olarak kök dizinde bulunan robots.txt dosyasını ararlar. Bu dosya robotlara hangi sayfaların indekslenip hangilerinin indekslenmeyeceğini anlatmak için yerleştirilir. Robotlar sadece kök dizindeki robots.txt dosyasına bakacakları için alt dizinlere bu dosyayı yerleştirmek anlamsızdır. Eğer alt dizinlerden birisine ait url (veya url’lerin) indekslenmesini istemiyorsanız bunlar da kök dizindeki robots.txt dosyasında bildirmeniz gerekiyor. Ya da alternatif olarak indekslenmesini istemediğiniz sayfalarda Meta Tag kullanabilirsiniz. Çoğu ücretsiz blog servisi kök dizine erişime izin vermediğinden Meta Tag’lardan yararlanmak gerekecektir.
Örnek bir robots.txt adresi şu şekilde olmalıdır; http://www.gorunum.net/robots.txt Farkettiyseniz, kod içerikli sayfalar disallow seçeneği ile takip edilmesi yasaklanmış. Böylece arama motorları, sayfaları indekslerken kodları değil, sizin makale ve içeriklerinizi tarayacaktır. robots.txt dosyası sadece belirli bir şekilde düzenlenmiş metin içeriğine sahip olmalıdır ve asla HTML kodları içermemelidir. Aşağıdaki örnekleri inceleyelim; Tüm robotların blog’unuzun tamamını indekslemesini engellemek için;
Blog’unuzun tamamının robotların birisi tarafından indekslenmesini engellemek için;
Tüm robotların Web sitenizin tamamını indekslemesi için;
Not: Boş bir robots.txt dosyası da aynı mesajı verecektir. Bir dizinin tüm robotlar tarafından indekslenmesini engellemek için;
Bir sayfanın tüm robotlar tarafından indekslenmesini engellemek için;
Robots.txt dosyasında “/dizin-adi/*” veya “/dizin-adi/*.html” gibi ifadeler kullanamazsınız. Hariç tutulmasını istediğiniz sayfaları ve dizinleri teker teker belirtmek zorundasınız. Tabii ki hariç tuttuğunuz bir dizinin içindeki dosyaları ayrıca belirtmenize gerek yok :) Örnek bir kod aşağıdaki şekilde olabilir;
Kaynaklar; |