WordPress İçin Etkili Bir Örümcek Blok

Örümcekler olmasaydı, Web içeriğini bulmak için Google’da arama yapamazdık. Örümcekler, Web'i tarayan ve bulduğu her şeyi dizine ekleyen robotlardır, böylece WordPress'te makaleler aramak istediğinizde, bu makalelerin nerede olduklarını bilir ve sizi kendilerine yönlendirebilir. Bununla birlikte, bir örümceğin WordPress endeksine izin vermenize gerek yoktur ve WordPress için saygın şirketlerden gelen örümcekleri engelleyen etkili bir örümcek bloğu oluşturmanın kolay bir yolu vardır. Daha da etkili bir örümcek bloğu, talimatlarınızı görmezden gelen kötü örümcekleri tanımlamak ve engellemek ve örümcekler için sınırsız olarak belirlediğiniz Web içeriğini endekslemek için bazı kurulum ve bir işlem içerir.

Robots.txt

Bir örümcek WordPress sitenizi ziyaret ettiğinde, yapması gereken ilk şey "robots.txt" dosyasını okumaktır. Bu dosya, tüm örümcekler tarafından ya da tek tek adlandırılmış örümcekler tarafından dizine eklenebilen veya eklenemeyen dosyaları ve dizinleri belirten kurallar içerir. Bir örümcek, dosyada benzersiz "kullanıcı aracısı" kodunu veya "tüm örümcekleri" belirten bir joker karakter bulur. Daha sonra izin verilen veya izin verilmeyen dosya ve dizinlerin listesini okur. Daha sonra, sitenin yalnızca dizine eklenmesine izin verilen kısımlarını dizine almaya başlar.

Örümcekleri Engelleme

WordPress kök dizininizde bir "robots.txt" dosyası oluşturarak ve sitenin kök dizininin endekslenmesine izin vermeyen bir kural belirterek, WordPress için etkili bir örümcek bloğu oluşturabilirsiniz. Bu, kökün alt dizinlerinin endekslenmesine otomatik olarak izin vermez. Dosyada, bu kuralın tüm örümcek kullanıcı aracı kodları için de geçerli olduğunu belirtmelisiniz. Sitenizi ziyaret eden her örümcek dosyayı okumalı ve sitenizin herhangi bir bölümünü endekslemeden ayrılmalıdır. Örneğin, "robots.txt" dosyasının şöyle görünmesi gerekir:

Kullanıcı aracısı: * Disallow: /

İyi ve Kötü Örümcekler

İyi örümcekler var ve kötü örümcekler var. İyi örümcekler Google, Yahoo veya Microsoft gibi saygın şirketlerdendir ve "robots.txt" dosyanızdaki kurallara uyun. Kötü örümcekler, "robots.txt" dosyasını kasıtlı olarak görmezden gelen ve izin verdiğiniz veya izin vermediğiniz durumdan bağımsız olarak sitenizin tüm içeriğini dizine ekleyen kişilerden veya şirketlerden gelir. Bu robotlar bazen e-posta adresleri, spam göndericilere satış yapmak veya kullanıcılar hakkında kişisel bilgiler, diğer şirketlere satmak için özel bilgiler ararlar. Örümcekler sitenizin tamamını ovalayarak gizler veya korumadığınız bilgileri veya içeriği ararlar. Farklı yöneticilerin haydut örümceklerle baş etmenin farklı yolları vardır. Bazıları sadece kim olduklarını belirlemeye ve sitedeki içeriği endekslemelerini engellemeye çalışır. Diğerleri örümceğin veritabanını sahte bilgilerle zehirleyerek veya örümceği bırakmasını veya iptal etmesini sağlayan sonsuz bir döngüye kandırıp zarar vermeye çalışır.

Bal küpü

Bal küpü veya tarpit, bazı webmasterlar tarafından sahte örümcekleri tanımlamak için kullanılan ve engellenebilecekleri bir tekniktir. Basitçe, e-posta adresleri gibi sahte içerik içeren bir dizin ekleyerek ve özellikle "robots.txt" dosyasında bu dizine izin vermeyerek bir dizin oluşturabilirsiniz. Sunucu günlükleri size hangi örümceklerin dizine eriştiğini söyler ve onların kullanıcı aracısı dizesini ve IP adresini kaydedebilirsiniz. Bu bilgilerle, bu haydut örümceklere erişimi engelleyen WordPress "htaccess" dosyasında kurallar oluşturabilirsiniz. Bal küpünün sitenize erişmesini engellemek için sürekli olarak düzenli aralıklarla kontrol edilmesi gerekiyor.