Najazd botów na serwery.

8ppl-blokada-konta
Rzadko zdarza mi się poranek, gdy sprawdzając pocztę nie dostaję Ticketa z ostrzeżeniem od 8p.pl; Zwykle o procent lub dwa przekraczam wykorzystanie procesora, pamięć ram zwykle balansuje na krawędzi limitu, a wykorzystanie MySQL jest w normie. Owszem, takie Tickety dostaję czasami również od innych firm: Kei.pl, Prohost.pl, Hekko.pl. Ale to są sprawy naprawdę okazjonalne.

Kolega Arkadiusz z 8p.pl to facet który dba o swój biznes (czytaj: 8p.pl), dzięki czemu strony na jego serwerze otwierają się się szybko i sprawnie. Wielokrotnie już rozmawialiśmy na temat tych ciągłych ostrzeżeń dla mnie – prosił o optymalizację skryptów, by serwer miał luźniej a między nami był dobry przelot. Po tym, jak dawno temu zablokował mi wszystkie dziesięć Dmozów i kilka kopii Wikipedii przez pewien czas był spokój. Ale ostatnio znów się zaczęło: moje strony rżną serwer, jak nie przymierzając porucznik Rżewski swoją Gniadą.

Chciałem ustalić, która to z moich stron tak bardzo wykorzystuje serwer? Odpowiedź na to pytanie nie była prosta – Arek napisał mi, że z tym jest różnie: raz jest to sklep partnerski ESC (świetna rzecz na zaplecze), raz jest to skrypt interpelacji poselskich a raz jeszcze coś innego. Co więcej – nie mają miejsca jakieś zapętlone operacje, błędy w skryptach czy inne wady optymalizacyjne – moje strony odwiedza zbyt dużo robotów z Brazylii czy Izraela. A co jeszcze gorsze, roboty te sprytnie identyfikują się jako zwykli użytkownicy i nie można ich w żaden sposób wyłapać. A firewall na serwerze aż się grzeje od pracy przy blokowaniu gości na moich stronach. Dalej, Arek przypuszczał, że to może sposób linkowania moich stron ściąga tutaj te wraże boty.

Cóż, sklepy partnerskie mam też na innych serwerach. Mam też, co zrozumiałe, na innych serwerach skrypt interpelacji poselskich. Mam tam i autoblogi i parę innych wynalazków które swego czasu zakupiłem. Nie mogę podać dokładnych danych co do procenta wykorzystanej mocy tych innych serwerów, bo tylko kilka Hostingów udostępnia szczegółowe statystyki, ale na takim Kei.pl sklepy ESCPartners nie generują nawet 0.2% obciążenia procesora… A wszystkie te strony linkuję tak samo prymitywnie – po kilka tysięcy punktów z SWL rozbite na kilka fraz i kilka podstron. Rzekłbym – standard.

8ppl-wykorzystanie-serweraNie mam pretensji do Arka, choć nie ukrywam, że dziwnym mi się wydaje, by konto było aż tak wrażliwe i delikatne. Szkoda, tym bardziej, że serwer chodzi naprawdę fajnie. W tej chwili moje konto zostało zablokowane a ja liczę na to, że pozwolą mi zabrać swoje pliki bym mógł je przenieść na inny serwer, a na 8p.pl zostawię tylko bloga czy dwa z kilkunastoma wpisami (jeśli mi na to pozwolą). By nie być gołosłownym, obrazek po lewej ilustruje powód dla którego admin zablokował mi konto. (A jak sprawa nieco ucichnie, podstawię tam może kilka małych zapleczówek w czystym HTML.)

Podsumowując moją półtoraroczną przygodę z serwerem 8p.pl:
W mojej opinii hosting 8p.pl ma sprawnego administratora, świetny kontakt z klientem i bardzo wrażliwe serwery. Absolutnie nie polecam jako hosting pod zaplecze – kosztuje więcej nerwów niż pieniędzy. Zdecydowanie mogę za to polecić ten serwer komuś, kto potrzebuje postawić własnego bloga albo robi sobie kilka stronek w czystym HTML bez kawałka kodu PHP (pod warunkiem, że nie będzie to 15K stron w HTML w pięciu katalogach – bo to zarzyna serwer).

Prawdę mówiąc wpis ten nie miał być moim wyżaleniem się na serwer Arka, a informacją o jakiejś zorganizowanej akcji – równolegle bowiem dostałem trzy ostrzeżenia:

  • Prohost.pl (w logach sprawdziłem – Cuil.com hulał po mojej stronie wcale nieproszony),
  • Kei.pl (Google bot jeździł po autoblogach) i właśnie z
  • 8p.pl (nie wiem co i gdzie, bo Arek w końcu dotrzymał słowa i zablokował mi dostęp do całości konta, łącznie z FTP i CPanelem ).

Prohost.pl nie udostępnia tymczasem statystyk użycia serwera, a że to pierwszy raz dostaję od nich ostrzeżenie, więc pewnie ujdzie mi płazem (jest to jednak wyraźny sygnał – nie pchaj więcej stron na ten serwer). Na Kei.pl z 5% jakie mogę wykorzystać, wykorzystałem 6,5% ale muszę przyznać, że mam tam po prostu wiele stron.

PS.

Zanim dokończyłem ten wpis Arkadiusz bez zbędnych pytań odblokował mi konto bym zrobił sobie na spokojnie porządki. Nie chcę wykorzystywac jego i tak bardzo dużej cierpliwości dla mnie, więc kupię albo  kolejny serwer na 8p.pl (dwa pakiety to dwa razy taki limit), albo poszukam czegoś nowego pod zaplecze i polecę z przenosinami.

16 odpowiedzi do “Najazd botów na serwery.”

  1. W mojej spamerskiej karierze raz udało mnie się dostać od adminów maila, że mój własnoręcznie napisany skrypt zarzyna im maszynę. Okazało się, że winą też był najazd botów wyszukiwarek, ale co ciekawe udało im się ustalić przyczynę. Było to zliczanie odczytań każdej strony +1. Wystarczyło usunąć to i z głowy było (każde odświeżenie strony, to aktualizacja bazy).

    Może te Twoje skrypty mają coś podobnego ;)

  2. Z pewnością nie, bo wg informacji od Arka zwykle chodzi o sklep ESC (sztuk jeden) i interpelacje które nie mają żadnej bazy, tylko działają na zasadzie prostego wyświetlania losowej strony html z kilku katalogów. Nie ma tam nic bardzo obleganego przez Userów, żadnych spektakularnych transferów – tylko roboty. Pytałem wcześniej, czy da się je jakoś odgórnie wyblokować (zostawiając tylko bota Google), ale nie da się, bo się zbyt dobrze podszywają pod zwykłych userów.

  3. Weź je najlepiej blokuj po IP. Polecam blokowanie całych klas C (albo nawet szerszych) – proste i skuteczne :) Ja kiedyś zablokowałem cały Izrael (chyba) w taki prosty sposób:

    deny from 84.108.
    deny from 84.109.
    deny from 84.110.
    deny from 84.111.

    Polecam też odwiedzać http://www.db.ripe.net/whois – tam można sprawdzić który zakres adresów do kogo należy.

  4. Pytałem o możliwość blokowania po IP, ale usłyszałem, że raz – są blokowane na firewallu (tym, co się robi czerwony od blokowania moich stron), a dwa, gdybym to dodał do .htacess to dodatkowo obciąża serwer.

    Jako że, Arkadiusz napisał mi „nie wydaje mi się by dwa konta załatwiły sprawę” jestem w trakcie migracji na inny serwer. Szkoda, bo serwer działa szybko, a mi się po prostu już nie chce niczego przenosić.

  5. „gdybym to dodał do .htacess to dodatkowo obciąża serwer.”
    Na pewno obciąża, ale mniej niż buszowanie po stronach.

  6. A ja 8p.pl nie polecam. Wygląda mi to na hosting z nienajlepszymi maszynami i kiepską optymalizacją usług, choć to oczywiście jedynie moje wrażenie. Coś, co w KEI w żaden sposób nie zużywało więcej niż 1-2%, góra 3% mocy procesora, na 8p.pl podskoczyło do ponad 10% (już dokładnie nie pamiętam). Teraz już wiem, że cena to nie wszystko.

  7. Mam konto na Dreamhost od roku już prawie. 44 domeny i 86 subd. 1/4 to esc ;-) A pingi mam gdzieś bo to zaplecze. Jak idziesz w ilość to polecam Dreamhosta ;)

  8. W tej chwili zostawiłem sześć stron na koncie w 8p.pl
    – 2 WordPressy z SuperCache bez żadnego SWL
    – 1 Joomla z defaultowym Cache bez żadnego SWL
    – 1 Manual PHP (z SWL)
    – 2 Interpelacje (z SWL)

    Być może to wystarczy, bym nie otrzymywał już ticketów, się zobaczy, ale ja też myślę, że mogę być jednym z 5 Wybranych do wyprowadzki.

  9. Po przeczytaniu Twojego wpisu na blogu, a potem wątku na PiO tak właśnie to skojarzyłem :-)

  10. Dzisiaj znów dostałem ticket – ponad 2.3% procesora zjadło obsłużenie tych dwóch stron z interpelacjami.

    Głupio zrobiłem, bo na dwóch subdomenach jednaj domeny postawiłem dwie takie strony – to było w czasach, gdy wydawało mi się, że taniej wychodzi stawiać masę subdomen. Dzisiaj już wiem, że lepiej kupić dwie domeny dla dwóch stron – przy ewentualnej przymusowej przeprowadzce nie ma wtedy kłopotu.

  11. Kolejny dzień i kolejny ticket z 8p.pl:
    Statystyki obciążenia w dniu 22-01-2009:
    Procesor: 4.2% (limit: 2%)
    Pamięć RAM: 1.32% (limit: 2%)
    Obciążenie MySQL: w normie.

    Zabrałem i zrobiłem przekierowania obydwu stron ze skryptem interpelacji i zobaczymy, co powie mi kolejny dzień…

  12. Bielack, sam właściciel 8p.pl przyznał, że jego hosting nie jest na zaplecza więc nie ma co się u niego gościć.

  13. Arek nie chce zaplecza w sensie Qlwebów, Opisów itd – myślę, że dwa WordPresy po 20 wpisów z rzadka odwiedzane i jakaś Joomla! mogły by stać spokojnie – ale to się okaże już jutro (lub pojutrze, bo nie wiem, jak często aktualizują się te statystyki).

  14. Dzisiaj obyło się bez ticketa, a statystyki wskazują na:
    Procentowe obciążenie procesora
    2009-01-23: 0.00
    Procentowe obciążenie pamięci RAM
    2009-01-23: 0.00
    Obciążenie bazy danych MySQL
    w normie
    Wychodzi na to, że mój ulubiony skrypt interpelacji rżnął serwer niczym Rżewski. Poczyniłem pewne kroki by obniżyć obciążenie przy korzystaniu z tego wynalazka, albowiem indeksuje się lepiej niż dobrze.
    PS.
    Ale, żeby nie było zbyt różowo, dostałem ticket z Hekko.pl (po raz drugi w karierze). Z marszu zaktualizowałem wszystkie cztery WP jakie tam stoją, poaktualizowałem SuperCache i uruchomiłem DBCache (wtyczka o jakiej doniósł kolega Zielony w komentarzach do wpisu o optymalizacji WP na Bynajmniej.pl).

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *