Представиха Yahoo! Slurp 3.0
Вчера бе съобщено за новата версия на карулера на Yahoo. Новият робот ще запази основните си директиви, но самото име му се променя на Slurp 3.0. Това означава, че няма да се налага да правите особени промени в robots.txt файла към сайта си, освен в следните две ситуации:
- Има и няколко основни промени, които биха причинили определени проблеми като невъзможност за индексиране на определени сайтове. Основната причина е смяната на IP адресите, на които ще бъдат съхранявани ботовете. Независимо от това новите IP адреси ще отговарят на стария домейн, на който е разположена старата версия на Slurp, а именно crawl.yahoo.net. Ако използвате IP-базирани правила, следете за появата на тези нови IP адреси. Когато се появят, ги добавете в базата данни.
- Заради промяната в името, може да има проблем при индексирането, ако сте задали "User-agent: Slurp/2.0", т.е. директивите няма да бъдат разпознати от бота. Ако използвате директивите "Slurp" или "Yahoo! Slurp", няма да има промяна. От Yahoo препоръчват да използвате "User-agent: Slurp" в robots.txt файла си, за да сте сигурни, че няма да има никакъв проблем с краулването на сайта ви.
Последият ъпдейт на краулера на Yahoo! бе в началото на Март, въпреки че голяма част от заинтересованите не обърнаха особено внимание на това. Във форума WebmasterWorld.com бе съобщено за наблюдавани промени още миналата седмица, въпреки че официалното съобщение се появи в блога на Yahoo Search едва вчера.
Категория:
Новини,
Тагове:
Публикувано на 15 Април 2008 от vessi
Коментари: 0
Подобни статии:
Споделете статията:
Коментари
