MSNbot стал поддерживать протоколы сжатия при индексировании – Searchengines.ru
seonews.ru MSNbot стал поддерживать протоколы сжатия при индексировании Searchengines.ru - 39 мин. назад MSNbot, обновлённый до версии 1.1 поддерживает протоколы компрессии HTTP и условных вычислений, что позволяет существенно сократить трафикпри индексировании сайтов. Первый тип компрессии позволяет сжимать файлы перед скачиванием, второй позволяет определить изменения контента страницы по сравнению с предыдущим визитом бота и в случае, если изменений нет, не скачивать их вообще. Аналогичные изменения уже были имплементированы в состав ботов основных поисковых систем. Так, Googlebot стал поддерживать оба
More: continued here