Система автоматического продвижения сайтов MegaIndex.ru от компании ALTWeb Group снова вышла на рынок.
Технологически MegaIndex представляет собой набор сервисов, каждый из которых выполняет свою функцию на определённом этапе работы.

Приветствие

замечание о неразрывности

Если в роботс 2 тэга Host, какой из них будет использоваться?

Странную дискуссию затеял Мишган, тем не менее, ответ был получен из надежного источника :)

1. Правила robots.txt:
Любая неизвестная директива просто игнорируется и никак не влияет на парсинг остальных директив в секции. И до, и после неизвестной директивы.

2. Яндекс-индексирующий робот:
Директива Host сейчас не используется. Хотя, вообще говоря (на случай, если вдруг будет использоваться), валидны все директивы Host.

3. Яндекс-робот-заркальщик:
Используется первая директива Host из встретившихся.