Для чего нужен файл robots.txt?
Файл robots.txt является одним из механизмов «Протокола исключения роботов», который был создан для информирования роботов (ботов) о том, что им не следует делать на веб-сайте. Например, не все владельцы веб-сайтов хотят, чтобы их дизайн отображался в результатах поиска (например, в поисковой системе Google ). Файл robots.txt следует поместить в каталог, в который был перенаправлен интернет-домен (это так называемый корневой […]
