Давайте начнем, пожалуй, с самого главного — файл robots.txt обязан присутствовать на всех сайтах! Это основополагающая любого проекта. В первую очередь, когда поисковые роботы посещают ваш сайт, они ищут...
Читать далее »