Комментарии к записи: Оптимальный robots.txt для блога

Автор: Андрей Побойный

Андрей Побойный — Wed, 01 Sep 2010 10:19:34 +0000

Сделал все как написал, может совпадение или еще что но количество проиндексированых страниц немного увеличилось. Я на днях воспользовался авто регистрацией, может еще от туда. Но Статья то что нада, мне помогла!

Автор: Олександр

Олександр — Tue, 17 Aug 2010 11:45:49 +0000

Щоб я не писав,усе одно виходить ошибка «User-agent: *
Disallow: /»
І сайт не індиксує

Автор: ssoross

ssoross — Mon, 05 Jul 2010 15:16:05 +0000

Елена, через FTP – значит у вас должен быть доступ к сайту при помощи файлового менеджера (например Тотал Коммандер), или через панель хостинга – просто переместите созданный вами файл robots.txt в папку с сайтом.

Автор: Елена

Елена — Mon, 05 Jul 2010 09:36:23 +0000

а как сделать следующее:
«После чего залейте его в корневой каталог блога, через FTP или непосредственно с панели хостера управления блогом», не могли бы по-подробнее?

Автор: Ян

Ян — Sat, 20 Feb 2010 16:21:33 +0000

У меня строка */feed/ не закрывала индексацию адресов типа http://site.ru/super-post.html/feed от индексации яндексом. Изменил на */feed и всё стало ок.