Каким должен быть Robot.txt для blogger?
Вот так, живёшь себе живёшь, долбишь по клаве до посинения, стараясь выдать «на гора» единственный и неповторимый (то бишь – уникальный) контент, как вдруг – гром среди ясного неба и ты – в ж…, сорри, — в бане (это я так сначала посчитала, но как оказалось, была неправа).Да нет, не в той бане, в которой моются, а в БАНЕ, когда из индекса выпали все или почти все страницы сайта.
Несколько дней назад именно это со мною и произошло.
Сначала обратила внимание на то, что резко упал заработок на партнёрской программе Google Ad Sense.
Стала искать причину, и в аккаунте AdSense обнаружила, что ко многим страницам нет доступа.
На запрос сайт выдаёт ошибку 404.
Мне вежливо ответили – ждите.
Но ждать-то нЕкогда, ведь кроме того, что я теряю деньги, резко упал и трафик, за счёт того, что страниц сайта нет в поисковой выдаче!
Но самое мерзопакостное заключалось в том, что выпало из индекса сразу два сайта (в том числе и Школа начинающего блоггера), расположенных на Blogger!
В чем причина?
Пишу сама, это не говносайты, а СДЛ, исправно ставлю ссылки, если публикую чужой контент.Стала искать «откуда ноги растут».
Какими партизанскими тропами я пришла к выводу о том, что «собака зарыта» в файле robot.txt, я даже рассказывать не стану, просто поверьте нА слово, что если у Вас не говносайт и Вы не воруете чужой контент, то при выпадении из индекса в Яндекс ищите причину в файле robot.txt. (
(но, конечно, причин гораздо больше, но об этом – в следующий раз)
Где искать?
C некоторых пор в настройках блога появилась новая фишка: Настройки поиска.Когда все дружно перешли на новый интерфэйс, мало кто обратил внимание на появление новой функции.
И напрасно, потому как именно здесь оч. удобно давать задание поисковым роботам где и как Вас искать, т.е. Вы можете добавить описание своего блога (150 знаков), создать страницу 404, чтобы симпатично выглядела и т.д.
Но, главное, Вы можете внести необходимые изменения в файл robot.txt, чтобы дать разрешение поисковому роботу Яндекс сканировать страницы блога.
Взгляните на эти две записи:
до:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/search.html
Allow: /
Sitemap: http://имя вашего сайта/feeds/posts/default?orderby=updated
и после:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/search.html
Allow: /
Sitemap: http://имя вашего сайта/feeds/posts/default?orderby=updated
User-agent: Yandex
Disallow: /search
Disallow: /p/search.html
Allow: /
Обратите внимание: специально для Яндекса мы добавили пару ласковых слов, чтобы этот умник понял, что обращаются именно к нему:
User-agent: Yandex
Disallow: /search
Disallow: /p/search.html
Allow: /
А теперь самое главное: куда все это прописать?
Идем настройки блога — Настройки — Настройки поиска
Далее: Пользовательский файл robots.txt
На вопрос Использовать собственный файл robots.txt? говорим Да, и далее вставляем следующее:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/search.html
Allow: /
Sitemap: http://имя вашего сайта/feeds/posts/default?orderby=updated
User-agent: Yandex
Disallow: /search
Disallow: /p/search.html
Allow: /
Сохраняем
Все. Умный Яндекс поймет, что от него требуется.
Не уходя с этой страницы пропишем заодно и Персонализированные теги robots для заголовков.
Я сделала это следующим образом:
Сохраняем
И последнее: дадим поисковым системам описание своего блога, чтобы быстрее могли его найти на просторах инета:
Постарайтесь уложиться в 150 знаков, только все самое значимое.
Вот и все. Осталось только дождаться следующего визита робота, чтобы блоги чудесным образом стали видимыми для Всевидящего Ока Яндекса.
Но уже сейчас, проверка результатов внесенных исправлений вфайл robot.txt показала, что страницы, бывшие ранее недоступными, стали доступны для сканирования.
Буду рада, если мои мытарства и потеря n-ой части прибыли были не напрасны, и я смогла предостеречь Вас от ненужных переживаний и потерь!
Удачи!
Комментариев нет:
Отправить комментарий