Влетаем в Яндекс за 2 часа или как привлечь быстроробота
Как и обещал, публикую статью о быстророботе. Возможно, будут очевидные вещи, но новичкам в любом случае будет полезно.
После привлечения быстроробота ваши страницы будут появляться в Яндексе намного быстрей. В течении дня или даже пары минут после публикации.

Интересно, что во время ближайшего апдейта Яндекс может забыть про такие страницы и проиндексировать сайт на общих основаниях.
1. Частое обновление. Самый главный пункт. При этом уникальность материалов желательна, но необязательна. О копипасте я писал в соответствующей статье – “Рекомендации по копипасту или как не попасть под АГС“.
Обновление должно происходить каждый день по несколько раз. Чем больше материалов – тем лучше. И желательно, чтобы обновление происходило на протяжении всего дня, а не так, что утром выложили все и забили на сайт на 24 часа.
Обычно, это трудно сделать, поэтому можно выкладывать небольшими пачками. Например, утром 2-4 новости, потом столько же днем и вечером.
2. При размещении материалов должны отправляться пинги. В разных CMS они настраиваются по-разному.
В WordpPress – Настройки -> Написание -> Сервисы обновления. Для Drupal есть модуль MultiPing – http://drupal.org/project/multiping Но у него есть большой минус. В отличии от WordPress в нем нельзя указать сайты для пинга списком – только каждый по отдельности.
Поэтому на NewsBang.net у меня указано всего 4 сервиса для пинга. И этого хватило для быстроробота.

Но в любом случае, вот достаточно большой список сервисов для пинга.
3. Создайте RSS-ленту материалов и “прожгите” ее через сервис Feedburner. Этот сайт дополнительно посылает пинги.
4. Настройте экспорт в Twitter. Очень легко это можно сделать через Feedburner: Publicize -> Socialize. Добавляем свой аккаунт и настраиваем его:

5. Добавьте RSS (сделанную через Feedburner) во все возможные каталоги и агрегаторы. Пара RSS-каталогов:
http://liverss.ru/
http://rssreader.ru/addfeed
http://prime-rss.ru/add.php
http://rsscat.ru/add/
http://alfaru.com/rss/addrss.html
http://rssportal.ru/catalog/add
http://rssproxy.ru/plus.php
http://www.all-rss.co.cc/
http://www.feed.am/addrss.php
http://www.sozdanie.com/addfeed.php
6. Настройте кросспостинг в LiveJournal.com, ya.ru и другие блого-сервисы.. Эти сервисы очень любит Яндекс, так что вы постоянно будете напоминать ему о себе. Про кросспостинг можно прочитать в статьях Кросспостинг – подробная инструкция по настройке и Как правильно осуществлять кросспостинг анонсов своих статей
7. Создайте карту сайта sitemap.xml
Модуль для Drupal – http://drupal.org/project/xmlsitemap, для WordPress – http://wordpress.org/extend/plugins/google-sitemap-generator/.
Также укажите ссылку на карту в файле robots.txt следующей строчкой:
Sitemap: http://www.example.com/sitemap.xml
Чтобы сообщить поисковикам о карте, используйте эти ссылки:
http://webmaster.yandex.ru/wmconsole/sitemap_list.xml?host=http://example.com/sitemap.xml
http://google.com/webmasters/sitemaps/ping?sitemap=http://example.com/sitemap.xml
http://search.yahooapis.com/SiteExplorerService/V1/updateNotification?appid=SitemapWriter&url=http://example.com/sitemap.xml
http://search.yahooapis.com/SiteExplorerService/V1/ping?sitemap=http://example.com/sitemap.xml
http://submissions.ask.com/ping?sitemap=http://example.com/sitemap.xml
http://www.bing.com/webmaster/ping.aspx?siteMap=http://example.com/sitemap.xml
Соответственно замените адрес карты на свой. Также карту можно добавить в Яндекс.Вебмастер, Google Webmaster Tools и Yahoo site explorer.
8. Добавьте сайт в новостные агрегаторы. Яндекс.Новости, Google News, Rambler News, Liveinternet.News, Новотека и т. д. В одни попасть сложнее, в другие легче. Например, в последние два сервиса меня приняли с копипастом.
—————————
Если с обычной индексацией у вас все в порядке, то самое главное для быстроробота – это первые 2 пункта. То есть регулярно обновлять сайт и сообщать об этом.
Если есть что добавить или возникли вопросы – пишите в комментариях.
—————————
Зачем мониторить апдейты Яндекса


Вооот! Я ждал эту статью!)) Огромное спасибо)
@Phonteq: Надеюсь, не зря ждали
Отличная статья Шелвин, молодец! Почерпнул для себя полезной информации!
@Шелвин: 100% не зря) у вас в “3. Создайте RSS-ленту материалов и “прожгите” ее через сервис Feedburner. Этот сайт дополнительно посылает пинги.” ссылка на http://feedbeRRner.com
@Некто: Спасибо, поправил.
p. s. Прошу писать свой ник, а не мой. Исправил
@Шелвин: ой ой…тысяча извенений..походу спать надо уже идти))
@Шелвин проверьте данные ссылки:
1) http://www.feeds.org.ua/manual.php (Невозможно найти удалённый сервер)
2) http://www.vesinter.net/kms_blog+add.html (нельзя выбрать категорию)
3)http://www.seo-box.com/kms_blog+add.html (нельзя выбрать категорию)
Данные ссылки встречаются в 5 пункте.
p. s. спасибо за статью!:)
@kot: Спасибо, удалил эти каталоги.
Большое спасибо за полезную статью, особенно новичкам как я, очень пригодится.
Слушайте, а я думаю – почему у нас новый сайт на WP проиндексировался так быстро)) Сами того не подозревая, работали над ним именно так – 2-3 страницы или поста в день…
За список пингов спасибо!
[...] Представляю вам список сервисов для пинга. С помощью него можно уведомлять указанные сайты о том, что у вас на ресурсе произошло обновление. Это может помочь ускорить индексацию вашего сайта и привлечь быстроробота. [...]
Да, первый пункт самый важный, частое обновление, я привлек быстроробота обновляя сайт всего два раза в день)
Очевидные вещи, но по-моему круче было бы делать акцент на качество контента, а не на скорость обновления.
Здравствуйте, Шелвин. А не подскажете, как в друпал на главной странице вывести мелкие ссылки в футере, типа sitemap.xml? пробовал secondary links, но там здоровенный заголовок отображается…
все разобрался, оказалось просто – можно свой тип блока создавать, сразу не заметил
@pppz: Хорошо, что разобрались
А можно куда добавлять RSS побольше ?
А http://liverss.ru/ – упал походу после такой рекламы =)
Все настроила по вашей рекомендации:) Буду ждать результат!
Эх, а мне бы с пингами в Joomla разобраться ))
@Ametist: Для Joomla есть плагин Blog Ping:
http://www.stilero.com/component/option,com_phocadownload/Itemid,34/id,1/view,category/
Реально работает! Пост влетел через 5 часов после написания! Огромное спасибо!
Я почти все методы уже использую. Новые страницы попадают в индекс в течение часа (раньше я просто не проверяла).
Мне пока непонятен только один пункт о частом обновлении в течение дня. Я публикую статьи 1 раз в 1-2 дня. Чаще не получается. Не хочется писать ерунду, лишь бы больше. Но вот комментарии появляются в течение дня регулярно. Можно ли публикацию комментариев считать обновлением?
Вот у меня тоже так бывает, что при частых обновлениях статьи быстро попадают в индекс, а некоторые старые ни как не могут. Писать каждый день для блога дело сложное.
У меня такой вопрос к спецам)) Если мой сайтик каждый день будет обновляться, но при этом сайт у меня не на CMS, а на “голом” html, т.е. все новые страницы вручную закачиваю на сервер, реально ли мне привлечь быстроробота будет на свой сайт?)
letitbe, sitemap и rss- ты тоже руками обновляешь
Saint_Byte, sitemap – да, вручную, а RSS не использую.
letitbe, насколько мне известно наличие rss оказывает влияние на скорость индексации
Странные люди, однако. Делать сайты на чистом HTML – зачем? о_0
И по добавлению контента 10 раз в сутки… Ну не каждый же так может. По себе скажу – один обзор в день и то тяжело. Но да, регулярность очень важна! От случая к случаю – так дело не пойдёт
быстроробата привлек когда стал ежедневно наполнять блог. жаль в яндекс.новости не приняли сказав что статьи скорее авторские чем медийные. Но всё равно – ура! страницы попадают в индекс через полчаса
Я создал недавно свой блог, но домен дотого много времени был пуст, когда роботы зашли я закрыл индексацыю на сайте ибо проводил роботы по настройке блоге, а теперь они в упор не индексируют мой сайт , в обоих поисковиках по 1 странице – какие меры можно принять еще.
Все правильно расписали. Роботов нужно привлекать на свой сайт с мест, где они постоянно обитают, а именно с соцсетей и RSS каталогов.
Не совсем только понятно, для чего загонять статью в быстроробот. Появится она неделей раньше – неделей позже в индексе Яши – какая разница?..
@PhotoBin:
1. Чтобы тебя определили как первоисточник.
2. Чтобы не пропустить посетителей по соответствующему запросу. Например – новость. Пока она будет попадать в индекс обычным способом она уже будет неактуальна.
Интересно, а новые комментарии способствуют привлечению быстроробота?
На одном из проектов жил быстроробот. Без всяких пингов и прочего. За счет ежедневных публикаций. По ходу дела – это действительно самое важное.
Со мной быстробот сыграл злую шутку, ВЧ запрос влетел через час на 8 позицию по яндексу, посещалка на сайте сразу скаканула вверх, радости полные штаны….на след. день уже и страница не в индексе
робот тусуется на двух моих блогах. как привлек можно прочитать тут http://webmonetas.ru/?p=525 Очень полезная штука при работе с миралинкс или с гогетлинкс
Действительно, теперь новые публикации влетают в индекс минут через 10-20, а вот старые никак. Что можно сделать?
У меня за 35 мин, а другая за 11 ч. два визита быстроробота
Так всё же обилие пинг-сервисов – это хорошо или плохо? За спам не посчитают, если пинговать по 500 источникам?