Даже не знаю как ведет себя поиск с пользователями в такой ситуации, то есть когда индексация вручную - проходишь страницы сам, я использовал site_crawler (есть документация + видео на офф. сайте в "подкастах").
Посмотри ответ "Общих вопросах". Но опять же там я делал с помощью краулера.
|