Поиск по сайту и новости

[Grank]

Сам по себе crawler не занимается индексированием. Его задача сгенерить urls и запустить IndexedSearch для индексирования этих сгенеренных urls по крону.

IndexedSearch индексирует страницу при посещении ее пользователем (если она еще до этого не индексировалась, если страница есть в индексе то при соблюдении определенных условий страница переиндексируетя, можно отключить эту настройку).

Решать нужен ли Crawler или нет Вам.
Вот случай н-р когда он не помешает. Устанавливаем IndexedSearch на работающий сайт с большим количеством страниц или новостей. В таблицах IndexedSearch-а еще ничего нет, поэтому для того чтобы заработал поиск нужно либо самому открывать каждую страницу (чтобы IndexedSearch ее проиндексировал), либо ждать пока это сделают пользователи. Задача усложнится когда у вас на сайте несколько групп пользователей, которые имеют ограничения на доступ к тому или иному контенту.