Site Crawler

[Tod]

Это я понимаю. Нашел даже доку по этому поиску, буду разбираться.
Пока так получается, что я установил crawler, добавил для него свойства какие УРЛ создать, запустил, оно мне понаписывало ОК, что обошло эти УРЛы, но вот захожу в меню пункт Indexing или через Инфо - итог один - поиск не видит эти результаты.
Что касается Indexing Configuration , то я так понял это для автоматической индексации в определенное время. С краулером пока никак не связал.
Буду думать дальше. Жаль нигде нет пошаговой докментации тупо по поиску - там смотрите то, там это. А в конце документа о поиске нашел инфу по установкам и инстале экстеншена - цирк)_

[Baltazarr]

Сообщение от void

indexed_search индексирует только кэшированные страницы. А кэшируются страницы при их просмотре.
crawler обходит дерево страниц и, таким образом, заставляет страницы кэшироваться, а значит - индексироваться.

Хмм, вот это ксттаи очень интересно, я конечно тоже читал в доке как в идеале должен функционировать краулер и знаю что он должен обходить все дерево, однако у меня абсолютно ничего не обходит и в резалтах как было No entries напротив каждой подстранички так и осталось. А в таблицах индексов весь кэш лежит как положено и поиск работает идеально...

[Дылгеров Ц.В.]

Сообщение от Tod

Это я понимаю. Нашел даже доку по этому поиску, буду разбираться.
Пока так получается, что я установил crawler, добавил для него свойства какие УРЛ создать, запустил, оно мне понаписывало ОК, что обошло эти УРЛы, но вот захожу в меню пункт Indexing или через Инфо - итог один - поиск не видит эти результаты.
Что касается Indexing Configuration , то я так понял это для автоматической индексации в определенное время. С краулером пока никак не связал.
Буду думать дальше. Жаль нигде нет пошаговой докментации тупо по поиску - там смотрите то, там это. А в конце документа о поиске нашел инфу по установкам и инстале экстеншена - цирк)_

работает и то и другое - запускаю скрипт из крона каждые 15 минут для индексации только главной страницы - она у меня генерируется около 15 секунд

насколько я понял надо в Инфо страницы в SiteCrawler выделить стоку Re-indexing - настроить для этой строки Sheduled - и Update - и потом запустить краулинг тут же одной этой страницы (для скорости настройки)

после этого проверить поиск там же - вверху Индексный поиск - Overview - эта страница

[Tod]

В общем, вроде настроил все более-менее. ДОкументация рулит. Из таких особых моментов можно выделить, то что Indexed configuration нужно хранить обязательно в системной директории (где-то в доке вычитал, работает вроде), потом задаем для этой записи время и периодику индексирования, тип page tree. Далее запускаю краулер с параметрами что-то вроде:

tx_crawler.crawlerCfg.paramSets {
  test = contentId=[_TABLE:tt_content]
  test.procInstrFilter = tx_indexedsearch_reindex
	
  tt_news = &tx_ttnews[tt_news]=[_TABLE:tt_news; _PID:9]
  tt_news.procInstrFilter = tx_indexedsearch_reindex
  tt_news.cHash = 1
  tt_news.pidsOnly = 10
}

При этом для новостей генерируются УРЛы только на странице с единичным отображением новости - 10, и беруться записи из системной директории - 9.
Есть пару вопросов:
1. ЗАчем нужно tx_cachemgm_recache ? А то не совсем понял.
2. Системные директории тоже индексируются, но там создаются так называемые meta-entries, для которых я так понимаю нужно создать запись indexed configuration?
3. И САМОЕ ГЛАВНОЕ. Краулер и индексирование работает четко на всех страницах кроме одной - главной. Она, в принципе, не маленьках, то есть содержит больше всего инфы (пару блоков новостей, рсс, текстовые блоки), может там как-то по другому индексировать нужно? В общем, проблемка((

[Tod]

Третий вопрос оказывается возник по причине наличи на странице РСС ленты новостей (tw_rssfeeds). Почему-то не представляю как для нее краулер настроить, да и собвественно она видимо как-то сама мешает работе, так бы индексировались другие УРЛы, а этот нет... в моем же случае - целая странице не индексируется.
Возможно что-то посоветуете по этому поводу, так как скрывать элементы РСС, потом запускать краулер, опять открывать РСС - это извращение
Сделал даже эти элементы на другой странице, потом как бы создал копию (ссылку) элемента на нужную страницу, без внесения его в базу - нифига)) может через TS получится. не пробовал...

[Valery Romanchev]

Краулер и индексирование работает четко на всех страницах кроме одной - главной. Она, в принципе, не маленьках, то есть содержит больше всего инфы (пару блоков новостей, рсс, текстовые блоки), может там как-то по другому индексировать нужно? В общем, проблемка((

а надо ли ее индексировать?
на wciom.ru я ее не индексирую

[Tod]

Ну на главное есть 3-4 блока с контентом как минимум. хочется, что бы и его могли найти или это не нужно?)) просто логично как бы, чтобы все находило))
---
И еще, я так понимаю, что с помощью некоторых типов Indexed configuration можно искать и без краулера? тот же поиск по самой БД... с указанием в какие таблицы смотреть.
ЗЫ. Сайт бомба... аж глаза разбегаются)) столько всего...
---
Еще вопрос. Можно ли как-то задать конкретно какие поля индексировать, а то на всех страницах оно кроме, допустим, новостей, понаходило инфу из МЕТА тэгов и при поиске соответствующих слов - выдаст не совсем правильный ответ.

[Tod]

Есть страница, на которой отображаются новости, они все external - типа ссылки на другие сайты.
Пытаюсь индексировать эту страницу, но она состоит из нескольких, то есть все новости на одной не помещаются. Так вот по ссылке получается такая штука:
index.php?id=54&tx_ttnews[pointer]=1&cHash=e13df408c8
но как на деле это прописать в правила для краулера? проблема с [pointer] - где оно вообще в базе хранится?
может кто с ним сталкивался...
системную директорию с этими записями почему-то не индексирует(( там нужны какие-то доп. настройки? чем для обычных страниц?

[Tod]

Вопрос остается в силе.
Кто-то сталкивался с тем. что при использовании краулера и индексированного поиска индексируется еще и значения МЕТА description и keywords для каждой страницы? при вводе этих значений поиск выдаст в качестве результатов все страницы, а это сами понимаете не приемлемо((

[Дылгеров Ц.В.]

Сообщение от Valery Romanchev

а надо ли ее индексировать?
на wciom.ru я ее не индексирую

да конечно - смысл краулера на главной в том чтобы обновить кеш а не проиндексировать - а как можно сделать это из бэкэнда по-другому?

Сообщение от Tod

Вопрос остается в силе.
Кто-то сталкивался с тем. что при использовании краулера и индексированного поиска индексируется еще и значения МЕТА description и keywords для каждой страницы? при вводе этих значений поиск выдаст в качестве результатов все страницы, а это сами понимаете не приемлемо((

а тег в шаблоне <!--TYPO3SEARCH_begin--> не использовали?