Site Crawler

Tod · 28.11.2006, 14:53

Цитата:

Сообщение от Дылгеров Ц.В.

а тег в шаблоне  не использовали?

Изначально в шаблоне его не было, типо3 проставило его где надо для контента и все... в МЕТА его нет.

Tod · 30.11.2006, 15:19

Нашел в документации такие строчки:

Цитата:

Features of the indexer
The indexing engine has several features:
HTML data priority: 1) <title>-data 2) <meta-keywords>, 3) <meta-description>, 4) <body>

вот у меня также и работает - ищет тайтлы, мету... как бы это отключить?)
------------
Еще заметил такую штуку в результатах поиска. Значит оно пишет внизу ссылку Path и если этот найденный элемент является новостью, то при нажатии на него мы попадем на страницу с единичным отображением новости и надписью no news id given или как-то там еще.
Как от этого избавиться? Есть, в прицнипе, радикальный метод убрать ссылку, но можно ли по другому?
------------
еще меня интересует такой вопрос.
С запуском Site Crawler через BE кое что получилось, а вот как его запускать через крон? В BE устанавливаем там Processing Instructions, жмем Crawl URLs, а потом запускаем сам скрипт.
Если же его просто так запускать, то он у меня ничего не сделал... там в скрипте нужно передавать какие-то параметры? или нет...
В общем, если кто может и ему не лень, расскажите про запуск краулера по крону... был бы весьма признателен.

Дылгеров Ц.В. · 01.12.2006, 09:52

Цитата:

Сообщение от Tod

С запуском Site Crawler через BE кое что получилось, а вот как его запускать через крон? В BE устанавливаем там Processing Instructions, жмем Crawl URLs, а потом запускаем сам скрипт.
Если же его просто так запускать, то он у меня ничего не сделал... там в скрипте нужно передавать какие-то параметры? или нет...
В общем, если кто может и ему не лень, расскажите про запуск краулера по крону... был бы весьма признателен.

Видимо скрипт индексирует все что было задано в Processing Instructions. А задания можно раскидать по всему дереву страниц. То есть гибкости особой нет. Непонятно тогда зачем поля Scheduled: Requests / Minute:?

Tod · 01.12.2006, 14:27

Поставил в крон, вроде сработало, непонятно правда почему не работало вчера при прямом запуске скрипта, по поводу этих минут и времени запуска вообще какая-то неразбериха... ну в смысле влияет ли оно на что-то или нет - хз))
В общем, искренне надеюсь, что сделают какой-то нормальный во всех отношениях поиск с краулером сразу, чтобы было более наглядно все чтоли...
Кстати там появился поиск в репозитории Ajax Searching Engine Extension key ( mh_ajaxsearch ): http://typo3.org/extensions/reposito...xsearch/0.2.0/
Кто-то с ним уже работал, тестировал?

Tod · 07.06.2007, 15:44

Вопрос: есть запись в КРОНЕ (запускается раз в час!) + Crawler Configuration (там установлено "рэ-индекст раз в 24час"). Какая именно настройка из этих 2х запускает индексацию? никак не пойму

Второй вопрос: человек ввел на сайт инфу, она проиндексировалась. Потом информация изменилась/была удалена, но поиск почему-то не подхватил это дело... Я думаю вручную удалять проиндексированную запись в админке это как вариант, но должно все работать и автоматически, ведь таК? Какая настройка отвечает за это дело?

Дылгеров Ц.В. · 09.06.2007, 05:33

Цитата:

Сообщение от Tod

Вопрос: есть запись в КРОНЕ (запускается раз в час!) + Crawler Configuration (там установлено "рэ-индекст раз в 24час"). Какая именно настройка из этих 2х запускает индексацию? никак не пойму

Второй вопрос: человек ввел на сайт инфу, она проиндексировалась. Потом информация изменилась/была удалена, но поиск почему-то не подхватил это дело... Я думаю вручную удалять проиндексированную запись в админке это как вариант, но должно все работать и автоматически, ведь таК? Какая настройка отвечает за это дело?

Возможен вариант когда страница поменяла параметры в URL. При этом из поиска она не исчезнет, так как не была удалена, а поисковый индекс обновляется при устарении хеша при совпадении URL.

Tod · 11.06.2007, 19:08

Что интересно, если мы удаляем элемент контента, то он попадает в "неиспользованные элементы" и доступен в меню сверху, НО! инфа оттуда индексируется и участвует в поиске, что не совсем корректно.
Кто как решал эту "проблему"? или объяснить пользователю, что нужно такие элементы удалять?

Плюс когда еще выбираем настройки для индексации - indexing configuration - там ставим page tree и доступны только 3 уровня вложенности? Это уровни вложенности "для составления следующих ссылок" - типа оно находит тройную вложенность на странице первого уровня, а потом постепенно доходит до 3ой вложенности на других? ЛИБО нужно самостоятельно разбить настройки индексирования на 2-3 элемента, для каждого доступна максимум тройная вложенность?

01.12.2006, 14:27	#4
Tod Senior Member Регистрация: 25.03.2006 Сообщений: 627	Поставил в крон, вроде сработало, непонятно правда почему не работало вчера при прямом запуске скрипта, по поводу этих минут и времени запуска вообще какая-то неразбериха... ну в смысле влияет ли оно на что-то или нет - хз)) В общем, искренне надеюсь, что сделают какой-то нормальный во всех отношениях поиск с краулером сразу, чтобы было более наглядно все чтоли... Кстати там появился поиск в репозитории Ajax Searching Engine Extension key ( mh_ajaxsearch ): http://typo3.org/extensions/reposito...xsearch/0.2.0/ Кто-то с ним уже работал, тестировал? __________________ Персональный блог про заработок в интернете + полезных блога про typo3 и wordpress

07.06.2007, 15:44	#5
Tod Senior Member Регистрация: 25.03.2006 Сообщений: 627	Вопрос: есть запись в КРОНЕ (запускается раз в час!) + Crawler Configuration (там установлено "рэ-индекст раз в 24час"). Какая именно настройка из этих 2х запускает индексацию? никак не пойму Второй вопрос: человек ввел на сайт инфу, она проиндексировалась. Потом информация изменилась/была удалена, но поиск почему-то не подхватил это дело... Я думаю вручную удалять проиндексированную запись в админке это как вариант, но должно все работать и автоматически, ведь таК? Какая настройка отвечает за это дело? __________________ Персональный блог про заработок в интернете + полезных блога про typo3 и wordpress

11.06.2007, 19:08	#7
Tod Senior Member Регистрация: 25.03.2006 Сообщений: 627	Что интересно, если мы удаляем элемент контента, то он попадает в "неиспользованные элементы" и доступен в меню сверху, НО! инфа оттуда индексируется и участвует в поиске, что не совсем корректно. Кто как решал эту "проблему"? или объяснить пользователю, что нужно такие элементы удалять? Плюс когда еще выбираем настройки для индексации - indexing configuration - там ставим page tree и доступны только 3 уровня вложенности? Это уровни вложенности "для составления следующих ссылок" - типа оно находит тройную вложенность на странице первого уровня, а потом постепенно доходит до 3ой вложенности на других? ЛИБО нужно самостоятельно разбить настройки индексирования на 2-3 элемента, для каждого доступна максимум тройная вложенность? __________________ Персональный блог про заработок в интернете + полезных блога про typo3 и wordpress Последний раз редактировалось Tod; 12.06.2007 в 14:17