Site Crawler

Tod · 27.11.2006, 20:29

Вопрос остается в силе.
Кто-то сталкивался с тем. что при использовании краулера и индексированного поиска индексируется еще и значения МЕТА description и keywords для каждой страницы? при вводе этих значений поиск выдаст в качестве результатов все страницы, а это сами понимаете не приемлемо((

Дылгеров Ц.В. · 28.11.2006, 07:08

Цитата:

Сообщение от Valery Romanchev

а надо ли ее индексировать?
на wciom.ru я ее не индексирую

да конечно - смысл краулера на главной в том чтобы обновить кеш а не проиндексировать - а как можно сделать это из бэкэнда по-другому?

Цитата:

Сообщение от Tod

Вопрос остается в силе.
Кто-то сталкивался с тем. что при использовании краулера и индексированного поиска индексируется еще и значения МЕТА description и keywords для каждой страницы? при вводе этих значений поиск выдаст в качестве результатов все страницы, а это сами понимаете не приемлемо((

а тег в шаблоне  не использовали?

Tod · 28.11.2006, 14:53

Цитата:

Сообщение от Дылгеров Ц.В.

а тег в шаблоне  не использовали?

Изначально в шаблоне его не было, типо3 проставило его где надо для контента и все... в МЕТА его нет.

Tod · 30.11.2006, 15:19

Нашел в документации такие строчки:

Цитата:

Features of the indexer
The indexing engine has several features:
HTML data priority: 1) <title>-data 2) <meta-keywords>, 3) <meta-description>, 4) <body>

вот у меня также и работает - ищет тайтлы, мету... как бы это отключить?)
------------
Еще заметил такую штуку в результатах поиска. Значит оно пишет внизу ссылку Path и если этот найденный элемент является новостью, то при нажатии на него мы попадем на страницу с единичным отображением новости и надписью no news id given или как-то там еще.
Как от этого избавиться? Есть, в прицнипе, радикальный метод убрать ссылку, но можно ли по другому?
------------
еще меня интересует такой вопрос.
С запуском Site Crawler через BE кое что получилось, а вот как его запускать через крон? В BE устанавливаем там Processing Instructions, жмем Crawl URLs, а потом запускаем сам скрипт.
Если же его просто так запускать, то он у меня ничего не сделал... там в скрипте нужно передавать какие-то параметры? или нет...
В общем, если кто может и ему не лень, расскажите про запуск краулера по крону... был бы весьма признателен.

Дылгеров Ц.В. · 01.12.2006, 09:52

Цитата:

Сообщение от Tod

С запуском Site Crawler через BE кое что получилось, а вот как его запускать через крон? В BE устанавливаем там Processing Instructions, жмем Crawl URLs, а потом запускаем сам скрипт.
Если же его просто так запускать, то он у меня ничего не сделал... там в скрипте нужно передавать какие-то параметры? или нет...
В общем, если кто может и ему не лень, расскажите про запуск краулера по крону... был бы весьма признателен.

Видимо скрипт индексирует все что было задано в Processing Instructions. А задания можно раскидать по всему дереву страниц. То есть гибкости особой нет. Непонятно тогда зачем поля Scheduled: Requests / Minute:?

Tod · 01.12.2006, 14:27

Поставил в крон, вроде сработало, непонятно правда почему не работало вчера при прямом запуске скрипта, по поводу этих минут и времени запуска вообще какая-то неразбериха... ну в смысле влияет ли оно на что-то или нет - хз))
В общем, искренне надеюсь, что сделают какой-то нормальный во всех отношениях поиск с краулером сразу, чтобы было более наглядно все чтоли...
Кстати там появился поиск в репозитории Ajax Searching Engine Extension key ( mh_ajaxsearch ): http://typo3.org/extensions/reposito...xsearch/0.2.0/
Кто-то с ним уже работал, тестировал?

Tod · 07.06.2007, 15:44

Вопрос: есть запись в КРОНЕ (запускается раз в час!) + Crawler Configuration (там установлено "рэ-индекст раз в 24час"). Какая именно настройка из этих 2х запускает индексацию? никак не пойму

Второй вопрос: человек ввел на сайт инфу, она проиндексировалась. Потом информация изменилась/была удалена, но поиск почему-то не подхватил это дело... Я думаю вручную удалять проиндексированную запись в админке это как вариант, но должно все работать и автоматически, ведь таК? Какая настройка отвечает за это дело?

27.11.2006, 20:29	#1
Tod Senior Member Регистрация: 25.03.2006 Сообщений: 627	Вопрос остается в силе. Кто-то сталкивался с тем. что при использовании краулера и индексированного поиска индексируется еще и значения МЕТА description и keywords для каждой страницы? при вводе этих значений поиск выдаст в качестве результатов все страницы, а это сами понимаете не приемлемо(( __________________ Персональный блог про заработок в интернете + полезных блога про typo3 и wordpress

01.12.2006, 14:27	#6
Tod Senior Member Регистрация: 25.03.2006 Сообщений: 627	Поставил в крон, вроде сработало, непонятно правда почему не работало вчера при прямом запуске скрипта, по поводу этих минут и времени запуска вообще какая-то неразбериха... ну в смысле влияет ли оно на что-то или нет - хз)) В общем, искренне надеюсь, что сделают какой-то нормальный во всех отношениях поиск с краулером сразу, чтобы было более наглядно все чтоли... Кстати там появился поиск в репозитории Ajax Searching Engine Extension key ( mh_ajaxsearch ): http://typo3.org/extensions/reposito...xsearch/0.2.0/ Кто-то с ним уже работал, тестировал? __________________ Персональный блог про заработок в интернете + полезных блога про typo3 и wordpress

07.06.2007, 15:44	#7
Tod Senior Member Регистрация: 25.03.2006 Сообщений: 627	Вопрос: есть запись в КРОНЕ (запускается раз в час!) + Crawler Configuration (там установлено "рэ-индекст раз в 24час"). Какая именно настройка из этих 2х запускает индексацию? никак не пойму Второй вопрос: человек ввел на сайт инфу, она проиндексировалась. Потом информация изменилась/была удалена, но поиск почему-то не подхватил это дело... Я думаю вручную удалять проиндексированную запись в админке это как вариант, но должно все работать и автоматически, ведь таК? Какая настройка отвечает за это дело? __________________ Персональный блог про заработок в интернете + полезных блога про typo3 и wordpress