Awstats-непонятности

[Дылгеров Ц.В.]

Доброе утро! Прошу помощи у тех, кто ставил Awstats extension

Установил Awstats. Все сделал как в руководстве. Однако в разделе "Адрес страницы" ссылка на страницу выглядит так: /__________/________--2121.html - хотя реально это страница /index.php?id=2121, находящаяся в разделе2 в разделе1. К тому же знаки подчеркивания - это русские буквы в title разделов, замененные "_" функцией ereg.

Как быть? По-видимому поставить RealURL?

[Дылгеров Ц.В.]

Нашел http://forum.typo3.tros.nl/viewtopic.php?t=215 - предлагает создать лог внутри корня сайта - не решение - у кого есть еще предложения по статистике сайта? Чувствую придется редиректовый скрипт писать, который будет выделять id страницы из ссылки в логе Typo3 (там легко отделить id - два дефиса впереди).
А чтоб русские названия отображались пришлось применить грубый патч (только для windows-1251 и только в Typo3 - 3.8). Вставил руские буквы в строки в файле class.tslib_fe.php
$shortTitle = substr(ereg_replace('[^\.[:alnum:]_-ёйцукенгшщзхъфывапролджэячсмитьбюЁЙЦУКЕНГШЩЗХЪФЫВА ПРОЛДЖЭЯЧСМИТЬБЮ]','_',$this->page['title']),0,30);
и
$pageName = str_replace('[path]', ereg_replace('[^\.[:alnum:]\/_-ёйцукенгшщзхъфывапролджэячсмитьбюЁЙЦУКЕНГШЩЗХЪФЫВА ПРОЛДЖЭЯЧСМИТЬБЮ]','_',$this->sys_page->getPathFromRootline($temp,$len)).'/' ,$pageName);

Еще раз повторюсь - что это "нехорошее" решение - также скажу как формируются логи в Typo3 4.0 для русских названий папок и страниц не проверял.

mariella


Posted 28-04-2006 10:00 by mariella Send private message
Hi

I've just installed the Awstats extension in TYPO3 to discover that it is showing data from a logfile generated by TYPO3 and that several fields are showing information that is not entirely correct. If Awstats is attached externally it utilizes the logfile generated by the server and the information is correct.

To be more specific the logfile generated within typo3 differs from the one generated by the server in the following way:

- The URLs generated within the TYPO3 logfile are built on the TYPO3 backend tree structure whereas the urls generated by the server refer to the specific page. For example, the urls shown in the AWATS extension within typo3 read “/technical_sheet/Plan--79.html" instead of http://www.mydomain.com/abc/def/hij/lmn/index.html as generated by the server.
- The logfile within typo3 contains a single file type, HTML. There are no image, CSS or other files
- The logfile within typo3 shows a correct HTTP return code (200) 100% of the time. 301 redirects, generated by the server, and other HTTP errors (for example 404) sho up only in the externally attached version of Awstats.

I believe the logfile in TYPO3 is being generated properly and I have added the following instructions in localconf.php:
$TYPO3_CONF_VARS["FE"]["logfile_dir"] = my_logfile_dir/
and with TypoScript:
config.stat = 1
config.stat_apache = 1
config.stat_apache_logfile =mydomain.log

As an aside, we use the REALURL extension.

Could someone pls tell me if there is anyway to modify or amend the logfile utilized within the Awstats extension in TYPO3 or how to configure typo3 so as to obtain a logfile with a real file path for the URLs and all the file types as is possible if Awstats is attached externally?

Many Thanks

Mariella
Back to top

Seryl Cann


Posted 28-04-2006 11:47 by Seryl Cann Send private message Visit poster's website
Log files generated by TYPO3 are more limited than the real apache logs. I think it should be posible to configure apache to set the log file in logfile_dir and let the Awstats extension use that file to generate the stats, but I've never tried it so it might not work properly.
_________________

www.windinternet.nl

[Tod]

Поставил Awstats (типо3 4.0), непонятки похоже остались...
Есть где-то менее "грубое решение"?
И еще, в статистике есть поле "типы файлов"... я уже и документы скачивал и картинки с сайта, а оно упорно пишет одн и то же - html // HTML or XML static page, почему так?*

[Pavel Antonov]

Картинки???? TYPO3 картинки регистрировать в логе не может, так как по просто не знает кто и когда их скачивает.

[Tod]

Ну вот я на http://ns3744.ovh.net/awstats/awstats.pl?config=destailleur.fr смотрю там есть блок "тип файлов" с кучей разных типов файлов, в том числе и картинками.
Кроме того, при наведении на поле "хиты" вылазит описалово - "количество страниц, изображений и файлов сайта, которые были просмотрены или скачаны посетителями. Это как понимать?

[Pavel Antonov]

Ну вот я на http://ns3744.ovh.net/awstats/awstats.pl?config=destailleur.fr смотрю там есть блок "тип файлов" с кучей разных типов файлов, в том числе и картинками.
Кроме того, при наведении на поле "хиты" вылазит описалово - "количество страниц, изображений и файлов сайта, которые были просмотрены или скачаны посетителями. Это как понимать?

AWstats - анализатор веб-логов и честно показывает все к чему обращались и есть запись в логе. Только TYPO3 пишет свой лог, а по скольку картинки отдаются веб-сервером, а не TYPO3, то и в логе их нет.
А понимать это так... по ссылке никакой TYPO3 и не пахнет.

[Andrey Grey]

Поставил Awstats (типо3 4.0), непонятки похоже остались...
Есть где-то менее "грубое решение"?
И еще, в статистике есть поле "типы файлов"... я уже и документы скачивал и картинки с сайта, а оно упорно пишет одн и то же - html // HTML or XML static page, почему так?*

ищи решение тут:
http://www.typo3wizard.com/en/snippets/general-config/count-file-downloads-with-awstats.html

[Tod]

Продолжил разбираться в AWStats.
1. Там где отображается "Адрес страницы" статистика пишет инфу из page title, можно ли как-то указать ей брать данные из других полей? к примеру тот же alias?
2. Блок "Поисковые Ключевые фразы". Проблема с yandex`ом) видимо из-за его win-1251 кода, ключевые фразы и слова отображаются ???? ??? ???)) Есть ли способ это исправить? как-то в настройках статистики определить если ключевое слово из яндекса, то перекодировать его в ютф?

[Pavel Antonov]

Только если менять код (class.tslib_fe.php: 3166)... встроенных средств нет.

[Tod]

Ок, я так понимаю требуется произвести действия, о которых говорилось выше:

$shortTitle = substr(ereg_replace('[^\.[:alnum:]_-ёйцукенгшщзхъфывапролджэячсмитьбюЁЙЦУКЕНГШЩЗХЪФЫВА ПРОЛДЖЭЯЧСМИТЬБЮ]','_',$this->page['title']),0,30);
и
$pageName = str_replace('[path]', ereg_replace('[^\.[:alnum:]\/_-ёйцукенгшщзхъфывапролджэячсмитьбюЁЙЦУКЕНГШЩЗХЪФЫВА ПРОЛДЖЭЯЧСМИТЬБЮ]','_',$this->sys_page->getPathFromRootline($temp,$len)).'/' ,$pageName);

тогда интересно на что еще влияют эти строки? если я поменяю не хотелось бы чтобы это все где-то вылезло?
--
Включил - результата ноль, только ворнинги повылазили))

[Дылгеров Ц.В.]

Ок, я так понимаю требуется произвести действия, о которых говорилось выше:

$shortTitle = substr(ereg_replace('[^\.[:alnum:]_-ёйцукенгшщзхъфывапролджэячсмитьбюЁЙЦУКЕНГШЩЗХЪФЫВА ПРОЛДЖЭЯЧСМИТЬБЮ]','_',$this->page['title']),0,30);
и
$pageName = str_replace('[path]', ereg_replace('[^\.[:alnum:]\/_-ёйцукенгшщзхъфывапролджэячсмитьбюЁЙЦУКЕНГШЩЗХЪФЫВА ПРОЛДЖЭЯЧСМИТЬБЮ]','_',$this->sys_page->getPathFromRootline($temp,$len)).'/' ,$pageName);

тогда интересно на что еще влияют эти строки? если я поменяю не хотелось бы чтобы это все где-то вылезло?
--
Включил - результата ноль, только ворнинги повылазили))

Вышеуказанные действия исправляют только название страницы и путь в логе Typo3. Само по себе решение вынужденное - так как информация о названии теряется до обработки в awstats. Кстати у вас названия отображаются по русски (несмотря на варнинги)?

Посмотрел: в логах Typo3 ключевые фразы c поисковиков хранятся также как и в логах apache. Соответственно решение можно внедрить в код awstats, а не в ядро Typo3 - что менее грубо.

[Tod]

Да, после внедрения тех строк в код все заработало... просто нужно было опять зайти на страницу, чтобы отобразились новые результаты, старые с ???? ???? ?? так и остались. То же самое, скорее всего, касается ключевых слов.

Если обращаться к "менее грубому решению" (не править исходник), то судя по всему искать решение требуется в файле *.pl ? пока результаты не утешительные, там походу все на ПерлЕ) для меня ваще не знакомом.

!Но что интересно я заметил! Когда смотрю статистику (по страницам) одним из наших рейтингов - бигмир, то вижу к примеру такого рода ссылки:
www.google.com.ua/search?hl=ru&q=Портфолио С?айтов
www.yandex.ru/yandsearch?text=типовый договор услуг&ua=yes&ua_manually=t …
*Здесь для google.com слова передаются в переменной q, а для яндекса - text. Поискал я по фразе "q=" в awstats.pl и нашел место, где по идее обрабатывается код этих ссылок. Результаты идут в статистику по "ключевым словам" и "поисковым фразам". Так вот в скрипте есть код для # Extract params of referer query string (q=cache:mmm:www/zzz+aaa+bbb q=aaa+bbb/ccc key=ddd%20eee lang_en ie=UTF-8 ...) и чуть далее блок для # Search engine with unknown URL syntax. Тут похоже можно дописать какие-то строки для синтаксиса Яндекса)) либо копать почему вторая часть скрипта не пашет.

[Дылгеров Ц.В.]

Для rambler и yandex слова в url можно раскодировать простым urldecode, а для Гугля utf-8 придется декодировать. Сегодня выходной (перла нет дома) - завтра посмотрю

[Tod]

Так самое интересное, что все запросы из гугла отображаются в статистике идеально!) поэтому с ним как раз ничего делать не нужно (разве что может быть для win-1251 сата, у меня как раз utf-8)

[Valery Romanchev]

Как я понял
ics_awstats лучше (вроде как он обновляется и заработал сразу без лазанья в код)

вот ссылка по теме
http://bugs.typo3.org/view.php?id=1585

если стоит RealURL, то действительно проще юзать awstat, который разбирает логи апача
(тогда вообще нет смысла связываться с этими логами тайпы)

[Tod]

Просто ics_awstats только 3 дня назад обновился, а до этого читал в его мануале, что там немного сложнее и геморойнее делать апдэйт... благо теперь у них сатистика 6.6.
Посмотрю в ближайшее время - отпишусь)

[Дылгеров Ц.В.]

в awstats.conf нашел:
# Plugin: DecodeUTFKeys
# Perl modules required: Encode and URI::Escape
# Allow AWStats to show correctly (in language charset) keywords/keyphrases
# strings even if they were UTF8 coded by the referer search engine.
#
#LoadPlugin="decodeutfkeys"

соответственно решение такое
1. ставим перловские Encode и URI - скорее всего уже есть - можно проверить командой perldoc URI или perldoc Encode
2. разремариваем LoadPlugin="decodeutfkeys"

[Tod]

А как проверить работоспособность этих двух перловских "комманд"? А то вроде они есть, но эффекта от них никакого.
У тебя после все заработало после того как ты убрал #?
Мне не помогло(

[Дылгеров Ц.В.]

А как проверить работоспособность этих двух перловских "комманд"? А то вроде они есть, но эффекта от них никакого.
У тебя после все заработало после того как ты убрал #?
Мне не помогло(

К стыду у меня стоит перл старый - а Encode требует версию поновее
Поэтому проверить не могу.

Для проверки надо создать исполняемый файл типа

#!/usr/bin/perl -w
use Encode;
use URI::Escape;

и посмотреть не выдает ли ошибки

[Tod]

1. поставил ics_awstats
2. в awstats.conf разкомментировал строку #LoadPlugin="decodeutfkeys"
Теперь все ключевые слова и выражения отображаются правильно, правда есть одно но - в списке можно встретить абсолютно одинаковые слова по 2 раза.
У кого-то есть мысли с чем это может быть связано?.. Судя по тестам одни и те же слова, которые "идут" из гугла и из яндекса записываются как разные и суммирование их не происходит(( к сожалению. кто-то поборол этот баг?
3. Кракозябры в названии посещаемых страниц осталисЬ(

[Tod]

Похоже для ics_awstats обновилась документация. Там, во-первых, в качестве примера настроек указан путь к логу в fileadmin/log/... (изначально по моему в корень сайта ссылалось). Есть ли какая-то разница куда указывать путь?

Кроме того, также нашел одну интересную строчку для ics_awstats:
config.stat_apache_pagenames = /[title].[uid].[type].html
которая позволяет задать параметр вывода для посещаемых страниц в статистике - то есть легко можно оставить [uid], если не установлены статические ссылки.

[Alex Podusov]

На данный момент - нашлось ли решение правильного отображения путей страниц в логах?