Убить дубли

[vedomir]

Все кто установил REALURL знают, что страница остается доступной и по index.php?id=
Что создает так называемые "дубли" страниц которые создают неприятности при индексации сайта. Можно ли совсем запретить покавать страницы по кривой ссылке с id или хотя бы ставить тэги <noindex> в тело таких страниц?

[void]

http://forum.typo3.biz/showthread.php?t=6663

[webberry]

Добрый день
Расширение Force RealURLs решает проблему для дублей типа index.php?..,

Но если многоязычный сайт то страницы типа (onas/, en/about/, de/uberaus/)
работают и такabout/, en/uberaus/, de/onas/)
И в других вариантах (about/, uberaus/, onas/) -все это ведет на одну страницу

Пример здесь: http://www.dvbank.ua/en/retail-banking/depoziti/, http://www.dvbank.ua/ru/retail-banking/depoziti/, http://www.dvbank.ua/retail-banking/depoziti/ и так далее.

Что делать. Может конфиг RealURL неправильный?

[dmartynenko]

На сколько я понимаю внутренню работу RealURL - решений нет. В данном случае эти названия являются синонимами id и сохраняются где-то в табличке. Префикс en/de или его отсутствие - это отдельная часть url, которая обрабатывается без учета id или синонимов.

У вас одна надежда - поисковики индексируют ссылки взятые с вашего сайта. Если в найденных поисковиками ссылках не будет путаницы, то и дублирования быть не должно.

Еще вариант - добавить в метатэги правильный canonical url. В таком случае даже если страница будет по разным адресам, то поисковики должны привязывать контент к canonical url.

[webberry]

Спасибо за ответ, но ключевое слово "должны". Метатеги все дальше и дальше игнорируются поисковиками. Даже запись в robot.txt "disallow all" или атрибуты nofolow в ссылках уже нечего не значат.

Странно что не нашли такого решения. А есть ли расширения для всатвки каноничных ссылок, или конфиг какой-то?

Буду благодарен за ответ. И возможно кто-то еще решал эту проблему. В теории если ЧПУ формируются с id то и параметр можно интерпритировать как часть ЧПУ.

[webberry]

Немало времени прошло, может кто-то все таки решал проблему. Может кто-то нашел решения. Очень завязаны на realurl но по всем проектам СЕО-шники выносят мозг из-за дублирования всех страниц.
Может кто-то возьмется решить проблему за некоторое вознаграждение (можно скинуться).

[dmartynenko]

Откуда у вас беруться ссылки на неправильные URL ?
Разберитесь сначала с этим.

[sever]

Пропишите в robots.txt

Disallow: /*?id=*

со временем ссылки с ?id= уйдут из индекса поисковика. На Яндексе точно работает.

[dmartynenko]

Сообщение от sever

Пропишите в robots.txt

Вы исходный вопрос webberry не прочитали. Проблемы с id у него нет.

[webberry]

Сообщение от dmartynenko

Откуда у вас беруться ссылки на неправильные URL ?
Разберитесь сначала с этим.

А его знает. скорей всего Google индексирует все что можно и как попало. На многих cms есть та же проблема с "/" в конце и без него, хотя на всем сайте все ссылки только с "/". Так это лечится .htaccess.

А в этом случае единственный выход заставить typo3 генерировать одинаковые псевдонимы для разных языков, но как это можно сделать?