Site Crawler

[Tod]

Третий вопрос оказывается возник по причине наличи на странице РСС ленты новостей (tw_rssfeeds). Почему-то не представляю как для нее краулер настроить, да и собвественно она видимо как-то сама мешает работе, так бы индексировались другие УРЛы, а этот нет... в моем же случае - целая странице не индексируется.
Возможно что-то посоветуете по этому поводу, так как скрывать элементы РСС, потом запускать краулер, опять открывать РСС - это извращение
Сделал даже эти элементы на другой странице, потом как бы создал копию (ссылку) элемента на нужную страницу, без внесения его в базу - нифига)) может через TS получится. не пробовал...