Посмотрите - может у вас есть некий "генератор паразитного контента".
Пример - календарь в новостях. Каждый день, неделя, месяц - это отдельная кэшируемая страница. Если есть рубрикатор - умножаем каждый день на число категорий в нем. В итоге поисковики находят календарь, начинают ходить по нему туда-обратно скачивая все ссылки. И в кэше оказывается 100500 дополнительных записей. Даже если большая часть страниц содержит 0 полезного контента.
Плюс если есть "версия для печати", незакрытая от поисковиков, то умножаем число записей в кэше на два.
|