База данных стала весить 8 гигов

dmartynenko · 21.08.2013, 13:25

Посмотрите - может у вас есть некий "генератор паразитного контента".

Пример - календарь в новостях. Каждый день, неделя, месяц - это отдельная кэшируемая страница. Если есть рубрикатор - умножаем каждый день на число категорий в нем. В итоге поисковики находят календарь, начинают ходить по нему туда-обратно скачивая все ссылки. И в кэше оказывается 100500 дополнительных записей. Даже если большая часть страниц содержит 0 полезного контента.

Плюс если есть "версия для печати", незакрытая от поисковиков, то умножаем число записей в кэше на два.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Зависает база данных	pbs	Общие вопросы	4	21.06.2013 21:35
База данных компаний	AleXUnder	Общие вопросы	3	02.05.2007 15:18

21.08.2013, 13:25	#11
dmartynenko Senior Member Регистрация: 20.07.2007 Адрес: Беларусь, Минск Сообщений: 957	Посмотрите - может у вас есть некий "генератор паразитного контента". Пример - календарь в новостях. Каждый день, неделя, месяц - это отдельная кэшируемая страница. Если есть рубрикатор - умножаем каждый день на число категорий в нем. В итоге поисковики находят календарь, начинают ходить по нему туда-обратно скачивая все ссылки. И в кэше оказывается 100500 дополнительных записей. Даже если большая часть страниц содержит 0 полезного контента. Плюс если есть "версия для печати", незакрытая от поисковиков, то умножаем число записей в кэше на два.