проблемы с зависаниями процессов Mysql

[Valery Romanchev]

на этом сервере есть несколько инсталяций (среди них по крайней мере в одной cache_pages MyISAM 1,9 Гб)


# The following options will be passed to all MySQL clients
[client]
#password = your_password
port = 3306
socket = /tmp/mysql.sock

# Here follows entries for some specific programs

# The MySQL server
[mysqld]
datadir=/home/mysql
port = 3306
socket = /tmp/mysql.sock
skip-locking
key_buffer = 1M
max_allowed_packet = 8M
table_cache = 8
sort_buffer_size = 1M
read_buffer_size = 2M
read_rnd_buffer_size = 2M
net_buffer_length = 8K
thread_stack = 256K
query_cache_size = 32M

# Don't listen on a TCP/IP port at all. This can be a security enhancement,
# if all processes that need to connect to mysqld run on the same host.
# All interaction with mysqld must be made via Unix sockets or named pipes.
# Note that using this option without enabling named pipes on Windows
# (using the "enable-named-pipe" option) will render mysqld useless!
#
#skip-networking
server-id = 1

# Uncomment the following if you want to log updates
#log-bin=mysql-bin

# Uncomment the following if you are NOT using BDB tables
#skip-bdb

# Uncomment the following if you are using InnoDB tables
#innodb_data_home_dir = /var/db/mysql/
#innodb_data_file_path = ibdata1:10M:autoextend
#innodb_log_group_home_dir = /var/db/mysql/
#innodb_log_arch_dir = /var/db/mysql/
# You can set .._buffer_pool_size up to 50 - 80 %
# of RAM but beware of setting memory usage too high
#innodb_buffer_pool_size = 16M
#innodb_additional_mem_pool_size = 2M
# Set .._log_file_size to 25 % of buffer pool size
#innodb_log_file_size = 5M
#innodb_log_buffer_size = 8M
#innodb_flush_log_at_trx_commit = 1
#innodb_lock_wait_timeout = 50

[mysqldump]
quick
max_allowed_packet = 16M

[mysql]
no-auto-rehash
# Remove the next comment character if you are not familiar with SQL
#safe-updates

[isamchk]
key_buffer = 8M
sort_buffer_size = 8M

[myisamchk]
key_buffer = 8M
sort_buffer_size = 8M

[mysqlhotcopy]
interactive-timeout

[shuman]

насчет max_connections=4000 я конечно загнул
подойдет 100

размер файла ibdata1 до 8Гб

из-за опасений что этот файл вырастет еще больше использую директиву innodb_file_per_table

теперь в каталоге mysql/имя_базы данных появился файл cache_pages.ibd

за 3 суток он вырос до 1 Гб

в переходный период я делал обновление кэша, но это длилось ужасно долго при этом сайт работал, но например отображение list блоков новостей по категориям выдавало что-то типа "нет новостей"

пришлось делать truncate - о чем пишут авторы Typo3 собираются заменять в коде delete на truncate (хотя это специфичная для mysql команда)

несмотря на то что cache_pages был обнулен и оставался единственной таблицей с innodb файл ibdata1 не сократился

получается что сделать каким то образом shrink или contract для этого файла никак нельзя

возникли проблемы с архивацией - теперь нужно писать особый скрипт, который не архивирует весь каталог, а только избранное

все-таки 2 файла - по 8 Гб и 1 Гб

прочитал советы как сократить ibdata1:
1 совет - разбить директивой innodb_data_file_path=ibdata1:50M;ibdata2:50M:auto extend
там же можно установить максимум

InnoDB is not aware of the filesystem maximum file size, so be cautious on filesystems where the maximum file size is a small value such as 2GB. To specify a maximum size for an auto-extending data file, use the max attribute. The following configuration allows ibdata1 to grow up to a limit of 500MB:

innodb_data_file_path=ibdata1:10M:autoextend:max:5 00M

не пробовал - не уверен что 8Гб станут 500М

2 совет
сделать dump всех БД, убить ibdata1, восстановить БД

займет много времени - требует остановки сервера

буду пробовать первй вариант

[Valery Romanchev]

а кеширование в статические файлы у вас стоит?
nc_staticfilecache
еще есть вариант страницы typo3 кешировать не в cache_pages а в статику (есть такая настройка)

[shuman]

Спасибо - буду также пробовать nc_staticfilecache
или настройку в статику

Директива innodb_data_file_path=ibdata1:10M:autoextend:max:5 00M к сожалению не сработала - сразу же mysql предложил вернуть все назад в логе и там же в логе стали появляться ежеминутные ссобщения о неправильном формате данных других в том числе не innodb файлов. За 3 дня лог вырос на 1Гб. В общем нужно пробовать помимо варинатов Валерия вариант с dump и восстановлением

[shuman]

очистить кэш команда delete from cache_pages длится около 10 минут
файл cache_pages.ibd вырос до 4 Гб, а файл ibdata1 перестал расти - 8 Гб

необходимо прочитать мануал по работе с innodb - все некогда, для сжатия ibd