【问题描述】
我们生产环境有一组集群的多台MySQL服务器(MySQL 5.6.21),不定期的会crash,但error log中只记录了重启信息,未记录crash时的堆栈:
mysqld_safe Number of processes running now: 0 mysqld_safe mysqld restarted
接下来首先排查系统日志/var/log/message文件,crash时没有其他异常信息,也不是OOM导致的。
【排查思路】
由于日志中未记录有价值的信息。为定位crash的原因,首先开启mysql core dump的功能。
下面是开启core dump的步骤:
1、 在my.cnf文件中增加2个配置项
[mysqld] core_file [mysqld_safe] core-file-size=unlimited
2、修改系统参数,配置suid_dumpable
echo 1 >/proc/sys/fs/suid_dumpable
3、重启mysql服务,配置生效
【问题分析】
开启core dump后,服务器再次crash时生成了core file。
用gdb分析生成的core file,可以看到crash时的堆栈信息如下:
从函数table_esms_by_digest::delete_all_rows
可以看出触发crash的是truncate table events_statements_summary_by_digest操作。
我们内部有个DML的分析工具,用来统计数据库每分钟增删改查的访问量。该工具的数据源是events_statements_summary_by_digest表,采集程序会每一分钟采集一次这张表的数据,采集完成后执行truncate操作。
暂停这组集群上DML采集程序后MySQL没有再发生crash。
进一步分析多个core file,发现最终函数的调用都发生在_lf_pinbox_real_free函数上。
结合现场环境,有两处地方值得分析:
1、 内存的不正常值。当打印该变量时,此处变量的地址偏低,不太正常:
(gdb) p pins->pinbox $2 = (LF_PINBOX *) 0x1367208
2、红字部分为pfs逐条释放digest记录的操作,正在释放某行数据时出现错误:
void reset_esms_by_digest() { uint index; if (statements_digest_stat_array == NULL) return; PFS_thread *thread= PFS_thread::get_current_thread(); if (unlikely(thread == NULL)) return; for (index= 0; index < digest_max; index++) { statements_digest_stat_array[index].reset_index(thread); statements_digest_stat_array[index].reset_data(); } digest_index= 1; }
猜测有两种可能导致错误:
1、高并发下,对内存访问出现冲突;
2、某个特殊SQL导致,在处理hash时。
在网上搜索类似的问题,有了进一步的进展,基本确定了这个问题是bug导致
如下Mysql的bug report中讲述了类似问题
https://bugs.mysql.com/bug.php"htmlcode">
static void _lf_pinbox_real_free(LF_PINS pins) { LF_PINBOX pinbox= pins->pinbox; struct st_match_and_save_arg arg = {pins, pinbox, pins->purgatory}; pins->purgatory= NULL; pins->purgatory_count= 0; lf_dynarray_iterate(&pinbox->pinarray, (lf_dynarray_func)match_and_save, &arg); if (arg.old_purgatory) { void *last= arg.old_purgatory; while (pnext_node(pinbox, last)) last= pnext_node(pinbox, last); pinbox->free_func(arg.old_purgatory, last, pinbox->free_func_arg); } }
下面是MySQL 5.6.21函数的_lf_pinbox_real_free的代码片段
static void _lf_pinbox_real_free(LF_PINS pins) { int npins; void list; void **addr= NULL; void first= NULL, last= NULL; LF_PINBOX pinbox= pins->pinbox; npins= pinbox->pins_in_array+1; if (pins->stack_ends_here != NULL) { int alloca_size= sizeof(void )LF_PINBOX_PINSnpins; if (available_stack_size(&pinbox, *pins->stack_ends_here) > alloca_size) { struct st_harvester hv; addr= (void **) alloca(alloca_size); hv.granary= addr; hv.npins= npins; _lf_dynarray_iterate(&pinbox->pinarray, (lf_dynarray_func)harvest_pins, &hv); npins= hv.granary-addr; if (npins) qsort(addr, npins, sizeof(void *), (qsort_cmp)ptr_cmp); } }
同时观察到出问题的集群有指标异常,QPS不到6000,Threads_connected将近8000。(对比其他高并发的集群,QPS在20000以上,Threads_connected也只有300左右)。
排查应用端的连接方式,了解到其中一个应用有近百台应用服务器,可能同时发起请求,却没有合理的复用连接,维持大量的连接线程增大了bug触发的概率。
Bugs Fixed的描述如下:
Miscalculation of memory requirements for qsort operations could result in stack overflow errors in situations with a large number of concurrent server connections. (Bug #73979, Bug #19678930, Bug #23224078)
【解决思路】
我们通过分析crash时的core file文件,找到crash时的触发条件,暂停DML采集程序(truncate table events_statements_summary_by_digest操作)后恢复。
后面了解到这是MySQL的一个bug,在MySQL 5.6.35版本后已修复。这个bug在应用端与数据库建立大量的连接时,更容易触发。
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对的支持。
mysql,实例crash
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
- 雨林唱片《赏》新曲+精选集SACD版[ISO][2.3G]
- 罗大佑与OK男女合唱团.1995-再会吧!素兰【音乐工厂】【WAV+CUE】
- 草蜢.1993-宝贝对不起(国)【宝丽金】【WAV+CUE】
- 杨培安.2009-抒·情(EP)【擎天娱乐】【WAV+CUE】
- 周慧敏《EndlessDream》[WAV+CUE]
- 彭芳《纯色角3》2007[WAV+CUE]
- 江志丰2008-今生为你[豪记][WAV+CUE]
- 罗大佑1994《恋曲2000》音乐工厂[WAV+CUE][1G]
- 群星《一首歌一个故事》赵英俊某些作品重唱企划[FLAC分轨][1G]
- 群星《网易云英文歌曲播放量TOP100》[MP3][1G]
- 方大同.2024-梦想家TheDreamer【赋音乐】【FLAC分轨】
- 李慧珍.2007-爱死了【华谊兄弟】【WAV+CUE】
- 王大文.2019-国际太空站【环球】【FLAC分轨】
- 群星《2022超好听的十倍音质网络歌曲(163)》U盘音乐[WAV分轨][1.1G]
- 童丽《啼笑姻缘》头版限量编号24K金碟[低速原抓WAV+CUE][1.1G]