【鲲鹏 DevKit黑科技揭秘】│如何实现全链路系统问题90%精准诊断?

作者: 李禾

更新时间:2022-03-26 14:30:18

4389 阅读

摘要:DevKit系统诊断工具是鲲鹏性能分析工具的子工具之一,能够针对内存、网络、存储等常见故障和异常,提供精准定位和诊断能力,帮助用户识别出源代码中的问题点,提升程序的可靠性,故障定位准确率高达90%。

你的电脑是不是很久没关机了?晚上下班不再关闭所有应用,合上笔记本就离开,第二天输入密码继续干活,不必再逐一查找处理了一半的文档和网页,长此以往,你是不是发现电脑越来越慢,闪退、反应迟钝,甚至忽然卡住、蓝屏?

其中很重要的因素,是因为长期频繁的读取新文件而不释放,会导致内存中缓存数据越来越多,当内存使用饱和之后,系统会将内存中的数据交换到硬盘中,此时如果要使用到这部分已经交换到硬盘上的数据,那么系统首先要把内存中最久远、没有使用的数据再做一次到硬盘的交换,腾出空间之后,才能把硬盘中需要使用的数据加载到内存,如此复杂的流程,运行速度当然会变慢。

上述问题在服务器中同样存在,内存作为计算机/服务器的重要部件,帮助CPU通过总线寻址实现对其他部件的读写操作,内存故障常常导致系统整体性能下降、运行故障、甚至宕机。比如程序在申请内存后,如果不及时释放已申请的内存空间,频繁累积就会形成内存泄露,导致内存被占光,触发OOM(Out of Memory)。内存越界会带来数据读写错误的风险,如果读取了不属于自己的数据会造成程序崩溃,将数据写入其他程序则会造成不可预料的后果。除了内存问题,开发人员还会经常面临网络IO故障和存储问题,比如系统配置错误,会导致网络不通;系统处理数据包不及时,会导致丢包;另外,由于存储IO协议栈很长(涉及文件系统、块、设备等多层次的读写和映射),遇到慢盘等问题时很难定位具体是哪一层造成的访问变慢。

面对上述问题,我们应该如何定位和修复呢?当前业界有各种诊断工具,针对不同问题进行诊断,然而这些工具通常操作比较复杂、学习成本高、定位时间长,找到问题点之后,也无法针对具体问题给出建议快速排除故障。开发者亟需一款操作简便、定位精准的系统诊断工具来解决开发过程中经常遇到的“老大难”问题。

DevKit系统诊断工具是鲲鹏性能分析工具的子工具之一,能够针对内存、网络、存储等常见故障和异常,提供精准定位和诊断能力,帮助用户识别出源代码中的问题点,提升程序的可靠性,故障定位准确率高达90%。

Figure 1 功能全景图

内存诊断——快速识别内存泄漏和访问越界点

通过内存诊断能力,帮助用户识别应用程序中存在的内存使用的问题点,提升程序的可靠性,具体包括:内存泄漏诊断、内存越界诊断。

Figure 2 内存泄漏点及其调用关系

支持分析应用程序中存在的内存泄漏点,包括:内存未释放、内存异常释放等,得到具体的泄漏信息,并以调用树的形式展示出来。

Figure 3 泄漏点源代码

支持关联到内存泄漏点的源代码,精确定位到泄漏点所在的代码行。

Figure 4 内存消耗信息

支持跟踪应用程序运行期间系统层、应用层(调用内存申请函数)、分配器层的内存消耗情况,支持展示整个过程的汇总数据和时序数据。用户通过该信息可以了解应用程序在整个运行期间的内存变化情况,帮助定位未发现泄漏点但内存一直增加的问题。

Figure 5 OOM事件信息

监测系统OOM事件,分析发生OOM时的进程内存状态、系统内存状态和调用栈信息。

Figure 6 内存访问越界信息

支持分析应用程序中存在的内存越界访问点,给出越界访问类型和内存访问信息,并支持关联出调用栈和源码。

网络IO诊断——识别网络最大能力、诊断丢包点

压测网络,获得网络最大能力,为网络IO性能优化提供基础参考数据;诊断网络,定位网络疑难问题,解决因网络配置和异常而导致的网络IO性能问题。具体包括:网络拨测、丢包诊断、网络抓包、系统负载监控。

Figure 7 连通性拨测结果

连通性拨测,基于ICMP协议测试网络连通性和时延,并根据网络KPI服务等级评估网络质量。针对网络不通的情况,给出排查建议。

Figure 8 TCP/UDP拨测结果

TCP/UCD拨测,基于TCP协议测试网络带宽和重传,基于UDP协议测试网络丢包和抖动,并根据网络KPI服务等级评估网络质量。针对测试失败的情况,给出排查建议。

Figure 9 丢包信息及其排查建议

诊断网络丢包点,定位网络丢包根因,给出修复建议。

Figure 10 网络抓包结果

支持网络抓包,辅助网络拨测和丢包诊断,根据抓取的网络消息包定位网络异常根因。

支持在诊断期间监控系统负载,包括:CPU、内存、网络IO、软硬件中断等,以此了解在网络拨测或发生网络丢包时,是否存在系统资源不足。

存储IO诊断——识别存储最大能力

由于存储设备在不同的业务场景下性能表现差异很大,例如:OLTP数据库每次IO是小块随机的,而OLAP数据库每次IO是大块顺序的,在相同的存储配置下,能够达到最大性能是相差很大的;如何识别,在不同业务场景下,存储IO能够达到的最大性能?

针对这个问题,DevKit系统诊断工具在2021年底将推出存储IO诊断功能,该功能能够按照一定业务的存储测试模型压测存储设备或文件,获取反映存储IO性能的吞吐量、IOPS、时延等指标,得到存储设备的最大能力,并以此评估存储能力,为存储IO性能优化提供基础参考数据。

Figure 11 存储IO压测结果

鲲鹏开发套件DevKit是面向开发者研发全作业流程的一站式开发套件,从2019年推出至今,提供了覆盖代码开发、迁移、编译、测试、调优、诊断等研发全作业流程的工具集,助力开发者极简开发。为了便于广大开发者们更加真实的体验、使用上述功能,DevKit还提供远程实验室,一站式预装DevKit开发环境,申请即可免费试用。

扫描免费申请试用

此外,想要了解更多关于DevKit的强大的功能,欢迎各位开发者访问DevKit专区。

 

点击关注,第一时间了解华为云新鲜技术~

版权声明:本文著作权归作者【李禾 】所有,不代表本网站立场。

侵权请联系:root_email@163.com