首页 > 关于安博通 > 新闻中心
误报率太高?AI+流量安全分析,让网络运维更轻松
2020-07-10
136

误报率是衡量网络安全设备的重要技术指标,但如何正确检测和计算这项指标,没有统一科学的方法。安博通基于自主研发的网络流量安全分析系统,总结自身技术和经验,得出了一套安全设备误报率的检测计算方法,并基于深度学习技术将误报率降到业界较低水平,可减少企业机构安全运维的人力和时间投入。


误报率是什么?

 

·  误报:在网络安全设备报警规则集合C中,事件A触发报警时,发生了B事件报警或未发生报警。

·  误报率:在规则集C中,由于算法或事件定义导致安全设备产生误报的概率。

 

通用的误报率计算方法是,以设备规则集为出发点,对规则集事件进行加权处理,但业界暂无统一的权值标准,因此造成计算困难。

 

由于安全设备规则集较多,全面覆盖往往不现实。在实践中,通常以抽样测试方法来统计误报率,即随机挑选事件库中的部分事件,使用攻击工具触发这些事件,或以抓包工具对捕获的包进行回放,分析报警结果,从而得出安全设备的误报率。

 

基于深度学习技术的流量安全分析,降低误报率

 

安博通网络流量安全分析系统在传统流量采集、流量分析、流量回溯的基础上,集成自研的威胁情报技术,并应用深度学习技术,降低误报率。

 

深度学习技术是机器学习技术的一种,而机器学习是实现人工智能的必经路径。深度学习概念源于人工神经网络的研究,其通过组合低层特征形成更加抽象的高层表示属性类别或特征,并以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑学习分析的神经网络,它模拟人脑机制解释数据,如图像、声音、文本等。

 

1.jpg

 

基于深度学习的恶意文件、恶意URL、DGA域名等检测技术无需沙箱环境,可以直接将样本文件转换为二维图片,进而应用改造后的卷积神经网络Inception V4进行训练和检测。

 

Step 1:二进制文件转换

 

将样本文件初步处理后转换为二进制文件,转换后每个字节范围在00-FF之间,对应灰度图像素在0-255之间(0为黑色,255为白色)。将二进制文件转换为矩阵,矩阵又可以转换为灰度图。

 

4.jpg

 

Step 2:CNN图像识别


单靠观看很难区分恶意样本与白样本在纹理上存在的细微差异,采用成熟的CNN图像识别算法可以进行图像分类。

 

CNN(卷积神经网络)是一类包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一。它的构成包括:

 

·  输入层(Input Layer)

用三维矩阵代表一张图片,矩阵的长宽表示图片的大小,矩阵的深度表示图像的色彩通道,黑白为1 。

 

·  卷积层(Convolution Layer)

这一层的输入是上一层神经网络的一小块,它试图对神经网络的每一小块进行更深入分析,以得到抽象程度更高的特征。一般来说,本层处理后的结点矩阵深度会增加。

 

·  池化层(Pooling Layer)

不改变三维矩阵的深度,但能够缩小矩阵的大小,达到减少参数的目的。可以看做是将分辨率较高图片降低分辨率的过程。

 

·  全连接层(Fully Connecced)

经过多轮卷积和池化后,经过1-2个全连接层进行输出。可以将卷积层、池化层看做特征提取,最后由本层进行分类。

 

·  Softmax层

转化为概率分布。


5.jpg


这一技术简化了检测流程,速度也优于沙箱技术,可将误报率控制在10%以内,最低降至1%。

 

以下是最近一次恶意文件训练后在测试集上评估的结果:

 

·  各项指标在97-98%左右,优于以往模型。

·  表现较差的几种格式,主要原因为正样本中样本数较少。

·  dex是一种特殊的安卓文件格式,在负样本中没有收集到,导致测试结果可能偏向正样本。

·  rar、zip压缩后对检测有一定影响。

 

2.jpg

 

以下是DGA和恶意URL检测在验证集上的结果,可以看到误报率最低降至1%(1-准确率)。

 

3.jpg

 

创新提出全栈分析概念

 

安博通网络流量安全分析系统集成了会话分析、WAF、IDS告警、威胁情报分析、未知威胁分析、全流量溯源、文件还原取证等功能,并创新性地提出了全栈分析概念。

 

除了基于深度学习从技术层面量化降低误报率外,还可以从实际操作层出发,根据实践经验,应用这些措施降低误报率:

 

1、 应用自研威胁情报,可实时更新离线库,保障准确率。

2、 应用未知威胁分析,通过加白名单操作排除误报。

3、 应用异常流量检测、网络攻击检测,通过配置审计的精确IP,降低误报率。

4、 应用内置的WAF功能,也可以通过减少配置审计的IP降低误报率。

 

在技术发展日新月异的今天,将先进技术应用于网络安全领域,不断提升产品功能精度,是安博通自主创新的不懈追求。未来,公司将继续以人工智能技术赋能网络安全产业,切实保障在等保合规、红蓝对抗、日常运维中的安全需求,为各行业用户创造安全业务价值新体验。