所有提交的EM系统将被重定向到网上投稿系统.作者被要求将文章直接提交给网上投稿系统各自的日志。

基于无监督检测的网络攻击签名生成新方法

Priti B.Dhanke1和Pratibha Mishra2
  1. G.H. Raisoni女子工程技术学院学生(M.Tech),那格浦尔,印度
  2. 助理教授,G.H. Raisoni妇女工程技术研究所,那格浦尔,印度
有关文章载于Pubmed谷歌学者

更多相关文章请访问国际计算机与通信工程创新研究杂志

摘要

目前,网络攻击检测作为一种无监督检测是一项具有挑战性的工作。提出了各种方法来解决网络攻击问题,并使用专门的签名确定解决方案,但技术的跟踪成本很高,并且很难生成标记流量数据集用于分析。在这项研究中,我们专注于无监督方法来检测以前没有见过的新型网络攻击。采用聚类技术找出不一致的交通流。采用聚类算法自动构造特定的过滤规则,可以对不同的攻击进行特征化,并为网络运营商提供易于解释的信息。越来越多的规则联合起来形成签名,可以直接导出/传输到安全设备,如ids和/或防火墙。这种方法可以在不了解流量的情况下发现不同的攻击。无监督网络异常检测算法用于对异常流量进行知识无关的检测。UNADA采用一种基于子空间密度聚类的新型聚类技术来识别多个低维空间中的聚类和离群点。然后,利用基于相关距离的方法,将这些多重聚类提供的交通结构证据结合起来,产生交通流的异常排名。

关键字

网络攻击,签名生成,聚类算法,网络安全。

介绍

如今,在互联网世界中发现网络攻击是一项具有挑战性的任务,大量的攻击被发现,如拒绝服务攻击(DoS)[1],分布式DoS (DDoS) [2], web/主机扫描[3],传播蠕虫或病毒[4]和许多不同的攻击,每天威胁着网络的完整性和正常运行。自动检测和分析网络攻击的主要挑战是,这些攻击是一个不断移动和不断增长的目标。检测和分析受攻击影响的网络的主要思想是,这些攻击是一个不断移动和不断增长的目标。在这种情况下,开发安全系统,帮助发现攻击或生成替代解决方案,防止攻击就显得尤为重要。
在这两种不同的方法中,主要考虑基于签名的检测[6]和异常检测[7]来解决安全问题。
基于签名的检测系统使用签名匹配技术来保护网络,并且能够非常有效地检测那些它们被编程警告的攻击,但我无法保护网络免受未知攻击,而且它不是一种经济有效的技术,因为需要构建新的签名[6,8]。而异常检测用于检测偏离基线的异常活动。这种方法可以发现以前没有考虑过的新形式的网络攻击。同样,这些技术也不是一种经济有效的技术,因为它检测的是已知的攻击,每次攻击只需要一个签名,而新攻击则无法检测到[7,8]。
在这种情况下,有必要开发具有成本效益的技术,以帮助建立无监督检测的解决方案。上述挑战的解决方案是聚类算法;它可以用来检测已知或完全未知的攻击,以及自动生成解释签名来描述它们,两者都是在线的。完整的检测和表征算法分为三个连续的阶段。
1)第一个措施是检测一个异常时隙,其中可能隐藏的方法。为此,时间序列使用流解决方案制定了基本流量指标,例如每个时隙的比特数、数据包和IP信息流。任何基于时间序列分析的一般异常检测[9,10],然后利用时间序列来识别异常板岩。
2)在第二阶段,使用标记时隙中捕获的IP流集作为输入。该方法使用基于子空间聚类(SSC)[11]、基于密度的聚类[12]和证据积累(EA)[13]的鲁棒聚类技术,盲目地提取构成该方法的可疑流。
3)在第三阶段,利用聚类算法提供的流量结构证据,生成具有特征的过滤规则,以检测尝试[14]
剩余的纸张突出显示如下。有关工作将在第二节加以审查。第三节介绍了系统模型、体系结构、系统模型的工作原理、方案的优点。第四节给出了实施和提出的模型。第五节讨论了实施细节和结果,并对本文进行了总结,并提出了一些未来的研究工作。

相关工作

大多数方法分析流量度量技术(例如,数据包和IP信息)和/或其他流量特征的统计变化,使用单个链路测量或整个网络范围的信息。网络攻击和异常检测问题在最后的十篇文章中进行了广泛的分析。自动检测和分析网络攻击的主要挑战是,这些攻击是一个不断移动和不断增长的目标。分类法允许将以前的知识用于新的攻击,并提供了一种结构化的方式来考虑此类攻击。提议的分类法旨在创建类别,使这种情况更容易发生,这样就可以突出显示攻击之间的相似性,并用于组合新的攻击。
一个非详尽的方法列表包括信号处理技术(如ARIMA、小波)在单链流量测量[15]、[16]中的作用,以及应用于ip流[17][18]的草图,用于网络范围异常检测的卡尔曼滤波器[18],基于时间序列分析的异常检测算法[15]-[10],主成分分析[20]-[21]和应用于ip流和基于签名的异常表征[22]的草图。子空间方法是另一种著名的无监督异常检测技术,在[20,21]中用于检测高度聚集的交通流中的全网流量异常。
为了避免一般聚类技术缺乏健壮性,我准备了一种并行多聚类方法,结合了基于密度的聚类[12]、子空间聚类[11]和证据积累[13]的概念。该算法的具体细节在[23]中有完整的文档。聚类在非常低维的亚种中进行,这比在高维空间[24]中进行聚类更快。
Fisher Score (FS)[25],基本上衡量的是聚类之间的分离,相对于每个细分内的总方差。文献中提出的大量无监督检测方案都是基于聚类和异常值检测的,这是[26,27]一些相关的例子。在[26]中,作者利用单链接层次聚类方法对KDD ' 99数据集的数据进行聚类,基于模式间相似性的标准欧几里得空间。[28]报告了在同一数据集中改进的结果,使用三种不同的聚类算法:固定宽度聚类,k-NN的优化版本和一类SVM[27]提出了基于密度网格的组合聚类算法来提高计算复杂度,获得相似的检测结果。
本文的主要工作是设计一个完全检测无监督检测的集群基系统,并对异常数据流构造一个签名。为了实现所提出的想法。

系统模型

我们的主要想法是检测已知的,以及不寻常的人和未知的攻击。这是由于在用于描述攻击的在线基础算法中确定攻击的签名的产生造成的,该算法将在以下阶段[29]中持续存在,该阶段由图1中所示的流表示。
这是在连续三个阶段之后。首先,使用临时滑动窗口方法捕获流量,并将其聚合到流中。这是使用不同的流量聚合故事来执行的。对于简单的流量指标,如字节数,每个时间段的流量,时间序列。此外,任何用于识别异常时隙的变化捕捉方法。在第二阶段,开始无监督检测算法,使用标记时隙中捕获的IP流集作为输入。该方法采用基于子空间聚类(SSC)、密度聚类和证据积累(EA)的鲁棒聚类技术,盲目提取构成攻击的可疑流。在第三阶段,利用聚类算法提供的流量结构证据生成过滤规则,对攻击进行特征检测。

系统实现

A.实施阶段

步骤1:-通过使用分析器(即创建日志文件)捕获以标记时间槽内所有IP流为输入的数据包。
步骤2:- IP流使用不同的聚合键在不同的流分辨率级别上进行额外聚合,并每1秒应用滑动时间窗口方案。
步骤3:-使用以下公式x(1) = [sipadd dipadd sport dport nsipadd/ndipadd y(1)/ndipadd]创建特征空间矩阵
类似地,我们必须为所有时间窗口数据集创建特征空间矩阵(即聚类)。,X=Σ(x1,x2…….xn) and then apply Clustering algorithm and declare smallest group of cluster as outlier.
步骤4:-使用k-means聚类算法、证据积累和异常值排序检测异常。
步骤5:—创建签名。签名将被记录并更新到签名表中。签名表可用于异常流量的在线检测。
步骤6:-为了在未来检测攻击,这个签名最终可以集成到任何标准安全设备。有一些过滤规则被组合成一个新的流量签名,用简单的术语来描述攻击。

B. K-Means算法

采用K-means算法[24,29]作为底层聚类算法来产生聚类集合。首先,将数据分割成大量紧凑和小的集群;通过随机初始化K-means算法得到不同的分解。多重聚类中出现的数据组织被映射到一个联合矩阵,该矩阵提供了模式之间相似性的度量。通过聚类这个新的相似矩阵[30]得到最终的数据分区。
K - means算法的主要步骤如下:
1.选择一个包含N个集群的初始分区;重复步骤2和3,直到集群成员关系稳定。
2.通过将每个模式分配到最近的群集中心来生成一个新分区。
3.计算每个中心的新集群。

C.证据积累和异常值排序

基于证据积累的聚类思想是通过将每个聚类结果视为数据治理的独立证据,将多个聚类的结果融合到单个数据分区中。在无监督学习的背景下,有多种收集证据的潜在方法:
(1)结合不同聚类算法的结果。
(2)通过对数据的重新采样产生不同的结果。
(3)用不同的参数或初始化多次运行给定的算法。基于证据收集的聚类的总体方法如下。
图像

实验结果

对于实验建议,我们可以使用已使用的分析仪,即NetworkActiv PIAFCTM[31]和MATLAB[32],无监督算法的强大功能来检测和构建真实流量中不同攻击的签名。最初我们使用包跟踪,阴影没有标记,因此将确定分析,以显示无监督方法如何在不使用签名、标签或学术的情况下发现异常并描述不同的网络攻击。在此基础上,重点是检测端口扫描攻击,它指的是TCP/UDP端口。对于过滤规则,过滤规则要求源和目的的数量,以及源和目的的组合所占的比例。令人惊讶的是,提取的签名与用于检测企图的标准签名非常接近。
我们可以使用NetworkActiv PIAFCTM在包模式下创建网络包传输日志文件。在一次操作开始时,它可以使用各种因素应用输出,如类型、大小、源和目标IP、源和目标端口以及时间和日期信息,如下图2所示。在生成数据后,应用滑动时间窗口方案,在一秒后,IP流在相似的时间聚合特征空间矩阵,使用步骤3中提到的如下公式。它产生集群的数量。它观察到,第一列是标签值,第二列是数据流,即y。(从第三列到第八列是特征空间)第三列是sip,第四列是dip,第五列是一项运动,第六列是驱逐,第七列是源IP地址与目的IP地址数量的比例,八列是数据流与目的IP地址数量的比例。如图3所示。
我们系统的GUI具有各个按钮的各种按钮标注功能,如下表1所示。
利用k-means聚类算法、证据积累和离群值排序等方法来发现异常。从该异常值中,我们收集有关该原因的源IP、目的IP和时间的信息,以追溯到特征空间矩阵、聚合和日志文件。一组异常流的检测工作是自动生成大量的过滤规则来表征网络攻击。这里它检测端口扫描攻击。端口扫描攻击是指扫描TCP/UDP端口,如图4所示。要从GUI生成签名,使用addsig函数。将在签名表中更新。最后,我检测到了异常流量,以及如图5所示的端口扫描攻击等网络攻击。

结论及未来范围

用于检测网络攻击的完全无监督算法,仅使用未标记的数据来识别和描述网络攻击,而不需要任何形式的签名、特定模型或规范的数据分布。这允许检测新的,以前未见过的网络攻击,甚至不使用统计学习。我们建立了如何利用该算法在不依赖任何形式的先验信息的情况下自动构造网络攻击的特征。攻击可以应用于设计自治网络安全安排,其中基于子空间聚类(SSC)和基于证据积累的算法应用于任何标准安全设备,对未知异常事件产生特定的签名。最后,实验结果验证了该算法对所分析的网络攻击和异常检测进行在线无监督检测和签名自动生成是可行且易于实现的。在这份报告中,我们提出了一个想法,这个想法还很年轻,需要做大量的工作来完善这个模型。虽然我们在提出的模型中有几个挑战需要更有效地解决,但我们相信,在未来的研究中,建立这样的基础设施并不遥远。

表格一览

表的图标 表的图标
表1 表2

数字一览

图1 图2 图3 图4 图5
图1 图2 图3 图4 图5

参考文献







































全球科技峰会