关键字 |
网络攻击,签名生成,聚类算法,网络安全。 |
介绍 |
如今,在互联网世界中发现网络攻击是一项具有挑战性的任务,大量的攻击被发现,如拒绝服务攻击(DoS)[1],分布式DoS (DDoS) [2], web/主机扫描[3],传播蠕虫或病毒[4]和许多不同的攻击,每天威胁着网络的完整性和正常运行。自动检测和分析网络攻击的主要挑战是,这些攻击是一个不断移动和不断增长的目标。检测和分析受攻击影响的网络的主要思想是,这些攻击是一个不断移动和不断增长的目标。在这种情况下,开发安全系统,帮助发现攻击或生成替代解决方案,防止攻击就显得尤为重要。 |
在这两种不同的方法中,主要考虑基于签名的检测[6]和异常检测[7]来解决安全问题。 |
基于签名的检测系统使用签名匹配技术来保护网络,并且能够非常有效地检测那些它们被编程警告的攻击,但我无法保护网络免受未知攻击,而且它不是一种经济有效的技术,因为需要构建新的签名[6,8]。而异常检测用于检测偏离基线的异常活动。这种方法可以发现以前没有考虑过的新形式的网络攻击。同样,这些技术也不是一种经济有效的技术,因为它检测的是已知的攻击,每次攻击只需要一个签名,而新攻击则无法检测到[7,8]。 |
在这种情况下,有必要开发具有成本效益的技术,以帮助建立无监督检测的解决方案。上述挑战的解决方案是聚类算法;它可以用来检测已知或完全未知的攻击,以及自动生成解释签名来描述它们,两者都是在线的。完整的检测和表征算法分为三个连续的阶段。 |
1)第一个措施是检测一个异常时隙,其中可能隐藏的方法。为此,时间序列使用流解决方案制定了基本流量指标,例如每个时隙的比特数、数据包和IP信息流。任何基于时间序列分析的一般异常检测[9,10],然后利用时间序列来识别异常板岩。 |
2)在第二阶段,使用标记时隙中捕获的IP流集作为输入。该方法使用基于子空间聚类(SSC)[11]、基于密度的聚类[12]和证据积累(EA)[13]的鲁棒聚类技术,盲目地提取构成该方法的可疑流。 |
3)在第三阶段,利用聚类算法提供的流量结构证据,生成具有特征的过滤规则,以检测尝试[14] |
剩余的纸张突出显示如下。有关工作将在第二节加以审查。第三节介绍了系统模型、体系结构、系统模型的工作原理、方案的优点。第四节给出了实施和提出的模型。第五节讨论了实施细节和结果,并对本文进行了总结,并提出了一些未来的研究工作。 |
相关工作 |
大多数方法分析流量度量技术(例如,数据包和IP信息)和/或其他流量特征的统计变化,使用单个链路测量或整个网络范围的信息。网络攻击和异常检测问题在最后的十篇文章中进行了广泛的分析。自动检测和分析网络攻击的主要挑战是,这些攻击是一个不断移动和不断增长的目标。分类法允许将以前的知识用于新的攻击,并提供了一种结构化的方式来考虑此类攻击。提议的分类法旨在创建类别,使这种情况更容易发生,这样就可以突出显示攻击之间的相似性,并用于组合新的攻击。 |
一个非详尽的方法列表包括信号处理技术(如ARIMA、小波)在单链流量测量[15]、[16]中的作用,以及应用于ip流[17][18]的草图,用于网络范围异常检测的卡尔曼滤波器[18],基于时间序列分析的异常检测算法[15]-[10],主成分分析[20]-[21]和应用于ip流和基于签名的异常表征[22]的草图。子空间方法是另一种著名的无监督异常检测技术,在[20,21]中用于检测高度聚集的交通流中的全网流量异常。 |
为了避免一般聚类技术缺乏健壮性,我准备了一种并行多聚类方法,结合了基于密度的聚类[12]、子空间聚类[11]和证据积累[13]的概念。该算法的具体细节在[23]中有完整的文档。聚类在非常低维的亚种中进行,这比在高维空间[24]中进行聚类更快。 |
Fisher Score (FS)[25],基本上衡量的是聚类之间的分离,相对于每个细分内的总方差。文献中提出的大量无监督检测方案都是基于聚类和异常值检测的,这是[26,27]一些相关的例子。在[26]中,作者利用单链接层次聚类方法对KDD ' 99数据集的数据进行聚类,基于模式间相似性的标准欧几里得空间。[28]报告了在同一数据集中改进的结果,使用三种不同的聚类算法:固定宽度聚类,k-NN的优化版本和一类SVM[27]提出了基于密度网格的组合聚类算法来提高计算复杂度,获得相似的检测结果。 |
本文的主要工作是设计一个完全检测无监督检测的集群基系统,并对异常数据流构造一个签名。为了实现所提出的想法。 |
系统模型 |
我们的主要想法是检测已知的,以及不寻常的人和未知的攻击。这是由于在用于描述攻击的在线基础算法中确定攻击的签名的产生造成的,该算法将在以下阶段[29]中持续存在,该阶段由图1中所示的流表示。 |
这是在连续三个阶段之后。首先,使用临时滑动窗口方法捕获流量,并将其聚合到流中。这是使用不同的流量聚合故事来执行的。对于简单的流量指标,如字节数,每个时间段的流量,时间序列。此外,任何用于识别异常时隙的变化捕捉方法。在第二阶段,开始无监督检测算法,使用标记时隙中捕获的IP流集作为输入。该方法采用基于子空间聚类(SSC)、密度聚类和证据积累(EA)的鲁棒聚类技术,盲目提取构成攻击的可疑流。在第三阶段,利用聚类算法提供的流量结构证据生成过滤规则,对攻击进行特征检测。 |
系统实现 |
A.实施阶段 |
步骤1:-通过使用分析器(即创建日志文件)捕获以标记时间槽内所有IP流为输入的数据包。 |
步骤2:- IP流使用不同的聚合键在不同的流分辨率级别上进行额外聚合,并每1秒应用滑动时间窗口方案。 |
步骤3:-使用以下公式x(1) = [sipadd dipadd sport dport nsipadd/ndipadd y(1)/ndipadd]创建特征空间矩阵 |
类似地,我们必须为所有时间窗口数据集创建特征空间矩阵(即聚类)。,X=Σ(x1,x2…….xn) and then apply Clustering algorithm and declare smallest group of cluster as outlier. |
步骤4:-使用k-means聚类算法、证据积累和异常值排序检测异常。 |
步骤5:—创建签名。签名将被记录并更新到签名表中。签名表可用于异常流量的在线检测。 |
步骤6:-为了在未来检测攻击,这个签名最终可以集成到任何标准安全设备。有一些过滤规则被组合成一个新的流量签名,用简单的术语来描述攻击。 |
B. K-Means算法 |
采用K-means算法[24,29]作为底层聚类算法来产生聚类集合。首先,将数据分割成大量紧凑和小的集群;通过随机初始化K-means算法得到不同的分解。多重聚类中出现的数据组织被映射到一个联合矩阵,该矩阵提供了模式之间相似性的度量。通过聚类这个新的相似矩阵[30]得到最终的数据分区。 |
K - means算法的主要步骤如下: |
1.选择一个包含N个集群的初始分区;重复步骤2和3,直到集群成员关系稳定。 |
2.通过将每个模式分配到最近的群集中心来生成一个新分区。 |
3.计算每个中心的新集群。 |
C.证据积累和异常值排序 |
基于证据积累的聚类思想是通过将每个聚类结果视为数据治理的独立证据,将多个聚类的结果融合到单个数据分区中。在无监督学习的背景下,有多种收集证据的潜在方法: |
(1)结合不同聚类算法的结果。 |
(2)通过对数据的重新采样产生不同的结果。 |
(3)用不同的参数或初始化多次运行给定的算法。基于证据收集的聚类的总体方法如下。 |
|
实验结果 |
对于实验建议,我们可以使用已使用的分析仪,即NetworkActiv PIAFCTM[31]和MATLAB[32],无监督算法的强大功能来检测和构建真实流量中不同攻击的签名。最初我们使用包跟踪,阴影没有标记,因此将确定分析,以显示无监督方法如何在不使用签名、标签或学术的情况下发现异常并描述不同的网络攻击。在此基础上,重点是检测端口扫描攻击,它指的是TCP/UDP端口。对于过滤规则,过滤规则要求源和目的的数量,以及源和目的的组合所占的比例。令人惊讶的是,提取的签名与用于检测企图的标准签名非常接近。 |
我们可以使用NetworkActiv PIAFCTM在包模式下创建网络包传输日志文件。在一次操作开始时,它可以使用各种因素应用输出,如类型、大小、源和目标IP、源和目标端口以及时间和日期信息,如下图2所示。在生成数据后,应用滑动时间窗口方案,在一秒后,IP流在相似的时间聚合特征空间矩阵,使用步骤3中提到的如下公式。它产生集群的数量。它观察到,第一列是标签值,第二列是数据流,即y。(从第三列到第八列是特征空间)第三列是sip,第四列是dip,第五列是一项运动,第六列是驱逐,第七列是源IP地址与目的IP地址数量的比例,八列是数据流与目的IP地址数量的比例。如图3所示。 |
我们系统的GUI具有各个按钮的各种按钮标注功能,如下表1所示。 |
利用k-means聚类算法、证据积累和离群值排序等方法来发现异常。从该异常值中,我们收集有关该原因的源IP、目的IP和时间的信息,以追溯到特征空间矩阵、聚合和日志文件。一组异常流的检测工作是自动生成大量的过滤规则来表征网络攻击。这里它检测端口扫描攻击。端口扫描攻击是指扫描TCP/UDP端口,如图4所示。要从GUI生成签名,使用addsig函数。将在签名表中更新。最后,我检测到了异常流量,以及如图5所示的端口扫描攻击等网络攻击。 |
结论及未来范围 |
用于检测网络攻击的完全无监督算法,仅使用未标记的数据来识别和描述网络攻击,而不需要任何形式的签名、特定模型或规范的数据分布。这允许检测新的,以前未见过的网络攻击,甚至不使用统计学习。我们建立了如何利用该算法在不依赖任何形式的先验信息的情况下自动构造网络攻击的特征。攻击可以应用于设计自治网络安全安排,其中基于子空间聚类(SSC)和基于证据积累的算法应用于任何标准安全设备,对未知异常事件产生特定的签名。最后,实验结果验证了该算法对所分析的网络攻击和异常检测进行在线无监督检测和签名自动生成是可行且易于实现的。在这份报告中,我们提出了一个想法,这个想法还很年轻,需要做大量的工作来完善这个模型。虽然我们在提出的模型中有几个挑战需要更有效地解决,但我们相信,在未来的研究中,建立这样的基础设施并不遥远。 |
表格一览 |
|
|
表1 |
表2 |
|
|
数字一览 |
|
|
参考文献 |
- 卡尔,g;Kesidis g;布鲁克斯,水银血压计;Rai, S.,“拒绝服务攻击检测技术”,互联网计算,IEEE, vol.10, no. 1。1,第82,89页,1 - 2月2006 doi: 10.1109/MIC.2006.5
- Wonjun李;Squicciarini交流;Bertino, E,“在可靠的网格计算系统中对分布式拒绝服务攻击的检测和保护”,集群,云和网格计算(CCGrid), 2011年第11届IEEE/ACM国际研讨会,卷,no. 1。, pp.534,543, 2011年5月23-26日doi: 10.1109/CCGrid.2011.28
- Selamat, s.r.,“Web服务器扫描器:IIS CGI和HTTP上的扫描”,通讯,2003。2003年"。第九届亚太会议第3卷第1号,pp.919,923 Vol.3, 21-24 Sept. 2003 doi: 10.1109/APCC.2003.1274232
- 泽胜陈;立信高;Kwiaty, K,“活跃蠕虫传播的建模”,INFOCOM 2003。IEEE计算机与通信第22届年度联合会议。IEEE学会,vol.3, no.,
- pp.1890,1900 vol.3, 2003年3月30日- 4月3日doi: 10.1109/INFCOM.2003.1209211
- 郑吴;杨你;刘宇军,“基于响应的网络与计算机攻击分类”,信息技术与计算机工程与管理科学,2011年国际学术会议,第1卷,第1期。, pp.26,29, 24-25 2011年9月doi: 10.1109/ICM.2011.363
- 玉廷Tran;Tomiyama美国;Kittitornkun,美国;Tran Huy Vu,“基于签名的网络入侵检测系统的TCP重组”,第九届国际会议电气工程/电子,计算机,电信和信息技术(ect - con), 2012 pp. 1,4,2012年5月16-18 doi: 10.1109/ECTICon.2012.6254336
- 卫浴张;Qingbo杨;耿玉水,“网络异常检测方法综述”,计算机网络与多媒体技术国际学术研讨会,2009。CNMT 2009。,vol., no., pp.1,3, 18-20 Jan. 2009 doi: 10.1109/CNMT.2009.5374676
- 卡萨斯,p;好运气,j .;Owezarski, P.,“迈向自主网络安全的步骤:网络攻击的无监督检测”,第四届IFIP新技术、移动性和安全国际会议(NTMS), 2011,第1页,5,7 -10 2月2011doi: 10.1109/NTMS.2011.5721067
- P. Barford, J. Kline, D. Plonka, A. Ron,“网络流量异常的信号分析”,论文论文。
- Acm imw, 2002。页71-82ACM纽约,纽约,美国©2002 ISBN:1-58113-603-X。doi > 10.1145/637201.637210
- Cormode g;Muthukrishnan, S,“什么是新的:发现网络数据流的显著差异”,INFOCOM 2004。第23届IEEE计算机与通信学会联合会议,vol.3, no. 3。, pp.1534,1545 vol.3, 2004年3月7-11日doi: 10.1109/INFCOM.2004.1354567
- L. Parsons等人,“高维数据的子空间聚类:综述”,ACM SIGKDD Expl。通讯,vol. 6 (1), pp. 90-105, 2004。帕森斯等人,“高维数据的子空间聚类:综述”,在ACM SIGKDD Expl。通讯,vol. 6 (1), pp. 90-105, 2004。
- Martin Ester, Hans-peter Kriegel, Jörg S,徐晓伟,“一种基于密度的算法在有噪声的大型空间数据库中发现聚类”,第226—231页,出版商:AAAI出版社。
- 弗雷德,A.L.N.;Jain, a.k.,“结合多个聚类的使用证据积累”,模式分析和机器智能,IEEE汇刊,vol.27, no. 2。6, pp. 83,585, 2005年6月doi: 10.1109/TPAMI.2005.113网址:http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=1432715&isnumber=30761
- 卡萨斯,p;好运气,j .;Owezarski, P.,“知识无关的流量监控:网络攻击的无监督检测”,网络,IEEE, vol.26, no. 2。1, pp.13,21, 2012年1月- 2月doi: 10.1109/MNET.2012。
- P. Barford, J. Kline, D. Plonka, A. Ron,“网络流量异常的信号分析”,第2届ACM SIGCOMM Internet测量研讨会论文集第71-82页ACM纽约,纽约,美国©2002 ISBN:1-58113-603-X doi> 10.1115 /637201.637210
- J. Brutlag,“用于网络监控的时间序列中的异常行为检测”,第14届USENIX系统管理会议论文集第139 - 146页USENIX协会伯克利,加州,美国©2000。
- B. Krishnamurthy等人,“基于草图的变化检测:方法、评估和应用”,第3届ACM SIGCOMM互联网测量会议论文集第234 - 247ACM纽约,纽约,美国©2003 ISBN:1-58113-773-7 doi>10.1145/948205.948236。
- G. Dewaele等人,“使用草图和非高斯多分辨率统计检测程序提取隐藏异常”,2007年大规模攻击防御研讨会论文集第145-152页ACM纽约,纽约,美国©2007 ISBN: 978-1-59593-785-8 doi>10.1145/1352664.1352675
- Soule等人,“结合过滤和统计方法进行异常检测”,第5届ACM SIGCOMM会议论文集互联网测量页31-31USENIX协会伯克利,加州,美国©2005
- Lakhina, M. Crovella, C. Diot,“诊断全网络流量异常”,SIGCOMM '04计算机通信应用、技术、体系结构和协议2004年会议论文集,页219-230 ACM纽约,NY, USA©2004
- [21] A. Lakhina, M. Crovella, C. Diot,“使用流量特征分布挖掘异常”2005年计算机通信应用、技术、体系结构和协议会议记录页217-228 ACM纽约,纽约,美国©2005 ISBN:1-59593-009-4 doi>10.1145/1080091.1080118
- G. Fernandes, P. Owezarski,“网络流量异常的自动分类”,通信网络中的安全与隐私,计算机科学、社会信息学和电信工程研究所讲座笔记,2009年第19卷,pp 91-100印刷ISBN 978-3-642-05283-5, DOI- 10.1007/978-3-642-05284-2_6 ISBN:1- 58112 -862-8 DOI >10.1145/1015467.1015492
- P. Casas, J. Mazel, P. Owezarski,“子空间聚类与证据积累
- “无监督网络异常检测”,第三届国际学术会议论文集
- 关于流量监测和分析page 15-28 Springer-Verlag柏林,海德堡©2011 ISBN: 978-3-642-20304-6
- Jain,“数据聚类:超越K-Means的50年”,发表在期刊模式识别信件档案第31卷第8期,2010年6月,第651-666页。美国纽约州纽约doi>10.1016/j.patrec.2009.09.011
- T. Jaakkola和D. Haussler,“在
- 歧视分类器。, 1998年预付款问题会议记录
- 神经信息处理系统II page 487-493 MIT出版社剑桥,马萨诸塞州,美国©1999
- L. Portnoy, E. Eskin, S. Stolfo,“使用聚类的无标记数据的入侵检测”,在ACM CSS研讨会论文集中,数据挖掘应用于安全(DMSA-2001)页:5-8,ISBN:0-262-11245-0
- K. Leung, C. Leckie,“使用聚类的网络入侵检测中的无监督异常检测”,ACSC '05第28届澳大利亚计算机科学会议论文集-卷38页333-342澳大利亚计算机学会公司。Darlinghurst, Australia, Australia©2005 ISBN:1-920-68220-1
- Eleazar Eskin,Andrew Arnold,Michael Prerau,Leonid Portnoy,Sal Stolfo,“无监督异常检测的几何框架”,数据挖掘在计算机安全中的应用,信息安全第6卷,2002,pp 77-101, DOI> 10.1007/978-1-4615- 0953-0_4,印刷ISBN 978-1-4613-5321-8
- Pragati H. Chandankhede, Sonali U. Nimbhorkar,“网络攻击检测的自主网络安全”,国际科学研究杂志,第2卷,第1期,2012年1月,ISSN 2250-3153,第1-4页
- 乌桑尼特,k .雅鲁斯古猜,C.;Eiumnoh,“面向卫星图像的无参数K-Means聚类算法”,2012年信息科学与应用国际学术会议,2012年5月23-25日,京畿大学,韩国,ISBN: 978-1-4673-1402-2,数字对象标识符:10.1109/ICISA.2012.6220961
- www.networkactiv.com/PIAFCTM.html
- www.mathworks.in /产品/ matlab /
|