关键字 |
网络攻击、签名生成聚类算法、网络安全。 |
介绍 |
现在天发现网络攻击互联网的世界,它是具有挑战性的任务找到无数的攻击如拒绝服务攻击(DoS)[1],分布式DoS (DDoS)[2],网络/主机扫描[3],[4]和传播蠕虫或病毒每天和很多不同的攻击威胁网络的完整性和正常运行。自动检测和分析网络攻击的主要挑战是,这些是一个移动的和不断增长的目标[5]。主要思想来检测和分析网络受到攻击的影响,是日渐增长,这是一个移动的目标。在这种条件下开发的安全系统是很重要的,它可以帮助找出攻击或生成替代解决方案,防止攻击。 |
有不同的方法考虑提供安全其中两种不同的方法主要是考虑,找出一个解决方案:基于特征码的检测方法[6]和异常检测[7]。 |
基于签名的检测系统开发使用签名匹配技术来保护网络和高效的检测这些攻击它们设定的提醒,但是我不能保护网络免受未知攻击以及它不是一个成本有效的技巧,因为建造新的签名(6、8)。同时,异常检测用于检测异常的活动偏离这一基线。这样的方法可以发现之前没有考虑新形式的网络攻击。同样,这些技术不是一个成本有效的技巧,因为它检测已知攻击,只有每个攻击签名需要每一点以及小说攻击不能检测到[7,8]。 |
在这种情况下,有必要开发成本有效的技术,它可以帮助构建解决方案无监督检测。解决上面提到的挑战是聚类算法;它完全可以用来检测已知或未知的攻击以及自动生成解释签名”来形容他们,都在网上。完整的检测和表征算法运行在三个连续的阶段。 |
1)第一个措施在于检测异常时间段的方法可能隐藏的地方。这样做,等基本的交通指标的时间序列的比特数,数据包,每个时间段使用IP信息流动流解决方案。任何通用的基于时间序列分析的异常检测(9、10)然后利用时间序列识别异常板岩。 |
2)在第二阶段,使用作为输入的一组标记的IP流捕获时间槽。基于子空间聚类的方法使用健壮的集群技术(SSC) [11], Density-based集群[12],和证据积累(EA)[13]盲目退出可疑流组成的方法。 |
在第三阶段,3)提供的证据的交通结构聚类算法应用于生产的过滤规则描述检测尝试[14] |
白皮书强调了如下的残渣。在第二部分综述了相关工作。系统的系统模型、体系结构、工作模式,第三部分中描述我们的计划的优点。实现和模型在第四节。在实现细节和结果部分诉总结了纸和提出了一些未来研究工作VI。参考用来写这个工作的一部分。 |
相关工作 |
大多数方法分析的统计变化流量volume-metrics技术(例如,数据包和IP信息)和/或其他交通特性使用单一链接测量或完全网络范围的信息。网络攻击和异常检测的问题广泛分析在最后10。自动检测和分析网络攻击的主要挑战是,这些是一个移动的和不断增长的目标[5]。分类允许先前的知识给新的攻击以及提供一个结构化的方法来考虑这样的攻击。提出分类旨在创建启用这个容易发生的类别,这样相似的攻击可以突出显示和使用结合新的攻击。 |
一个简单的列表方法包括信号处理技术的角色(例如,ARIMA、小波)singlelink流量测量[15],[16],应用于ip流量和草图[17][18],卡尔曼滤波器[18]进行异常检测,基于时间序列分析的异常检测算法[15]- [10],PCA[20] -[21]和草图应用于ip流量和基于签名的异常特征[22]。和子空间方法是另一个著名的无监督异常检测技术,用于检测(20、21)进行网络流量异常高度聚合的交通流量。 |
保持一般缺乏鲁棒性的聚类技术,我已经准备了一份parallel-multi-clustering方法,结合Density-based集群的概念[12],子空间聚类[11],和证据积累[13]。算法的具体细节是完全文档化[23]。聚类在执行very-low-dimensional亚种,速度比集群在高维空间中[24]。 |
费舍尔得分(FS)[25],基本措施集群之间的分离,相对于总方差在每个细分。的巨大体积无监督检测计划提出了在文献中基于聚类和异常值检测,(26、27)一些相关的例子。在[26]中,作者利用单连锁层次聚类方法从KDD ' 99数据集,集群数据基于inter-patterns相似性的标准欧几里得空间。在[28]报告改进结果在相同的数据集,使用三个不同的聚类算法:宽度固定的聚类、基于事例的优化版本,和一个类SVM[27]提出了一种结合density-grid-based聚类算法改善计算复杂度,获得类似的检测结果。 |
从文学作品所提到的关于网络攻击一些客观的解决问题,我们的工作的主要设计一个集群基地完全无监督检测系统检测和构造异常的数据流的签名。为了实现该想法。 |
系统模型 |
我们的主要想法是检测两个已知的,以及不同寻常的人,未知的攻击。这是由于生产在线签名,确定攻击的基础算法,用于描述攻击将坚持阶段[29]后,目前正在由流如下描述如图1所示。 |
这后三个连续的阶段。首先,使用时间滑动窗口方法,交通和聚合在流动。这是使用不同的执行交通聚合的故事。对于简单的交通的字节数等指标,流在每一个时间段,时间序列。此外,任何change-catching方法用于识别一个异常时间段。在第二阶段,无监督检测算法开始时,使用作为输入的一组IP流标记时间段中捕获。该方法使用基于子空间聚类(SSC)的健壮的集群技术,Density-based集群、和证据积累(EA),盲目地提取可疑流组成的攻击。在第三阶段,交通结构的证据提供的聚类算法用于生产过滤规则,描述检测攻击。 |
系统实现 |
答:实施阶段 |
步骤1:捕获数据包标记中的所有IP流个输入时间段使用分析仪即创建日志文件。 |
步骤2:- IP流在不同flow-resolution此外聚合级别使用不同的聚合键和滑动时间窗口计划申请每1秒。 |
步骤3:使用下面的公式——创建特征空间矩阵x (1) = (sipadd dipadd运动dport nsipadd / ndipadd y (1) / ndipadd] |
同样,我们必须创建特征空间矩阵(即集群)为所有数据set.i.e时间窗口。,X=Σ(x1,x2…….xn) and then apply Clustering algorithm and declare smallest group of cluster as outlier. |
步骤4:使用k - means聚类算法检测异常,证据积累和离群值排名。 |
步骤5:创建一个签名。签名将被记录和更新签名表。签名表可以用于在线检测异常流。 |
第六步:检测攻击在未来这个签名可以最终被集成到任何标准的安全装置。有过滤规则组合成一个新的交通签名特征的攻击简而言之。 |
b k - means算法 |
k - means算法(24日29日)作为底层聚类算法产生集群集合体。首先,数据分成大量的紧凑和小集群;随机初始化不同分解得到的k - means算法。组织出现在多个集群的数据映射到一个co-association矩阵,它提供了一种测量模式之间的相似度。最后一个数据分区是通过集群这一新的相似性矩阵[30]。 |
K -意味着算法的主要步骤如下, |
1。选择一个与N集群初始分区;重复步骤2和3,直到集群成员稳定。 |
2。带来一个新的分区,将每个模式分配给最亲密的集群中心。 |
3所示。计算每个中心的新的集群。 |
c .证据积累和离群值排名 |
证据accumulation-based集群的概念融合多个聚类到单个数据分区的结果,通过查看每个聚类结果作为一个独立的数据治理的证据。有各种潜在的方式收集证据的上下文中无监督学习: |
(1)结合不同的聚类算法的结果。 |
(2)通过重采样数据产生不同的结果。 |
(3)运行一个给定的算法用不同的参数或者多次初始化。下面整个证据基于集合的聚类方法。 |
|
实验结果 |
实验提出我们可以使用分析仪使用例如NetworkActiv PIAFCTM[31],和MATLAB[32]的权力无监督算法检测和构建一个签名不同的攻击在现实交通。最初我们处理数据包的痕迹,阴影并不明显,因此分析将确定显示无监督的方法可以找到异常和描述不同的网络攻击不使用签名,标签,或奖学金。,点检测端口扫描攻击,它指TCP / UDP端口。关于过滤规则,这些需要的来源和目的地和数量的比例包结合生成一个签名。令人惊讶的是提取的签名匹配相当密切的标准签名用于检测企图。 |
我们可以创建网络数据包传输日志文件使用NetworkActiv PIAFCTM包模式。手术一次启动它可以应用一个输出使用各种因素,如类型、大小,源和目标IP源地址和目的端口和时间和日期信息下面图2所示。后生成数据,应用滑动时间窗口方案后第二个和IP流聚合特征空间矩阵相似的时候用以下公式提到在步骤3中。它产生集群的数量。它观察到,第一列发生标签值,第二列包含的数据流即。,Y. And (from column three to eight is feature space) third column is sip, fourth column dip, the fifth column is a sport, sixth column is deported, seventh column is ratio of sources IP address to number of destination IP address and eight columns is the proportion of flow of data to a number of destination IP address. Show in figure 3. |
GUI系统的各种按钮标签每个按钮的功能如表1所示。 |
看到异常通过使用k - means聚类算法,积累和离群值ranking.g证据。从局外人,我们收集的信息造成的源IP,导致目的地IP和时间回溯到特征空间矩阵,聚合和日志文件。一群异常流动的侦探工作是自动产生大量的过滤规则的网络攻击。这里检测端口扫描攻击。端口扫描攻击是指扫描TCP / UDP端口,如图4所示。生产所使用的签名addsig函数从GUI。它将更新签名表。最后,我发现异常流量,网络攻击等端口扫描攻击,如图5所示。 |
结论和未来的范围 |
完全无监督算法对网络攻击的检测,使用完全无标号数据识别和描述网络攻击不需要任何形式的签名,特定的模式,或规范化数据分布。这允许检测新,以前看不见的网络攻击,即使没有使用统计学习。我们建立如何使用网络攻击的算法自动构造特征不依赖任何形式的以前的信息。攻击可以应用于设计自主网络安全安排,在子空间聚类(SSC)和基于证据积累的算法应用于纬度任何标准的安全设备,生产特定的签名未知的异常事件。最后,结果证实使用在线算法的无监督检测和自动生成的签名是可能的,容易实现的网络攻击和异常检测分析。在这份报告中,我们提出一个想法,这是仍然年轻,需要做大量的工作完全修复模型。虽然我们有几个挑战进行组装更有效地解决在我们提出的模型中,我们相信不远的将来的研究是建立这样的基础设施。 |
表乍一看 |
|
|
表1 |
表2 |
|
|
数据乍一看 |
|
|
引用 |
- 卡尔,g;Kesidis g;布鲁克斯,水银血压计;Rai, S。,"Denial-of-service attack-detection techniques," Internet Computing, IEEE , vol.10, no.1, pp.82,89, Jan.-Feb. 2006 doi: 10.1109/MIC.2006.5
- Wonjun李;Squicciarini交流;Bertino E。,"Detection and Protection against Distributed Denial of Service Attacks in Accountable Grid Computing Systems," Cluster, Cloud and Grid Computing (CCGrid), 2011 11th IEEE/ACM International Symposium on , vol., no., pp.534,543, 23-26 May 2011 doi: 10.1109/CCGrid.2011.28
- Selamat,狭义相对论。,"Web server scanner: scanning on IIS CGI and HTTP," Communications, 2003. APCC 2003. The 9th Asia-Pacific Conference vol.3, no., pp.919,923 Vol.3, 21-24 Sept. 2003 doi: 10.1109/APCC.2003.1274232
- 泽胜陈;立信高;Kwiaty, K。,"Modeling the spread of active worms," INFOCOM 2003. Twenty-Second Annual Joint Conference of the IEEE Computer and Communications. IEEE Societies , vol.3, no.,
- pp.1890 1900 3, 2003年3月3日4月30日doi: 10.1109 / INFCOM.2003.1209211
- 郑吴;杨你;Yujun刘”分类基于响应的网络和计算机的攻击,“信息技术,计算机工程和管理科学(ICM), 2011国际会议上,卷2,没有。pp.26, 29日,24 - 25日9月2011 doi: 10.1109 / ICM.2011.363
- Ngoc Thinh声称Tran;Tomiyama美国;Kittitornkun,美国;Tran Huy Vu,“TCP重新组装基于签名的网络入侵检测系统,”9日国际会议电气工程/电子、计算机、通信和信息技术(ECTI-CON), 2012 pp.1, 4, 2012年5月16日- 18日doi: 10.1109 / ECTICon.2012.6254336
- 卫浴张;Qingbo杨;新余市渝水耿,”在网络异常检测方法的调查,”国际研讨会上计算机网络和多媒体技术,2009年。CNMT 2009。,vol., no., pp.1,3, 18-20 Jan. 2009 doi: 10.1109/CNMT.2009.5374676
- 卡萨斯,p;好运气,j .;Owezarski, P。,"Steps Towards Autonomous Network Security: Unsupervised Detection of Network Attacks," 4th IFIP International Conference on New Technologies, Mobility and Security (NTMS), 2011 , pp.1,5, 7-10 Feb. 2011doi: 10.1109/NTMS.2011.5721067
- p . Barford j·克莱恩,d .根据A罗恩,“网络流量异常的信号分析”,在Proc。
- ACM世界地图,2002年。71 - 82页acm纽约,纽约,美国©2002国际标准图书编号:1 - 58113 - 603 - x。doi > 10.1145/637201.637210
- Cormode g;Muthukrishnan, S。,"What's new: finding significant differences in network data streams," INFOCOM 2004. Twenty-third Annual Joint Conference of the IEEE Computer and Communications Societies , vol.3, no., pp.1534,1545 vol.3, 7-11 March 2004 doi: 10.1109/INFCOM.2004.1354567
- l·帕森斯et al .,“为高维数据子空间聚类:审查”,在ACM SIGKDD Expl。时事通讯》第六卷(1),页90 - 105,2004. l。帕森斯et al .,“为高维数据子空间聚类:回顾”,在ACM SIGKDD Expl。时事通讯》第六卷(1),90 - 105年,2004页。
- 马丁酯汉斯-彼得•Kriegel Jorg年代,小薇徐,“发现集群density-based算法在大型空间数据库与噪音”,页226 - 231,出版商:AAAI出版社。
- 弗雷德,A.L.N.;Jain, A.K.,"Combining multiple clustering’s using evidence accumulation," Pattern Analysis and Machine Intelligence, IEEE Transactions on , vol.27, no.6, pp.835,850, Jun 2005doi: 10.1109/TPAMI.2005.113 URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=1432715&isnumber=30761
- 卡萨斯,p;好运气,j .;Owezarski, P。,"Knowledge-independent traffic monitoring: Unsupervised detection of network attacks," Network, IEEE , vol.26, no.1, pp.13,21, January-February 2012 doi: 10.1109/MNET.2012.
- p . Barford j·克莱恩,d .根据A罗恩,“网络流量异常的信号分析”,第二届ACM SIGCOMM研讨会互联网测量71 - 82页ACM纽约,纽约,美国©2002国际标准图书编号:1 - 58113 - 603 - x doi > 10.1145/637201.637210
- j . Brutlag“异常行为检测时间序列网络监控”,第14届USENIX大会系统管理学报》139 - 146页USENIX协会伯克利分校美国CA©2000。
- b•et al .,“Sketch-based变化检测方法:方法、评价和应用程序”,《第三届ACM SIGCOMM互联网会议上测量234 - 247页ACM纽约,纽约,美国©2003 ISBN: 1-58113-773-7 doi > 10.1145/948205.948236。
- g . Dewaele et al .,“提取隐藏的异常使用草图和非高斯多分辨率统计检测程序”,《2007年研讨会大规模攻击防御145 - 152页ACM纽约,纽约,美国©2007 ISBN: 978-1-59593-785-8 doi > 10.1145/1352664.1352675
- 苏尔et al .,“异常检测过滤和统计方法相结合”,第五届ACM SIGCOMM会议程序网络测量页面31-31USENIX协会伯克利分校美国CA©2005
- Lakhina, m . Crovella c . Diot“诊断全网流量异常”,进行SIGCOMM 04学报2004年会议上应用,技术、体系结构、计算机通信和协议页面219 - 230 ACM纽约,纽约,美国©2004
- [21]a . Lakhina m . Crovella c . Diot“矿业异常使用交通特性分布”的2005年会议上应用,技术、体系结构、计算机通信和协议页面217 - 228 ACM纽约,纽约,美国©2005 ISBN: 1-59593-009-4 doi > 10.1145/1080091.1080118
- g·费尔南德斯·Owezarski“网络流量异常的自动分类”,在通信网络安全和隐私研究所计算机科学的课堂讲稿,社会信息和电信工程卷19日,2009年,页91 - 100印ISBN 978-3-642-05283-5, DOI: 10.1007 / 978 - 3 - 642 - 05284 - 2 _6 ISBN: 1-58113-862-8 DOI > 10.1145/1015467.1015492
- p•卡萨斯j .好运气,p . Owezarski,“子空间聚类和证据积累
- 无人监督的网络异常检测”,第三届国际研讨会论文集
- 在交通监控和分析页面15-28斯普林格出版社柏林,海德堡©2011 ISBN: 978-3-642-20304-6
- 耆那教徒,”数据聚类:50年超越k - means”,发表在《模式识别字母存档卷31期8,6月,2010页651 - 666爱思唯尔科学公司。纽约,纽约,美国doi > 10.1016 / j.patrec.2009.09.011
- t . Jaakkola和d . Haussler”,利用生成模型
- 歧视分类器。”,1998年的会议上进步
- 在神经信息处理系统二页,487 - 493年剑桥麻省理工学院出版社,美国马©1999
- l . Portnoy e . Eskin斯多夫,“使用聚类入侵检测与无标号数据”,在学报ACM CSS车间数据挖掘应用于安全页面(dmsa - 2001): 5 - 8, ISBN: 0-262-11245-0
- k .梁,c . Leckie”,使用聚类的无监督异常检测网络入侵检测”,正式启动“05年美国28日澳大拉西亚的计算机科学会议上- 38页卷333 - 342澳大利亚计算机协会,Inc . Darlinghurst,澳大利亚,澳大利亚©2005国际标准图书编号:1-920-68220-1
- Eskin以利亚撒,安德鲁·阿诺德·迈克尔·普雷,列昂尼德•Portnoy萨尔斯多夫,“几何框架的无监督异常检测的应用数据挖掘在信息安全计算机SecurityAdvances卷6,2002年,页77 - 101,DOI > 10.1007 / 978-1-4615 - 0953 - 0 - _4,打印ISBN 978-1-4613-5321-8
- Pragati h . Chandankhede Sonali Nimbhorkar,“自主Networ安全检测网络攻击”,国际期刊的科学和研究聚氨酯blications,卷2,问题1,2012年1月,ISSN 2250 - 3153年,页1 - 4
- oonsanit, K。Jaruskulchai c;Eiumnoh”。Parameter-Free k - means聚类算法对卫星图像应用程序”,信息科学和应用程序(ICISA), 2012年国际会议信息科学和应用,年会于2012年5月23 - 25日京畿大学,韩国水原韩国,页1 - 6,ISBN: 978-1-4673-1402-2,数字对象标识符:10.1109 / ICISA.2012.6220961
- www.networkactiv.com/PIAFCTM.html
- www.mathworks.in /产品/ matlab /
|