关键字 |
| 云计算、高性能计算、教育云联邦云计算 |
介绍 |
| 处理和存储技术的快速发展和互联网的成功,计算资源变得更便宜,比以往任何时候都更强大和更普及。这种技术趋势使得一个叫做云计算的新计算模型的实现,在哪些资源(如CPU和存储)作为通用实用工具,可以提供租赁和发布的用户通过互联网以按需方式。现在一天政府、学术机构、研究中心,不同的政府和非政府机构现在采用云计算解决方案相关问题和需求不断增加,例如许多学术机构都倾向于使用谷歌的电子邮件应用程序作为解决方案的企业电子邮件系统,现在一天的每一个人另一个例子是将文件存储在云存储像Google Drive, Dropbox, SurDoc等。因此,在一个方面或另一个我们现在使用云服务。目前,云提供服务以外的公共云服务像SaaS, PaaS和IaaS用于高性能计算基础设施。云计算提供了一个独特的机会为批处理和分析工作,分析tb的数据,可以花费几个小时的时间来完成。 |
| 云技术,如谷歌MapReduce, Google文件系统(GFS), Hadoop和Hadoop分布式文件系统(HDFS),微软森林女神,CGL-MapReduce并行运行时数据采用一种更中心的方法[2][3]。在这些框架,数据在数据/计算节点的集群或大规模的数据中心。本文的主要目标是创建一个框架为埃塞俄比亚大学HPC云基础设施。本文的动机工作放在以太网[4]项目,该项目旨在构建和交付高度互联、高性能网络大学和其他教育和研究机构在埃塞俄比亚。更具体地说,以太网的目的是建立和提供高性能网络相互连接这些机构和类似的机构,并且通过这样做使他们能够共享教育资源,在埃塞俄比亚和全球合作 |
| 本文的组织结构如下,第一部分将讨论云计算,其服务和部署类型,第二部分将讨论在HPC和相关技术,第三部分将讨论在云联盟,第四部分提出了相关工作,最后我们将提出云使HPC基础设施框架埃塞俄比亚大学最后的结论和未来的工作。 |
相关工作 |
| 计算智能研究集团(CIRG)在比勒陀利亚大学,南非[5],他们做研究CI算法,但学生面临挑战,他们试图解决的问题也是不容忽视的。这意味着CI算法的搜索空间可以变得非常大,导致非常需要大量的计算工作负载。达到统计学意义的结果,每个学生工作负载需要包含成千上万的实验使用不同的参数,输入,问题类型等,每个学生的工作负载可能会以天或数周,为一些额外的情况下需要甚至几个月来计算在一个工作站上运行24小时7天。学生CIRG试图解决他们面临的挑战,同时在多个工作站上运行他们的实验。这提供了一些改进吞吐量、可伸缩性和故障转移,但有许多问题的调度和管理。 |
| 最后他们自动化他们的问题与云计算,云计算描述一个平台和一个类型的应用程序。一个云计算平台动态规定,配置,reconfi gur和取消供应服务器。云中的服务器可以是物理服务器或虚拟机。云是一个虚拟化的计算机资源池,可以: |
| •举办各种不同的工作负载,包括batch-style -后端工作和互动,面向用户的应用程序 |
| •允许部署和工作负载具有伸缩性快速通过的快速配置虚拟或物理机器 |
| •支持冗余,self-recovering,高度可伸缩的编程模型允许工作负载从许多不可避免的硬件/软件故障中恢复 |
| 一个¯实时监控资源使用,使平衡分配 |
| 对于这些研究云计算可以简化管理,很容易计算资源的调度和预订。另一种技术使用自动化他们的研究是创建网格应用程序与Apache Hadoop[6],它是一个开源框架,运行在大型集群的硬件并行计算应用程序。Apache Hadoop是基于MapReduce算法。MapReduce[7]是一种编程模型,该模型允许将一个大任务分解(或映射)分解成多个小任务,可以作为单独的处理工作。reduce函数结合了所有的输出较小的工作以指定的方式提供原始大任务的输出。Apache Hadoop框架负责作业管理等方面的工作运行跟踪节点,工作成功完成,哪些工作需要重启失败,和其他任务。 |
| Hadoop工作在分布式集群上运行,数据管理是至关重要的。Apache Hadoop使用Hadoop分布式文件系统(HDFS)来创建多个副本的数据项在不同的集群中的节点。使用这个应用程序,数据可靠性是通过增加冗余。数据还保持着密切计算资源,使用它,从而提高性能。 |
| MapReduce算法和HDFS的结合使并行网格应用程序开发和部署快速、轻松地,以最少的开发时间花费在网格管理方面。使用IBM cloud和Hadoop, CIRG比勒陀利亚大学的学生意识到许多好处: |
| •研究计算时间从周减少到天 |
| •解决方案提供了一个平台,让学生迅速部署网格应用程序 |
| •一个新的机制,研究小组使用开放的意念 |
| •能够轻松地管理和快速部署新基础设施的能力。 |
| [6]更经济的解决方案获得必要的计算资源是云计算。一个常见的模式是有大量数据需要转换,每个数据项的处理基本上是独立于其他数据项;也就是说,使用一个单指令多数据(SIMD)算法。Hadoop核心为云计算提供了一个开源框架,以及一个分布式文件系统。 |
| 在[8]HPC云是云的延续和一个关键的区别主要哲学。随着虚拟化并不适合所有工作负载,HPC云必须同时支持虚拟化和直接访问计算资源。这允许将工作负载可以虚拟化扩展需求而不干扰其他物理主机。虚拟化使HPC之前没有灵活性。随着计算机节点的处理核心密度增加一个操作系统开始更少的意义。与虚拟化单个节点可以同时运行多个操作系统,允许多个用户使用相同的资源。这允许HPC基础设施利用率更高的用户在其组织和它的持续投资。虚拟化的另一个关键好处解耦用户的工作从物理资源运行它。主要有两个含义的高性能计算(HPC)的机器利用率水平大学[9]。首先,高校需要HPC机器——这主要是为了解决/计算要求的问题。 Second, it is very hard to accommodate the hardware resources for HPC. An example of universities using HPC is a VCL. |
提出了框架 |
| 拟议的框架由一个私有云基础设施和HPC的基础设施,我们使用OpenStack[10]开源云操作系统部署云基础设施和我们使用Hadoop作为HPC集群[6]。这种技术本身;然而,当它们连接在一起,大学经历的好处是巨大的。尽管环境复杂,一个企业将看到巨大的协同效应,加入OpenStack私有云与Apache Hadoop环境。 |
迅速、新星、APACHE HADOOP MAPREDUCE |
| 下一小节将介绍如何组织可以将这个提议框架集成到私有云及高性能计算技术。HPC的常见的部署模型部署私有云环境开放堆栈的迅速加入到Apache Hadoop MapReduce集群存储技术进行处理。使用此体系结构的优点是,每个大学都有一个可伸缩的存储/计算节点。 |
| 我们可以使用先进水平的灵活性、可伸缩性、和自治在高性能计算环境中,大学可以利用母语能力的Apache和OpenStack提供的开源产品。完全可伸缩的和灵活的高性能计算环境,它必须运行在一个私有云环境提供了存储和计算节点。要做到这一点,宇宙必须首先构建私有云,然后添加高性能计算。所以,在这一点上,迅速、新星和RabbitMQ当然是需要以及控制器节点管理和维护环境。 |
| 为了integerate这个技术是基于OpenStack私有云基础设施和Hadoop光泽我们使用一种特殊的API叫Savana控制器,该控制器允许一样给HPC云用户的服务。图4中,展示了草原Hadoop API集成基础设施和OpenStack的基础设施。 |
| •Horizon-Provides GUI能够使用草原的所有特性。 |
| •Keystone-Authenticates用户和提供了一个安全令牌,用于与OpenStack的其余部分,因此限制了用户的能力在他或她的稀树大草原OpenStack的特权。 |
| •Nova-used提供vm Hadoop集群。 |
| •Glance-Stores Hadoop VM映像都包含一个安装操作系统和Hadoop。 |
| •斯威夫特博士作为数据的存储,将由Hadoop处理工作。 |
结论和未来的工作 |
| 高性能计算和云计算的未来是光明的,随着不同的intercloud API,高性能计算技术。这个机会将回答许多问题在学术界和研究中心关于调控资源配置访问和高性能集群计算基础设施。在本文中,我们已经讨论了当前最先进的高性能计算潜在的机会和学术界的私有云。采用云计算技术和模式计算的新时代占据集群计算节点的本地和/或远程云和无疑在学术界和研究中心成为流行和有吸引力。终端用户,学生中也广为传播,研究人员,可以帮助他们举办数据到云上。关心的科学计算,这一趋势仍处于初级阶段。我们还讨论联合云基础设施,使高校私有云分享和协作通过高性能MoE纤维网络骨干。 |
| 这个拟议的框架后联合私有云部署模型,使HPC,有问题相关成本、性能和其他参数,我们不专注。云计算拥有很多承诺强调HPC应用程序。PaaS和IaaS最有可能更适合举办惠普C应用程序在云中。作者建议作为未来工作措施性能问题,成本、网络延迟等参数与不同的部署模型,和高性能计算。一件事提出这个模型部署为一个大学的真正优势集群计算(HPC)和云计算。 |
|
数据乍一看 |
|
|
|
引用 |
- 桑杰·Ahuja信德摩尼“国家高性能计算的云”,《新兴趋势计算与信息科学、ISSN 2079 - 8407,页:262 - 266,3卷,没有。2012年2月2日,
- 七张陆Cheng RaoufBoutaba“云计算:最先进的研究挑战”Springer,页:2010年4月7日至18日,
- 尤里•Demchenko Canh非政府组织,马克•x Makkes鲁道夫·Strijkers齐斯德Laat“互操作性andIntegration定义内部云架构”第三届国际会议上云计算、网格、和虚拟化,云计算2012
- Seyyed Mohsen Hashemi KhatibiBardsiri之际,云计算与网格计算:ARPN系统和软件学报,ISSN 2222 - 9833,页:188 - 194,卷2,5号,2012年5月
- InduGandotra、PawaneshAbrol Pooja古普塔RohitUppal Sandeep辛格,“云计算集群,网格计算:aComparative分析”,《电网和分布式计算,卷1,问题1,pp-01-04, 2011年
- Spodarets Yegorov,德拉甘。“云计算和网格技术基础教育和研究计算系统”,第三国际会议“高性能计算”,HPC-UA 2013(乌克兰,基辅,10月7 - 11,2013),页:370 - 373
- Idafen Santana-P´erez, Mar´±s P´erez-Hern´andez,“语义调度器联合混合云架构”,2012年IEEE FifthInternational云计算大会上,978 - 0 - 7695 - 4755 - 8/12,IEEE 2012,页:384 - 391
- Punit古普塔DeepikaAgrawal“可信云平台云基础设施”,国际期刊的电脑科技,ISSN22773061, 10卷,8号,S p e t 0 5 2 0 1 3,页:1884 - 1891
- BaluSrinivasulu、KaliyaperumalKarthikeyan MungamuruNirmala, MeruguChandramouli“云ComputingUtilities的比较分析”,《新兴趋势在计算机和信息科学、3卷,10月10号,2012年,ISSN 2079 - 8407,页:1352 - 1357
- V。Sreenivas Dr.C。Narasimham“绩效评估的加密技术和上传加密数据的云”,IEEE2013、计算、通信和网络技术(ICCCNT), 2013年,页1 - 6,2013。
- V.Sreenivas,。Tejaswi“医学科学有效地利用云计算”,美国《计算数学¸:卷2,页:240 - 243 2012年9月。
- Wang L.Z.,G. von Laszewski, D. Chen, et al. Provide Virtual Machine Information for Grid Computing [J]. Ieee Transactions on Systems Manand Cybernetics Part a-Systems and Humans, 277 2010.
- m . Pokharel中州。Yoon和j·s·公园,“云Compu-ting在系统体系结构中,“计算机网络andMultimedia技术国际研讨会,武汉,2009年1月18日至20日,1 - 5页。
- 诉Sreenivas和c Narasimham“云模型来实现SaaS,先进材料研究、卷。341 - 342。2011年,页499 - 503。
- 哈里德·汗和QutaibahMalluhi,“云计算”建立信任,IEEE 2010。
- Manish Pokharel YoungHyun Yoon,郑大世苏公园,“云计算系统架构”,IEEE 2009。
- ·Delic& J.A.莱利,“企业知识云,“下一代公里系统。Int,相依之通知。,Process, Knowledge Management,Cancun, Mexico, pp. 49–53, 2009.
- 高田T。,et al. Awase-E: Image-Based Authentication for Mobile Phones Using User’s Favorite Images. Human-Computer Interaction withMobile Devices and Services, Springer Berlin/ Heidelberg. 2003. 2795; 347-351.
|
菜单
