企业是否需要高性能计算?

随着成本下降和用例增加,高性能计算正在吸引各种类型和规模的新用户。其扩展选项包括基于超级计算机的高性能计算系统、基于集群的高性能计算和基于云的高性能计算服务。

企业是否需要高性能计算?

在当今数据驱动的世界中,高性能计算已经成为组织的首选平台。许多组织希望对基因组学、计算化学、金融风险建模、地震成像和其他领域有更深入的了解。高性能计算(HPC)最初是由需要进行复杂数学计算的研究科学家采用的,现在已经引起了各个领域的组织和企业的关注。

高性能计算(HPC)数据存储系统Panasas系统工程总监戴尔·布兰特利(Dale Brantly)表示,“我们依赖于一个依靠数据收集、分析和分发繁荣发展的环境,并依靠可靠的高性能计算(HPC)来支持具有强大计算能力的简化工作流。”

尽管中小型企业仍然使用相对较少的高性能计算技术,但是高性能计算对于愿意投资于这种技术和专业知识的组织来说具有巨大的潜力。

一般来说,高性能计算用例侧重于某种类型的模拟。谷歌云首席技术官办公室高性能计算(HPC)和量子计算技术主管凯文·基塞尔(Kevin Kissell)表示:“高性能计算可以模拟机翼上的气流、发动机燃烧、行星天气系统、核反应和投资组合估值。”其他用例是为了分析的目的,比如计算广告投资回报或者评估业务部门的绩效。其他用例仍然可以归类为翻译或转换。他说:“这就像渲染一段视频。”

无需超级计算机的高性能计算

许多企业和信息技术领导者将高性能计算系统误认为超级计算机。事实上,虽然阿托斯、IBM、HPE、克雷和富士通生产的超级计算机是许多专用高性能计算(HPC)系统的核心,但更广泛使用的方法是将多台小型计算机集成到互连的集群中,以提供高性能计算(HPC)功能。在这种安排下,群集中的每台计算机都充当一个节点。每个节点通常配备有多个处理器(称为计算核心),用于处理计算任务。每个节点内的处理器、图形处理单元和内存资源相互连接,以创建高性能计算系统。

由于购买和运行超级计算机及其定制软件的成本高达数百万美元,这一成本远远超出了大多数企业的财务能力。使用运行现成软件的相对便宜的互连计算机,基于群集的高性能计算通常更易于部署和运行。然而,对于大多数企业来说,即使是中等规模的基于集群的高性能计算也是一项巨大的投资,特别是对于那些对高性能计算需求有限的企业。

这种情况正在改变。希望在不损害信息技术预算的情况下获得高性能计算的企业现在可以选择使用公共云服务,如谷歌云、微软天青、AWS和IBM云。

Maksym Pavlov,主管。数字服务和软件工程公司Ciklum的. NET技术表示,“这些服务使企业能够访问高性能计算能力,以满足其业务需求,而无需在高性能计算集群的硬件基础设施上进行大量投资。”国际商用机器公司云计算副总裁大卫·图雷克补充道:“云计算的出现在一定程度上平衡了大、小公司之间的竞争环境。”

从高性能计算(HPC)集群迁移到云计算高性能计算(HPC)

北卡罗来纳大学教堂山分校(北卡罗来纳大学教堂山分校)长期以来一直依靠其的高性能计算集群来支持许多科学、工程和医学领域的研究活动。然而,随着研究和计算需求的不断增长,用户需求开始超过当前系统的计算资源和容量。该大学没有增加其在高性能计算(HPC)方面的现有投资,而是决定采用云计算技术来提供按需高性能计算(HPC)环境。

实践证明,这种方法既经济又高度灵活。教堂山北卡罗莱纳大学首席信息官迈克尔·巴克(Michael Barker)表示,“借助云计算,我们可以提供完成所需工作所需的计算工作。这是一种非常有效的方法来满足运行c

该校高级研究助理杰夫·罗奇(Jeff Roach)表示,高性能计算(HPC)向云的迁移既是必要的,也是受欢迎的。他说,“我们有一个非常传统的本地集群。然而,随着时间的推移,系统逐渐跟不上越来越多需要领先计算能力和更快性能的用户的步伐。我们发现,对于设计集群的人来说,本地集群确实非常有效,但他们的一些案例越来越少。”

随着需要快速计算的用例成为常态,教堂山的北卡罗来纳大学开始与模拟和分析软件提供商谷歌云和泰奇拉技术(Techila Technology)合作,规划其云计算高性能计算之旅。

规划后的第一步是概念评估的证明。罗奇说:“我们在校园里雇佣了一名研究员。他使用一个配备有大量内存的设备来进行交互式计算。我们试图帮助完成他的工作量。”他指出这是一个巨大的成功。他说,“研究人员很快完成了这项工作,并且非常喜欢使用它,因为在一所大学的本地高性能计算集群上运行相同的任务可能需要一周的时间才能完成,而他使用云计算高性能计算只需几个小时就可以完成。”

约克大学在研究中也采用了基于云计算的高性能计算。皇家学会工业研究员、约克大学生物学教授詹姆斯·钟(James Chong)指出,高性能计算(HPC)可以应用于生物学、物理学、化学和计算机科学以及语言学等学科的研究。

Chong的研究部门目前正在使用谷歌云来分析基因序列数据。他解释道:“我的团队对微生物群落很感兴趣,这些群落包括将废物(这里是污水和污泥)转化为沼气的混合微生物。我们使用高性能计算将短的脱氧核糖核酸序列组合成一个基因组,然后分离不同微生物的基因组,这样我们就可以了解这些微生物如何对其生长条件的变化做出反应。”

像教堂山的北卡罗来纳大学的研究人员一样,钟欣赏高性能计算云计算服务所能提供的能力和灵活性。他说:“我们的高性能计算需要满足一系列要求。一些用户想要使用大量处理器,而另一些用户需要高内存。作为生物学家,我们使用的一些应用程序将很快绑定到输入/输出,因此通过超高速磁盘访问也很有用。”

约克大学使用的云计算高性能计算也有能力适应不断变化的需求。钟指出,“我们许多人已经开始使用机器学习技术,希望能够使用不同的架构。约克大学的广泛用户意味着我们仍然需要访问一系列不同的软件包。”像大多数云计算高性能计算一样,约克大学使用的服务允许所有类型的研究人员在软件工具之间轻松快速地切换,而不会在获取、部署或配置问题上浪费时间。

配备超级计算机的高性能计算(HPC)

尽管云计算高性能计算(HPC)服务有一些优势,但对于关注安全性和隐私的企业来说,它并不总是一个好的或合乎逻辑的选择。图雷克指出:“数据存储的位置非常敏感。尤其是受到欧洲GDPR法规的限制。”《一般数据保护条例》(GDPR)是欧盟发布的隐私条例。

为了解决问题和对强大计算能力的需求,迈阿密大学最近选择投资基于本地超级计算机的高性能计算(HPC)系统。最重要的是,该大学认为,拥有大量多维数据集的研究项目可以在专门设计的高性能超级计算机上运行得更快。

去年8月,迈阿密大学基于电力系统AC922服务器推出了一台新的IBM Triton超级计算机。计算科学中心主任、迈阿密大学数据和研究计算副院长尼古拉斯·钦诺尔斯(Nicholas Tsinoremas)指出,超过2000名学生和教师已经将该系统用于气候预测、基因组学、生物信息学、计算机视觉和人工智能等项目。

虽然它的部署是成功的,但它在早期遇到了一些障碍。几乎所有使用高性能计算的用户都会遇到这种情况,无论其规模、领域或计算要求如何。钦诺里马斯说,“米格拉

所有这些问题都突出了一个事实,即无论高性能计算系统是基于内部部署还是云计算,采用它们都需要大量的规划和准备。Tsinoremas警告说,“企业有专业知识和计划是必要的。理解工作量的性质和要求也很重要。换句话说,采纳者需要理解他们试图解决的问题,以及他们希望高性能计算如何帮助解决这些问题。”

开始高性能计算工作负载的另一个关键是选择合适的资源管理工具,使组织能够访问和优化高性能计算环境。“无论是购买传统的高性能计算(HPC)硬件环境,利用云中的高性能计算(HPC),还是两者兼而有之,选择一个最适合组织工作类型和吞吐量需求的高性能计算(HPC)工作负载管理器都非常重要,”阿尔泰公司高级产品管理总监热雷米·布尔东克尔(Jérémie Bourdoncle)说。阿尔泰是一个模拟软件和其他高性能计算相关的供应商工具和服务。其工作负载管理器具有自动化作业调度和管理、监控和报告功能。

Kissell建议采取强调知识、简单、选择和谨慎的策略。他说,“这可能是一个漫长的旅程,所以你需要计划你的旅程,但你需要给自己一个机会去调整。组织需要选择一个简单但有代表性的测试用例,并且能够清楚地识别从高性能计算(HPC)模拟或分析中获得的知识和见解。然后选择一个针对您的问题类别设计的软件包的简短列表,并尝试更多。”

极牛网精选文章《企业是否需要高性能计算?》文中所述为作者独立观点,不代表极牛网立场。如若转载请注明出处:https://geeknb.com/4469.html

(0)
打赏 微信公众号 微信公众号 微信小程序 微信小程序
主编的头像主编认证作者
上一篇 2019年10月12日 上午10:53
下一篇 2019年10月12日 下午1:33

相关推荐

发表回复

登录后才能评论
扫码关注
扫码关注
分享本页
返回顶部