我目前是一所中型大学的学生工。我在理学院工作(包括数学、统计、计算机科学、物理、化学和生物学)并担任“技术员”;这基本上是基本故障排除和修复教师计算机、设置计算机实验室、编写自定义程序以及管理 Web 和数据库服务器的全部内容。
我们目前为集群设置了 3 组相当新的计算机,但是它们没有被使用并被废弃。我想做某种集群项目,但我最大的障碍是在集群上/使用集群做什么。如果我知道哪些应用程序或项目可以使用集群,我可以从那里开始。我已经阅读了有关用于视频渲染、生成彩虹表/密码破解和高可用性 Web 服务器的集群。但我一直在寻找更学术的东西。可以作为实际学术可用性呈现给教授和院长的东西。不是永远不会使用的东西。
我真的不想进行视频渲染,因为不需要渲染视频。密码破解对大学没有多大用处。高可用性网络集群没有用,因为我们只托管一些静态教师页面和我们的网站(网络和大学的网站是另一个部门)。我可以提供给数学、物理或化学系的工具将是理想的。但是,我对想法或示例持开放态度。
设置/管理 Linux 或任何操作系统或程序都不是问题。这是如何处理集群。
tl/dr:在学术环境中如何处理集群。
您可以在这些机器上安装 debian 以及各种debian-science软件包。其中包括针对科学中几个常见计算问题的大量免费软件程序,以及诸如 openmpi 之类的通用库和工具包。
也可以看看http://blends.alioth.debian.org/science/tasks/。它包含 DebianScience 项目的子项目或任务的列表以及可用软件包的列表,以及它们的用途/用途以及软件包状态的描述。上面的主要 DS wiki 页面有一个损坏的链接到这个页面,所以这里是一个固定的链接。
我目前在 .au 的一所大学的化学学院担任系统管理员,最近一直在为安装了 DebianScience/Chemistry 软件包以及商业/专有软件(例如 Gaussian03、QCHEM 和 WebMO)的学者构建几台机器(其中是 Gaussian、QCHEM、MOPAC 和其他计算化学程序的 web/java 前端)。
我更熟悉 Debian Science 软件包中的化学程序,但我知道还有大量用于其他领域的软件,例如物理、天文学、生物学、数学等。还有更多用于数据采集、排版(TeX 等)、Fortran、C、python 等计算库的“通用”包。
如果不出意外,上面的 debian-science wiki 页面将为您提供科学学者可能对计算集群感兴趣的软件种类的一个很好的概述。你说你有三组用于集群的机器,所以一旦你对可用的软件类型有了概述,你就可以和一些教授交谈,并开始制定重新构建/重新利用机器的计划。
当我担任大学实验室的系统管理员时,我面临着大量未充分利用的处理能力(大约 50 台 iMac),所以我想做你建议的事情。为了获得最初的吸引力,我找到了一个博士生,他有一些可并行的问题——这是物理学,所以他有一个Lattice QCD模拟——并着手将他的代码移植到 Mac 上,以便它可以在 Xgrid 下运行。当他以 1/3 的时间在共享的 Sun 集群上得到结果时,实际上是“空闲”的 CPU 时间,部门的其他人都注意到了。
如果有需要,可以使用hadoop集群来处理大量数据。
您可以在校园周围设置一些网络摄像头,并使用面部识别软件(匿名)跟踪人员并查看出现的任何模式。
该集群将用于从网络摄像头图像执行面部识别。
这篇文章刚刚遇到了我的一个 rss 提要,我想到了这个问题。它列出了 25 个开源 HPC 应用程序。它包括来自多个学科的许多与科学相关的应用程序。
http://www.hpccommunity.org/f55/clusters-produce-25-open-hpc-applications-591/