存储、保护和提供对pb基因组数据的访问

英国基因组学公司有着雄心勃勃的目标. 该组织由英国卫生部于2013年成立 & 社会关怀对100人的基因组进行测序,000人, 产生有助于改善治疗的新见解,同时也加速了英国基因组学产业的发展. In 2018, 该项目得到了显著扩展:新的目标是在五年内对多达500万个基因组进行测序.

不幸的是, 用于存储基因组数据的现有网络附加存储(NAS)vnsr威尼斯城官网不适合这项任务. 存储21pb数据的NAS已经达到了节点扩展的极限. “vnsc威尼斯城网页需要比现有NASvnsr威尼斯城官网更具可扩展性的东西——一个可以增长到数百pb的基础设施,大卫·阿德利说, 英国基因公司的技术交付主管. 新的vnsr威尼斯城官网也必须方便简单, 可灵活访问数据3个以上,在世界各地有5000名研究人员.

使用量子ActiveScale对象存储
英国基因组学公司请来了尼福斯技术公司, 一个独立的英国数据服务组织, 设计和实施一个新的存储vnsr威尼斯城官网. 在一起, 来自Nephos和基因组学英格兰的团队部署了一个包含WekaIO高性能文件系统的多方面vnsr威尼斯城官网, Mellanox高速网络, 和ActiveScale对象存储.

vnsr威尼斯城官网创建了一个两层架构,结合了闪存和ActiveScale对象存储系统, 哪个可以作为长期的数据湖存储库. 这两个存储层(每个存储层都可以独立扩展)呈现为单个混合存储环境. 因此,研究人员可以灵活地以高度随机的方式查询数据.

应对2019冠状病毒病大流行期间的新挑战
在部署新存储环境的几年内,基因组学英格兰需要再次扩展. 2020年初出现的COVID-19大流行带来了新的挑战, 全球医学科学界面临的紧迫挑战, 而英国基因组公司在帮助更好地了解谁易受病毒感染方面处于有利地位. 该组织承诺对多达20种动物的基因组进行测序,1万名重症监护患者加上多达15名,000名感染病毒的人只有轻微的症状.

大约在同一时间,英国基因组学公司正在加大对COVID-19研究的参与, ActiveScalevnsr威尼斯城官网平台被量子收购. 量子团队促进了基因组学英格兰公司的顺利过渡, 将对象存储环境从40 PB扩展到100 PB以上.

与RAID(独立磁盘冗余阵列)无缝扩展. “vnsc威尼斯城网页之所以喜欢ActiveScale系统,是因为它的固有架构是由RAID替换技术支撑的, 智能, 擦除编码数据的动态放置,阿德利说。. 这种动态布局消除了系统再平衡的需要, 哪一种会损害性能和可用性.

保护重要的基因组数据
ActiveScale对象存储保护数据,并提供基因组学英格兰关键工作所需的数据弹性. 该组织利用了ActiveScale的地理分布式功能. 与ActiveScale, 该组织将数据分布在三个数据中心, 针对重大灾难(如站点丢失)提供全面的数据保护.

在控制成本和复杂性的同时获得可扩展性
有了ActiveScale, 基因组学英格兰不再面临以前NASvnsr威尼斯城官网的容量限制. 该组织已经扩展了其对象存储,以支持更多的基因组分析,并在不进行重大存储改造的情况下承担了额外的COVID-19工作.

这种可扩展的存储环境还有助于降低成本. 根据尼福斯的说法, 与之前的环境相比,英国基因组学团队将每个基因组的存储成本降低了75%. 该组织预计到2023年将降低96%的成本.

同样重要的是, 英国基因组学团队在没有增加复杂性的情况下体验到了这些好处. 新的集成存储环境使来自世界各地的研究人员可以轻松存储和访问他们工作所需的基因组数据.