通用核聚变

通用核聚变正在开发核聚变能源:一种清洁的, 安全, 丰富且具有成本竞争力的力量形式. 该公司的目标是设计世界上第一个基于商业可行性技术的全尺寸示范核聚变发电厂.

乔纳森·弗雷泽

“必赢网站网址决定使用厚皮类动物的真正转折点是它用于管理数据的版本控制功能.”

乔纳森·弗雷泽 通用核聚变工程师

所面临的挑战

来自他们的等离子体实验项目, 在等离子体喷射器中,大型设备将氢气加热到数百万度, 通用融合已经从数千个传感器中收集了大量复杂的数据. 虽然获取这些信息的条件可能听起来很极端, 与管理这些数据相关的挑战, 扩展数据处理能力, 分享科学成果与其他现代科技公司的做法类似.

通用聚变公司已经超出了其现有的数据基础设施. “必赢网站网址需要改进必赢网站网址的数据系统,以配合必赢网站网址不断增加的分析和协作工作, 必赢网站网址想要得到良好的支持, 现成的技术可以移动, 随着必赢网站网址的数据和公司的增长,进行规模和调整,布兰登·卡西迪说, 通用聚变公司的开放式创新经理. 他们开始寻找能够满足他们数据存储需求的基础设施提供商, 处理和共享需求,同时遵守两个重要标准:

  1. 扩大(而不是“撕裂和取代”)通用核聚变公司现有的实验和分析工作流程
  2. 通过无缝对接促进与外部科学伙伴的合作, 大型实验数据集的AD hoc共享

“根据必赢网站网址的需求,必赢网站网址找到了一组有限的选择,并很快将范围缩小到Hadoop和厚皮类动物,乔纳森·弗雷泽说, 领导这个项目的通用核聚变工程师. 这两种解决方案都能够存储任意非结构化数据,并可以扩展以满足计算需求. 然而,实现是非常不同的.

符合通用融合的工作流程

而程序员使用版本控制系统(如Git)来管理和协作共享的代码库, 对于同时处理代码和数据的数据科学家来说,还有一个额外的复杂性. 厚皮类动物使数据科学团队能够开发可再生的和分布式的数据工作流,而不会干扰彼此的分析.

“必赢网站网址决定使用厚皮类动物的真正转折点是它用于管理数据的版本控制功能,”乔纳森说. “必赢网站网址的研究人员不再需要在本地复制数据,也不必担心在分析数据时,校准更新会改变基础数据."

厚皮类动物中的数据版本与Git中的代码管理方式类似. 它被组织成存储库,用户可以在其中创建提交(不可变快照), 观点差别, 并像任何标准文件系统一样添加或操作文件.

厚皮类动物还为整个集群中的每一块数据提供完整的数据沿袭(也就是起源). 跟踪每一个数据转换, 允许任何结果都是100%可重复和可验证的——这对于任何依赖于精确分析的组织来说都是一个重要的考虑因素.

结论

与厚皮类动物, 通用聚变团队可以专注于等离子体物理,而不是设计和维护大数据系统. 与语言无关的基础设施和版本控制的数据的结合允许他们高效地开发和迭代他们的数据分析.

厚皮类动物致力于通过其开源平台和专业服务,为大数据社区带来新的数据基础设施范式. “最让必赢网站网址惊讶的是厚皮类动物团队为必赢网站网址的部署带来的价值,”丹说. “厚皮类动物开发人员一直致力于帮助必赢网站网址过渡到必赢网站网址的新系统,并增加功能,以满足必赢网站网址的需求.“厚皮类动物将先进技术完美结合,以解决现代数据科学挑战,并为高效部署提供灵活的支持服务.

请求一个演示