执行完以上三个步骤 ， MOSFS对原有HDFS的纳管操作就完成了场景三独立部署分离存储扩容HDFS中存算分离架构的实现 。 此过程没有改变原有存储空间的目录结构 ， 对业务应用系统无影响 。

文章图片
图 MOSFS纳管HDFS实现读写分流
在实践中 ， 现有HDFS也可通过ViewFS机制实现多HDFS集群的扩展 ， 但ViewFS机制在应对已有老数据的目录扩容时需要创建新的子目录 ， 如需使用老数据 ， 则需要业务侧做代码的调整适配或将老数据迁移 。MOSFS依靠符号链接方式实现多集群的数据读写分流 ， 解决了HDFS通过ViewFS机制不能将多个存储空间挂载到相同挂载点的情况 ， 满足了已有存储目录的扩容需求 。
步骤四：迁移数据
在场景二新建大数据平台完全替换原有平台中 ， 为了实现存算分离的落地 ， 需要将原有HDFS集群中的数据完整地迁移到分离部署的MOSFS中 。 我们依旧使用迁移工具执行copy命令触发数据的自动迁移 ， 具体执行过程中还可以通过业务负载以及对应硬件资源来调整迁移任务的并发数 ， 在不影响前端业务的情况下高效地完成数据的迁移 。 单个原有HDFS文件的符号链接在对应文件数据完成迁移后会执行删除链接操作 ， 在符号链接删除前业务通过符号链接访问HDFS数据 ， 删除后直接访问MOSFS存储中的文件数据 。 迁移完成的文件生效切换仅涉及一个元数据的更新操作 ， 所以实际的数据迁移过程不影响业务层 。

文章图片

在数据迁移过程中 ， MOSFS迁移工具支持通过反向迁移随时回滚 ， 撤销迁移操作 。 如已有新增数据写入到MOSFS中 ， 也能把这些新增数据拷贝回原始的存储系统 。
步骤五：删除老数据
执行完前4个步骤 ， 所有的业务数据读写都已在新的分离部署存储中 ， 就可以删除老数据或拆除原有的集群 ， 实现新的存算分离架构对原有存算一体架构的升级改造 。
总结

文章图片
图 MOSFS多源汇聚兼容多种存储
【高效纳管迁移HDFS数据，如何做到业务无感？】通过前面的介绍 ， 可以看到 ， 依靠MOSFS强大的符号链接特性与迁移工具 ， 执行简单的操作步骤即可完成对HDFS的纳管与数据迁移 ， 让MOSFS具备多种场景下存算分离架构平滑落地的能力 。 在涉及老数据迁移的场景中 ， 纳管迁移对业务的影响也仅仅在于一次配置修改与计算组件重启 ， 对客户的业务系统影响较小 。 同时 ， MOSFS的底座基于杉岩数据高性能存储引擎 ， 还具备更多场景的数据纳管与连通能力 。