天溪夕科技
去中心化数据存储过程分析
2022-02-07 10:52:59【天溪夕科技】478人已围观
简介:  在去中心化数据存储过程中,存储的大数据被分为多个碎片化信息片段。管理员可以调整每个碎片化存储的大小,且每个储存信息都有一个唯一的ID。

  在去中心化数据存储过程中,存储的大数据被分为多个碎片化信息片段。管理员可以调整每个碎片化存储的大小,且每个储存信息都有一个唯一的ID。

去中心化数据存储过程分析

  File:是用户需要存储或访问的文件。

  Object:是基础系统看到的对象。上面提到的对象和文件之间的区别在于,对于底层存储的组织管理,对象的最大大小由管理员限制。

  PG:组织和映射对象的存储。具体来说,一个PG负责组织几个(或多个)对象,但一个对象只能映射到一个PG。

  OSD:OSD节点的数量与系统中数据分布的均匀性有关。因此,OSD节点的数量不应太小。在实践中,它至少应该是几十个几百个数量级,以帮助系统设计发挥其应有的优势。

  数据映射过程

  基于上述定义,可以解释寻址过程。具体来说,寻址至少要经过三个映射:

  写入数据时,文件被划分为多个Object。Object映射到PG,然后PG映射到OSD集合。每个信息片段都有多个PG。每个Object计算Hash值和模以获得其对应的PG。PG映射到一组OSD节点(OSD节点的数量由池副本的数量决定)。第一个OSD节点是主OSD节点,其他OSD节点是副本。

  数据分发过程:首先计算数据X的Hash值,用PG数对结果进行编号,得到数据X对应的PG数,然后使用CRUSH算法将PG映射到一组OSD节点。最后,数据X存储在对应于PG的OSD中,具体步骤:

  ①创建Pool及其PG。根据上述计算过程,Pool创建后,将在根据CRUSH算法计算的OSD节点上创建PG。换句话说,PG是在客户端写入对象时创建的,PG和OSD之间的映射是确定的。

  ②客户端通过哈希算法计算PG存储对象的ID。

  ③客户端通过CRUSH算法计算对象将保存到PG中OSD的位置。

  只要客户机获得集群映射,它就可以使用CRUSH算法计算对象将驻留的OSD的ID,并直接与其通信。

  深圳天溪夕科技有限公司是专业的科技型云储存公司,是集分布式信息储存、碎片化储存、服务器托管、服务器运维、算力托管服务、数据储存等云服务、以及IPFS矿机出售、矿机托管等一站式服务公司,可为不同客户提供多种服务解决方案,可满足不同客户的需求,欢迎联系咨询。


添加客服微信 添加客服微信
0755-23149040
7*24小时客服电话
实时Gas: loading...(32G), loading...(1T), loading...(1P)   
实时质押: loading...(32G), loading...(1T), loading...(1P);    实时总成本: loading...(32G), loading...(1T), loading...(1P);    所有区块: loading...; 所有奖励: loading...; 最新高度: loading...; 最新区块奖励: loading...;
一站式服务公司 注重工作细节、提高服务品质
7*24小时服务热线 0755-23149040
天溪夕科技
当前位置: 首页 > 行业资讯 > 去中心化数据存储过程分析
去中心化数据存储过程分析
2022-02-07 10:52:59【天溪夕科技】478人已围观
简介:  在去中心化数据存储过程中,存储的大数据被分为多个碎片化信息片段。管理员可以调整每个碎片化存储的大小,且每个储存信息都有一个唯一的ID。

  在去中心化数据存储过程中,存储的大数据被分为多个碎片化信息片段。管理员可以调整每个碎片化存储的大小,且每个储存信息都有一个唯一的ID。

去中心化数据存储过程分析

  File:是用户需要存储或访问的文件。

  Object:是基础系统看到的对象。上面提到的对象和文件之间的区别在于,对于底层存储的组织管理,对象的最大大小由管理员限制。

  PG:组织和映射对象的存储。具体来说,一个PG负责组织几个(或多个)对象,但一个对象只能映射到一个PG。

  OSD:OSD节点的数量与系统中数据分布的均匀性有关。因此,OSD节点的数量不应太小。在实践中,它至少应该是几十个几百个数量级,以帮助系统设计发挥其应有的优势。

  数据映射过程

  基于上述定义,可以解释寻址过程。具体来说,寻址至少要经过三个映射:

  写入数据时,文件被划分为多个Object。Object映射到PG,然后PG映射到OSD集合。每个信息片段都有多个PG。每个Object计算Hash值和模以获得其对应的PG。PG映射到一组OSD节点(OSD节点的数量由池副本的数量决定)。第一个OSD节点是主OSD节点,其他OSD节点是副本。

  数据分发过程:首先计算数据X的Hash值,用PG数对结果进行编号,得到数据X对应的PG数,然后使用CRUSH算法将PG映射到一组OSD节点。最后,数据X存储在对应于PG的OSD中,具体步骤:

  ①创建Pool及其PG。根据上述计算过程,Pool创建后,将在根据CRUSH算法计算的OSD节点上创建PG。换句话说,PG是在客户端写入对象时创建的,PG和OSD之间的映射是确定的。

  ②客户端通过哈希算法计算PG存储对象的ID。

  ③客户端通过CRUSH算法计算对象将保存到PG中OSD的位置。

  只要客户机获得集群映射,它就可以使用CRUSH算法计算对象将驻留的OSD的ID,并直接与其通信。

  深圳天溪夕科技有限公司是专业的科技型云储存公司,是集分布式信息储存、碎片化储存、服务器托管、服务器运维、算力托管服务、数据储存等云服务、以及IPFS矿机出售、矿机托管等一站式服务公司,可为不同客户提供多种服务解决方案,可满足不同客户的需求,欢迎联系咨询。


扫码关注

扫码联系