在去中心化数据存储过程中,存储的大数据被分为多个碎片化信息片段。管理员可以调整每个碎片化存储的大小,且每个储存信息都有一个唯一的ID。
File:是用户需要存储或访问的文件。
Object:是基础系统看到的对象。上面提到的对象和文件之间的区别在于,对于底层存储的组织管理,对象的最大大小由管理员限制。
PG:组织和映射对象的存储。具体来说,一个PG负责组织几个(或多个)对象,但一个对象只能映射到一个PG。
OSD:OSD节点的数量与系统中数据分布的均匀性有关。因此,OSD节点的数量不应太小。在实践中,它至少应该是几十个几百个数量级,以帮助系统设计发挥其应有的优势。
数据映射过程
基于上述定义,可以解释寻址过程。具体来说,寻址至少要经过三个映射:
写入数据时,文件被划分为多个Object。Object映射到PG,然后PG映射到OSD集合。每个信息片段都有多个PG。每个Object计算Hash值和模以获得其对应的PG。PG映射到一组OSD节点(OSD节点的数量由池副本的数量决定)。第一个OSD节点是主OSD节点,其他OSD节点是副本。
数据分发过程:首先计算数据X的Hash值,用PG数对结果进行编号,得到数据X对应的PG数,然后使用CRUSH算法将PG映射到一组OSD节点。最后,数据X存储在对应于PG的OSD中,具体步骤:
①创建Pool及其PG。根据上述计算过程,Pool创建后,将在根据CRUSH算法计算的OSD节点上创建PG。换句话说,PG是在客户端写入对象时创建的,PG和OSD之间的映射是确定的。
②客户端通过哈希算法计算PG存储对象的ID。
③客户端通过CRUSH算法计算对象将保存到PG中OSD的位置。
只要客户机获得集群映射,它就可以使用CRUSH算法计算对象将驻留的OSD的ID,并直接与其通信。
深圳天溪夕科技有限公司是专业的科技型云储存公司,是集分布式信息储存、碎片化储存、服务器托管、服务器运维、算力托管服务、数据储存等云服务、以及IPFS矿机出售、矿机托管等一站式服务公司,可为不同客户提供多种服务解决方案,可满足不同客户的需求,欢迎联系咨询。
在去中心化数据存储过程中,存储的大数据被分为多个碎片化信息片段。管理员可以调整每个碎片化存储的大小,且每个储存信息都有一个唯一的ID。
File:是用户需要存储或访问的文件。
Object:是基础系统看到的对象。上面提到的对象和文件之间的区别在于,对于底层存储的组织管理,对象的最大大小由管理员限制。
PG:组织和映射对象的存储。具体来说,一个PG负责组织几个(或多个)对象,但一个对象只能映射到一个PG。
OSD:OSD节点的数量与系统中数据分布的均匀性有关。因此,OSD节点的数量不应太小。在实践中,它至少应该是几十个几百个数量级,以帮助系统设计发挥其应有的优势。
数据映射过程
基于上述定义,可以解释寻址过程。具体来说,寻址至少要经过三个映射:
写入数据时,文件被划分为多个Object。Object映射到PG,然后PG映射到OSD集合。每个信息片段都有多个PG。每个Object计算Hash值和模以获得其对应的PG。PG映射到一组OSD节点(OSD节点的数量由池副本的数量决定)。第一个OSD节点是主OSD节点,其他OSD节点是副本。
数据分发过程:首先计算数据X的Hash值,用PG数对结果进行编号,得到数据X对应的PG数,然后使用CRUSH算法将PG映射到一组OSD节点。最后,数据X存储在对应于PG的OSD中,具体步骤:
①创建Pool及其PG。根据上述计算过程,Pool创建后,将在根据CRUSH算法计算的OSD节点上创建PG。换句话说,PG是在客户端写入对象时创建的,PG和OSD之间的映射是确定的。
②客户端通过哈希算法计算PG存储对象的ID。
③客户端通过CRUSH算法计算对象将保存到PG中OSD的位置。
只要客户机获得集群映射,它就可以使用CRUSH算法计算对象将驻留的OSD的ID,并直接与其通信。
深圳天溪夕科技有限公司是专业的科技型云储存公司,是集分布式信息储存、碎片化储存、服务器托管、服务器运维、算力托管服务、数据储存等云服务、以及IPFS矿机出售、矿机托管等一站式服务公司,可为不同客户提供多种服务解决方案,可满足不同客户的需求,欢迎联系咨询。