二、哈希算法和Merkle Tree

章节系列目录:点击跳转

哈希算法

哈希函数的定义

  哈希函数:给一个任意大小的数据生成出一个固定长度的数据,作为它的映射。
  你可以把哈希函数想象成“搅拌机”,一堆数据丢进去出来一段长度固定的16进制的数值就叫哈希值

可靠哈希函数需满足的要求

一个可靠的哈希算法要满足如下三点

1.安全,给定数据 M 容易算出哈希值 X ,而给定 X 不能算出 M ,或者说哈希算法应该是一个单向算法。
2.独一无二,两个不同的数据,要拥有不相同的哈希。
3.长度固定,给定一种哈希算法,不管输入是多大的数据,输出长度都是固定的。

  如果哈希的长度是固定的,也就是取值范围是有限的,而输入数据的取值范围是无限的,所以总会找到两个不同的输入拥有相同的哈希。所以哈希函数的安全性是相对的。如果出现了两个不同输入有相同输出的情况,就叫碰撞(collision) 。不同的哈希算法,哈希位数越多,基本意味着安全级别越高,或者说它的”抗碰撞性“越好。

消息A = 消息B 则 Hash(A) = Hash(B)
逆否命题也成立:Hash(A) ≠ Hash(B) 则消息A ≠ 消息B
而消息A ≠ 消息B 并不能推出 Hash(A) ≠ Hash(B)
逆否命题:Hash(A) = Hash(B) 并不能推出 消息A = 消息B

比如在网上都搜得到的汉字的哈希值有的就是一样的。
“柳柴"与"柴柕” hashCode=851553
“志捘"与"崇몈” hashCode=786017

注意:后续章节我们使用哈希算法验证两者一致性时,就当它是几乎没有碰撞或者几率很小的情况,请大家不要钻这个牛角尖。

哈希函数的主要作用

为了保证哈希的独一无二性,如果数据在存储或者传输过程中有任何改动或者损坏,哪怕只有1bit,它的哈希值就一定会变。

哈希函数的最常见的一个应用就是进行完整性校验( Integrity Check ),也就是检验数据无损坏。

平时所看到的 Digest 摘要,有时候叫 Checksum 校验值,有时候叫 Fingerprint 指纹,其实都是哈希的另一种说法。

哈希实际例子

网站注册登录
  当我们提交用户名密码的时候,用户名被会直接保存到网站的数据库中,但是密码却不是直接保存的,而是先把密码转换成哈希,保存到数据库中的其实是哈希。即使是公司后台管理人员也拿不到用户的密码。这样万一公司数据库泄露了,用户的密码依然是安全的。而当用户自己登录网站的时候,输入密码提交到服务器,服务器上进行相同的哈希运算,只要算出来的哈希值是一样的,就认为你输入的密码是正确的。

Merkle Tree默克尔树

  Merkle Tree也叫哈希树,Merkle Tree 就是用来做完整性校验的,所谓的完整性校验,就是检查一下数据有没有损坏或者被恶意篡改。Merkle Tree 的最大的应用场合就是在点对点网络上,Git 版本控制系统,IPFS 协议以及比特币以太坊等等项目

完整性校验的方法

  要实现完整性校验,最简单的方法就是对要校验的整个的数据文件做个哈希运算,把得到的哈希值公布在网上,这样我们把数据下载到手之后,再次运算一下哈希值,如果运算结果相等,就表示我们下载过程中文件没有任何的损坏。如下图

  这种简单的采用哈希的方式做数据运算,比较适合数据本身不做分割且是放在一台服务器上的情况。如果去某个公司网站上去下载他们的一个软件,就会看到公司网站上公布了这个下载包的哈希值,有了这个哈希值,我们就可以放心的去下载这个软件,下载完做一下完整性校验,就知道这个软件没有损坏。甚至可以放心从其他的不可信网站上去下载这个软件包,因为有了校验机制,也一样可以保证这个包是跟官方的包一模一样的。

哈希列表 Hash List

  在点对点网络上,数据往往都是拆分成很多小碎片去下载的,而且其中很多平台可以认为是不稳定或者是不可信的,很有可能因为网络问题导致下载中断,难不成要从头开始重新下载?这时需要有更加巧妙的做法。最简单的方式就是哈希列表(Hash List

  实际点对点网络在传输数据的时候,其实都是把比较大的一个文件切成一个个小的数据块。如果有一个小块数据在传输过程中损坏了, 那我只要重新下载这一个数据块就行了, 不用重新下载整个文件。当然这就要求对每个数据块计算哈希值,所有这些小数据块的哈希值都是兄弟关系,这样大家就组成了一个哈希列表。BT 下载的时候,在下载真正的数据之前,会先下载一个哈希列表的,这个就是所谓的种子文件。有了各个小块数据的 hash 之后,文件就可以从任意的机器上下载了,不用管那些机器是否是安全可信的。

这时有一个问题就出现了,那么多的哈希,我们怎么保证它们本身都是正确地呢?

  我们需要一个根哈希,把每个小块的哈希值拼到一起,然后对整个这个长长的字符串再做一次哈希运算,最终的结果就是哈希列表的根哈希。于是,如果我们能够保证从一个绝对可信的网站,或者从我们的朋友手里拿到一个正确的根哈希,就可以用它来校验哈希列表中的每一个哈希都是正确的,进而可以保证下载的每一个数据块的正确性了。

  Hash List 也就是哈希列表形式,就非常适合在点对点网络上存储的大型数据了。

Merkle Tree 哈希树

  Merkle Tree 本身也算是一个哈希列表,只不过是在这个基础上又引入了树形结构,从而获得了更高的灵活性。
  我们把数据分成小的数据块,然后对每个小的数据块进行哈希。但是往上走并不是直接去运算根哈希,而是把相邻的两个哈希合并成一个字符串,再对这个字符串的哈希,得到一个子哈希,如果最底层的哈希总数是单数,那到最后必然出现一个单身哈希,这种情况就直接对它进行哈希运算,所以也能得到它的子哈希。于是往上推,依然是一样的方式,可以得到数目更少的新一级哈希,到了树根的这个位置,这一代就剩下一个根哈希了,我们把它叫做 Merkle Root 。根哈希有时候也叫主哈希 Master Hash ,也有人叫它顶哈希 Top Hash

  相对于 Hash List,Merkle Tree 的明显的一个好处是可以单独拿出一个分支来(作为一个小树)对部分数据进行校验,这给很多使用场合就带来了哈希列表所不能比拟的灵活和高性能。


Merkle Tree 是涉及到了数据结构中的3个概念:哈希、哈希列表、树。

总结

  单个哈希不能担当大文件在分布式点对点网络上的校验工作,于是我们有了哈希列表的概念。 Merkle Tree 可以认为是哈希列表的一个变体,让哈希列表变得更加灵活高效,因为每次校验都可以单纯拿出树的一个分支来操作。




文章资料参考自nervos网站


关注、留言,我们一起学习。

----------------------Talk is cheap, show me the code-----------------------
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页