二、哈希算法和Merkle Tree

章节系列目录:点击跳转

哈希算法

哈希函数的定义

  哈希函数:给一个任意大小的数据生成出一个固定长度的数据,作为它的映射。
  你可以把哈希函数想象成“搅拌机”,一堆数据丢进去出来一段长度固定的16进制的数值就叫哈希值

可靠哈希函数需满足的要求

一个可靠的哈希算法要满足如下三点

1.安全,给定数据 M 容易算出哈希值 X ,而给定 X 不能算出 M ,或者说哈希算法应该是一个单向算法。
2.独一无二,两个不同的数据,要拥有不相同的哈希。
3.长度固定,给定一种哈希算法,不管输入是多大的数据,输出长度都是固定的。

  如果哈希的长度是固定的,也就是取值范围是有限的,而输入数据的取值范围是无限的,所以总会找到两个不同的输入拥有相同的哈希。所以哈希函数的安全性是相对的。如果出现了两个不同输入有相同输出的情况,就叫碰撞(collision) 。不同的哈希算法,哈希位数越多,基本意味着安全级别越高,或者说它的”抗碰撞性“越好。

消息A = 消息B 则 Hash(A) = Hash(B)
逆否命题也成立:Hash(A) ≠ Hash(B) 则消息A ≠ 消息B
而消息A ≠ 消息B 并不能推出 Hash(A) ≠ Hash(B)
逆否命题:Hash(A) = Hash(B) 并不能推出 消息A = 消息B

比如在网上都搜得到的汉字的哈希值有的就是一样的。
“柳柴"与"柴柕” hashCode=851553
“志捘"与"崇몈” hashCode=786017

注意:后续章节我们使用哈希算法验证两者一致性时,就当它是几乎没有碰撞或者几率很小的情况,请大家不要钻这个牛角尖。

哈希函数的主要作用

为了保证哈希的独一无二性,如果数据在存储或者传输过程中有任何改动或者损坏,哪怕只有1bit,它的哈希值就一定会变。

哈希函数的最常见的一个应用就是进行完整性校验( Integrity Check ),也就是检验数据无损坏。

平时所看到的 Digest 摘要,有时候叫 Checksum 校验值,有时候叫 Fingerprint 指纹,其实都是哈希的另一种说法。

哈希实际例子

网站注册登录
  当我们提交用户名密码的时候,用户名被会直接保存到网站的数据库中,但是密码却不是直接保存的,而是先把密码转换成哈希,保存到数据库中的其实是哈希。即使是公司后台管理人员也拿不到用户的密码。这样万一公司数据库泄露了,用户的密码依然是安全的。而当用户自己登录网站的时候,输入密码提交到服务器,服务器上进行相同的哈希运算,只要算出来的哈希值是一样的,就认为你输入的密码是正确的。

  一般来说密码转换成哈希存储有几种处理方式,第一种是在需要哈希的字符串后面加盐,也就是一个无规则字符串。

	......
	// 盐值不能太简单,加盐也称为加签
	public static final String SALT = "8qkhfjlrk!@Y%^i]ws"; 
	......
    /**
     * 加盐取摘要,base64编码即可
     * @param strValue 你需要MD5处理的字符串
     * @return 处理后的字符串
     * @throws NoSuchAlgorithmException
     */
    public static String getMD5Str(String strValue) throws NoSuchAlgorithmException {
        MessageDigest md5 = MessageDigest.getInstance("MD5");
        return Base64.encodeBase64String(md5.digest((strValue + Constant.SALT).getBytes()));
    }

第二种是需要MD5处理的字符串,将每个字符加上盐值,而这个盐值,对于每个用户来说都不一样,比如帐号zhangsansalt123,而lisisalt456,盐值最好三位数以上,这样彩虹表也难以破解(密码破解的利器——彩虹表(rainbow table)),即便碰巧破解出盐值,也会让人吐血的发现每个用户盐值salt都不一样。我个人喜欢第二种方式。


		........
		// 加盐后MD5摘要,进行比对
        // 对前台输入的密码加盐混淆后生成MD5,与保存在数据库中的MD5密码进行比对
        String md5 = MD5Utils.md5Digest(password, user.getSalt());
        if (!md5.equals(user.getPassword())) {
            throw new BussinessException("L002", "密码错误");
        } else {
        	// 验证通过,登录成功后的逻辑
		}
        ........
   /**
     * 对源数据加盐混淆后生成MD5摘要
     * @param source 源数据
     * @param salt 盐值
     * @return 摘要
     */
    public static String md5Digest(String source, Integer salt) {
        char[] ca = source.toCharArray();// 字符数组
        // 对每个字符混淆处理
        for (int i = 0; i < ca.length; ++i) {
            ca[i] = (char) (ca[i] + salt); // 每个账户的salt都不同
        }
        String target = new String(ca);
        // 对混淆后的字符进行MD5处理
        String md5 = DigestUtils.md5Hex(target);
        return md5;
    }

https://www.cmd5.com/
网站介绍如下:
  针对md5sha1等全球通用公开的加密算法进行反向查询,通过穷举字符组合的方式,创建了明文密文对应查询数据库,创建的记录约90万亿条,占用硬盘超过500TB,查询成功率95%以上,很多复杂密文只有这个网站才可查询。
  综上,MD5并不安全,所以我们还需要采取加盐的策略,在明文的基础上随机的添加特别难以破解的值。加盐又称为加签,都是加盐签名的意思。

加盐和不加盐对比如下:
比如

    public static void main(String[] args) {
        // 为了混淆力度更大,建议盐值是3位的整数
        System.out.println(MD5Utils.md5Digest("test", 0)); // 这里不加盐值
    }

打印结果:098f6bcd4621d373cade4e832627b4f6
查询该网站数据库可以得出你的字符串就是"test"

但是你加盐之后,比如改为197

    public static void main(String[] args) {
        // 为了混淆力度更大,建议盐值是3位的整数
        System.out.println(MD5Utils.md5Digest("test", 197)); // 这里不加盐值
    }

打印结果:89e89f369e07634fbb2286efffb9492b

你就会发现, 他根本破解不出来,或者不容易破解出来,至少这个数据库未收录。

Merkle Tree默克尔树

  Merkle Tree也叫哈希树,Merkle Tree 就是用来做完整性校验的,所谓的完整性校验,就是检查一下数据有没有损坏或者被恶意篡改。Merkle Tree 的最大的应用场合就是在点对点网络上,Git 版本控制系统,IPFS 协议以及比特币以太坊等等项目

完整性校验的方法

  要实现完整性校验,最简单的方法就是对要校验的整个的数据文件做个哈希运算,把得到的哈希值公布在网上,这样我们把数据下载到手之后,再次运算一下哈希值,如果运算结果相等,就表示我们下载过程中文件没有任何的损坏。如下图

  这种简单的采用哈希的方式做数据运算,比较适合数据本身不做分割且是放在一台服务器上的情况。如果去某个公司网站上去下载他们的一个软件,就会看到公司网站上公布了这个下载包的哈希值,有了这个哈希值,我们就可以放心的去下载这个软件,下载完做一下完整性校验,就知道这个软件没有损坏。甚至可以放心从其他的不可信网站上去下载这个软件包,因为有了校验机制,也一样可以保证这个包是跟官方的包一模一样的。

哈希列表 Hash List

  在点对点网络上,数据往往都是拆分成很多小碎片去下载的,而且其中很多平台可以认为是不稳定或者是不可信的,很有可能因为网络问题导致下载中断,难不成要从头开始重新下载?这时需要有更加巧妙的做法。最简单的方式就是哈希列表(Hash List

  实际点对点网络在传输数据的时候,其实都是把比较大的一个文件切成一个个小的数据块。如果有一个小块数据在传输过程中损坏了, 那我只要重新下载这一个数据块就行了, 不用重新下载整个文件。当然这就要求对每个数据块计算哈希值,所有这些小数据块的哈希值都是兄弟关系,这样大家就组成了一个哈希列表。BT 下载的时候,在下载真正的数据之前,会先下载一个哈希列表的,这个就是所谓的种子文件。有了各个小块数据的 hash 之后,文件就可以从任意的机器上下载了,不用管那些机器是否是安全可信的。

这时有一个问题就出现了,那么多的哈希,我们怎么保证它们本身都是正确地呢?

  我们需要一个根哈希,把每个小块的哈希值拼到一起,然后对整个这个长长的字符串再做一次哈希运算,最终的结果就是哈希列表的根哈希。于是,如果我们能够保证从一个绝对可信的网站,或者从我们的朋友手里拿到一个正确的根哈希,就可以用它来校验哈希列表中的每一个哈希都是正确的,进而可以保证下载的每一个数据块的正确性了。

  Hash List 也就是哈希列表形式,就非常适合在点对点网络上存储的大型数据了。

Merkle Tree 哈希树

  Merkle Tree 本身也算是一个哈希列表,只不过是在这个基础上又引入了树形结构,从而获得了更高的灵活性。
  我们把数据分成小的数据块,然后对每个小的数据块进行哈希。但是往上走并不是直接去运算根哈希,而是把相邻的两个哈希合并成一个字符串,再对这个字符串的哈希,得到一个子哈希,如果最底层的哈希总数是单数,那到最后必然出现一个单身哈希,这种情况就直接对它进行哈希运算,所以也能得到它的子哈希。于是往上推,依然是一样的方式,可以得到数目更少的新一级哈希,到了树根的这个位置,这一代就剩下一个根哈希了,我们把它叫做 Merkle Root 。根哈希有时候也叫主哈希 Master Hash ,也有人叫它顶哈希 Top Hash

  相对于 Hash List,Merkle Tree 的明显的一个好处是可以单独拿出一个分支来(作为一个小树)对部分数据进行校验,这给很多使用场合就带来了哈希列表所不能比拟的灵活和高性能。


Merkle Tree 是涉及到了数据结构中的3个概念:哈希、哈希列表、树。

总结

  单个哈希不能担当大文件在分布式点对点网络上的校验工作,于是我们有了哈希列表的概念。 Merkle Tree 可以认为是哈希列表的一个变体,让哈希列表变得更加灵活高效,因为每次校验都可以单纯拿出树的一个分支来操作。




文章资料参考自nervos网站,中间代码举例为原创


关注、留言,我们一起学习。

----------------------Talk is cheap, show me the code-----------------------
相关推荐
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页