sha-256算法和区块链原理初探(代码片段)

wuyuegb2312 wuyuegb2312     2023-02-09     150

关键词:

组内技术分享的内容,目前网上相关资料很多,但读起来都不太合自己的习惯,于是自己整理并编写一篇简洁并便于(自己)理解和分享的文章。
因为之前对密码学没有专门研究,自己的体会或理解会特别标注为“个人理解”,请注意甄别,如有必要可以自行查证。
阅读前需要树立一种观点:大部分场景都是基于概率的大小而言的,比如SHA256安全性、区块链不可更改性等。

SHA-256算法

简介

区块链的基础算法之一,在其中用于区块hash计算方法。

是SHA-2下的一个算法标准,而SHA-2全称安全散列算法2,即Secure Hash Algorithm 2,属于SHA算法之一,是SHA-1的后继者,一种密码散列函数算法标准,由美国国家安全局研发,由美国国家标准与技术研究院(NIST)在2001年发布。其下一共分六个不同的算法标准:SHA-224、SHA-256、SHA-384、SHA-512、SHA-512/224、SHA-512/256。

  • 个人理解: SHA-2没有完整的安全证明,可以认为是一种实践中产生的算法。

基本流程

  1. 将信息m补齐到长度对512取模为448得到m‘
  2. 将信息m‘尾部添加一个用64位表示的长度得到m"
  3. 将信息m"按512位分割成n份,循环处理n次,最终获得一个256位的信息摘要m‘‘‘,即为所需的摘要值。

理论基础

散列函数安全性

散列(hash)函数需要满足以下性质才是安全的:
1. 不能从散列结果得到原始信息,也就是密码学中的原像问题。
2. 不能出现两个不同的原始信息,但是hash结果一样,即碰撞问题。
3. 最好由原信息的微小变动能让hash结果面目全非,即雪崩效应。

  • 个人理解
    SHA-256的压缩函数不能完全满足这些性质,“安全”可以看做是破解的难度大小的相对值,而非绝对值。即,不是绝对安全,但是大概率安全。
    • 对于第1条,SHA-256做了充分混淆,但是能不能找到原像?有可能,但是时间上不允许。举例,一个长度是1的字符串,其SHA-256结果为m。那么遇到m,可以猜测原像有可能是1。“有可能”的原因见第2条的理解。
    • 对于第2条,因为散列后的摘要长度是2^256,当有2^256+1个原始信息时,一定有重复,只是在这个尺度下碰撞几率很小。
    • 第3条实际上强制性很弱,需要大量的反例来证明。我还没有看到相关的反例。

Merkle-Damgard结构

SHA-256的压缩函数满足Merkle-Damgard结构,此时可以保证压缩函数在满足散列函数安全性的前提下,在分组后做压缩时仍能保证。关于Merkle-Damgard结构,可以参考《密码学原理与实践》第四章及文末参考资料[2]。
  • 个人理解
    上一小节可以看到SHA-256的压缩函数的安全是概率性的,那么可以认为SHA-256分组处理时,分组处理的安全概率≈原压缩函数的安全概率。

伪码

// 所有变量均为无符号32位整型,计算时以2^32为模
// 1. 变量初始化
// 1.1 初始化变量第一部分:前8个质数(2, 3, 5 ... 19)的平方根的前32位
h0 := 0x6a09e667
h1 := 0xbb67ae85
h2 := 0x3c6ef372
h3 := 0xa54ff53a
h4 := 0x510e527f
h5 := 0x9b05688c
h6 := 0x1f83d9ab
h7 := 0x5be0cd19

// 1.2 初始化变量第二部分:前64个质数(2, 3, ..., 311)的立方根的前32位
k[0..63] :=
   0x428a2f98, 0x71374491, 0xb5c0fbcf, 0xe9b5dba5, 0x3956c25b, 0x59f111f1, 0x923f82a4, 0xab1c5ed5,
   0xd807aa98, 0x12835b01, 0x243185be, 0x550c7dc3, 0x72be5d74, 0x80deb1fe, 0x9bdc06a7, 0xc19bf174,
   0xe49b69c1, 0xefbe4786, 0x0fc19dc6, 0x240ca1cc, 0x2de92c6f, 0x4a7484aa, 0x5cb0a9dc, 0x76f988da,
   0x983e5152, 0xa831c66d, 0xb00327c8, 0xbf597fc7, 0xc6e00bf3, 0xd5a79147, 0x06ca6351, 0x14292967,
   0x27b70a85, 0x2e1b2138, 0x4d2c6dfc, 0x53380d13, 0x650a7354, 0x766a0abb, 0x81c2c92e, 0x92722c85,
   0xa2bfe8a1, 0xa81a664b, 0xc24b8b70, 0xc76c51a3, 0xd192e819, 0xd6990624, 0xf40e3585, 0x106aa070,
   0x19a4c116, 0x1e376c08, 0x2748774c, 0x34b0bcb5, 0x391c0cb3, 0x4ed8aa4a, 0x5b9cca4f, 0x682e6ff3,
   0x748f82ee, 0x78a5636f, 0x84c87814, 0x8cc70208, 0x90befffa, 0xa4506ceb, 0xbef9a3f7, 0xc67178f2

// 2. 预处理

// 2.1 给原始消息m末尾增加(接续)一个二进制1
m0 = add1bit(m)

// 2.2 给m0末尾增加连续k个0,直到其长度对 512取模后余数为448
// k >= 0
m1 = add0bitsWhenMod512Equals448(m0)

// 2.3 给m1末尾增加64bit表示的m1的长度, 以大端表示
m2 = addLengthBigEndian(m1)

// 3. 将m1拆分成l个以512bit为长度的块
sub_ms[l] = splitBy512bit(m1)
// 3.1 子块处理
for(sub_m : sub_ms ) 
    // 对每个512bit的子块,进一步拆成16个32bit的子块
    w[0...15] = splitBy32bit(sub_m)
    for(i from 16 to 63) 
        // 计算w[16]到w[63]
        //rightrotate 循环右移x位, rightshift右移x位高位补0
        s0 := (w[i-15] rightrotate 7) xor (w[i-15] rightrotate 18) xor(w[i-15] rightshift 3)
        s1 := (w[i-2] rightrotate 17) xor (w[i-2] rightrotate 19) xor(w[i-2] rightshift 10)
        w[i] := w[i-16] + s0 + w[i-7] + s1
    

    // 局部变量初始化
    a := h0
    b := h1
    c := h2
    d := h3
    e := h4
    f := h5
    g := h6
    h := h7

    // 子块内主循环
    for i from 0 to 63 
        s0 := (a rightrotate 2) xor (a rightrotate 13) xor(a rightrotate 22)
        maj := (a and b) xor (a and c) xor(b and c)
        t2 := s0 + maj
        s1 := (e rightrotate 6) xor (e rightrotate 11) xor(e rightrotate 25)
        ch := (e and f) xor ((not e) and g)
        t1 := h + s1 + ch + k[i] + w[i]
        h := g
        g := f
        f := e
        e := d + t1
        d := c
        c := b
        b := a
        a := t1 + t2
    

    // 子块结果更新到全局变量
    h0 := h0 + a
    h1 := h1 + b
    h2 := h2 + c
    h3 := h3 + d
    h4 := h4 + e
    h5 := h5 + f
    h6 := h6 + g
    h7 := h7 + h


// 3.2 最终的摘要结果计算, append即位拼接
digest = hash = h0 append h1 append h2 append h3 append h4 append h5 append h6 append h7

区块链原理

一句话定义

去中心的分布式数据库。

数据结构

伪码如下

// 区块与前个区块相连。

/**
 * 区块
 */
class Block 
    /** 区块头 */
    BlockHead head;

    /** 区块体 */
    BlockBody body;


/**
 * 区块头
 */
class BlockHead 
    /** 生成时间 */
    Date gmtGenerate;

    /** 本区块体的hash值 */
    String bodyHashCode;

    /** 上个区块的hash值 */
    String prevHashCode;

    /** 难度系数 */
    int difficulty;

    /** 随机数, 32位*/
    int nonce;


/**
 * 区块体
 */
class BlockBody 
    /** 数据 */
    byte[] data;

区块的不可修改性

区块的hash=SHA256(区块头),区块头包含上一个区块hash及本区块体的hash。因此,当前区块(无论区块头和区块体)或上一个区块发生变化,都会导致区块的hash变化。这个关系可以用公式表达为:

blockHash = SHA256(block.header) = SHA256(prevBlockHash + block.body + other)

因此,修改一个区块会导致断链,必须连锁地修改后续所有区块。由于后面会提到计算hash很慢的原因,几乎不可能,除非拥有全网51%计算能力——区块链因此得名。

*__个人理解__为什么是全网51%计算的能力?即在全网中所有计算能力都在挖矿时,修改的速度超过创建的速度。假设当前全网只有1%的计算能力在挖矿,那么你只要这1%的51%——全网的0.51%足矣。

挖矿——创建区块原理

为什么称为“挖矿”?

所有节点都会创建新的区块。为了保证节点同步,区块添加的速度不能太快。同步的速度由发明者中本聪设置为平均10分钟1次,即1小时6个。控制速度的方式是,创建区块需要大量的计算才能获得当前块的hash,此后才能添加新的块。这个海量计算过程类似于从大量的沙子中获取有用的一粒金子,因此被比喻为“挖矿”。但是“金子”并不完全是指这粒“合适的hash”,下文会提到。

难度系数与随机值

只有符合要求的hash才被区块链接受,这个要求是:hash < 常量targetMax / 当前区块difficulty。

大部分计算的hash是不符合条件的。为了使hash发生变化,需要改动区块头。为了让区块头产生变化,中本聪在区块头增加了随机值Nonce。从0开始计算到2^32位找到Nonce具体值的过程,就是挖矿的过程,因此Nonce和对应的hash合起来才是金子,而计算获得的hash只是需要做进一步确认金子的原石。

存在所有值都不是符合要求的Nonce的情况,此时协议允许矿工改变区块体,重新计算。

当然也存在符合条件的hash值有多个的情况,为了降低这种情况的概率,可以调节difficulty值。

创建时间平均化

根据当前的创建速度,可以动态地更改difficulty的大小来调节,确保近似平均10分钟1次。随着运算能力提升,difficulty会越来越大,导致挖矿难度越来越高。

区块链的分叉

如果同时提交两个区块,两者连接了同一个区块,那么区块链采用哪一个?

新节点总是采用最长的区块链;哪个分支先达到6个新区块(“6次确认”),区块链就会采用那条链。6次确认只需要1个小时就会完成。可见,取决于哪条分支拥有更多的计算速度。

被丢弃的短链,相关计算是完全没有价值的。在比特币中是这样,以太坊则会受到一定的补偿。

应用场景

8年的持续运行证实了其可行性。但是代价是:10分钟同步一次;大量无意义计算。因此使用场景有限:

  • 不存在所有节点信任的管理中心
  • 不要求实时写入
  • 挖矿收益弥补本身成本

目前的应用:比特币;电子证书等。

附:参考资料

  1. SHA-2定义及伪代码
  2. SHA256算法的理论基础(含SHA256与Merkle-Damgard结构关系简单证明)
  3. 区块链入门教程——阮一峰

基于共识算法和区块链模拟实现超级账本(代码片段)

基于共识算法和区块链模拟实现超级账本实验语言:GO实验环境:GoLand2022.1;go1.13.4.widows-amd64.msi;curl-7.83.1实验中使用的开源包:http://github.com/davecgh/go-spew/spew;http://github.com/gorilla/mux;http://github.com/joho... 查看详情

go语言凭什么是区块链的首选语言(代码片段)

GO语言凭什么是区块链的首选语言区块链的火热也带动了GO语言开发者的突增,那凭什么GO语言会成为最主要的区块链构建语言之一。我认为这得益于GO语言的性能、抽象度、简单性和现代性。并且,当下最成功、最流行的... 查看详情

btc区块链原理(代码片段)

...个区块的哈希值,构成哈希链。哈希运算时采用SHA256算法。存储字节流时采用小端序。每个区块采用递增的序号作为标识符,又称为区块高度(Height)。每个区块最多允许包含1MB的数据,超过则视作无效区块... 查看详情

区块链教程区块链背后的信息安全2des3des加密算法原理一(代码片段)

区块链教程区块链背后的信息安全2DES、3DES加密算法原理一,2018年下半年,区块链行业正逐渐褪去发展之初的浮躁、回归理性,表面上看相关人才需求与身价似乎正在回落。但事实上,正是初期泡沫的渐退,让人们更多的关注点... 查看详情

创建区块链之v1(代码片段)

下面简单的描述区块链的实现:block.gopackagemainimport("time""crypto/sha256""bytes")//定义块结构typeBlockstructVersionint64PrevBlockHash[]byteHash[]byteTimeStampint64TargetBitsint64Nonceint64MerKelRoot[]byteData[]byte/ 查看详情

区块链安全初探:区块链的层次(代码片段)

随着比特币的发展,逐渐这个技术火出了圈。它提供的不可篡改、可追溯、不依赖第三方信任的特性看上去是那么的诱人,很多的行业都想借鉴这一技术。但是比特币的共识机制PoW实在是太浪费资源了(算力、电力&#x... 查看详情

使用javascript实现简单的区块链(签名+工作量证明机制)(代码片段)

//区块链blockchain//data之前区块的哈希值当前区块的哈希值:是由存储在区块里的信息算出来的(data+之前区块的哈希值)constsha256=require('./crypto-js/sha256')//区块classBlockconstructor(data)this.data=datathi 查看详情

区块链扫盲:区块链技术初探

...识。这种对一个时间窗口内的事务的先后顺序达成共识的算法被称为“共识机制”。 5.1区块链和分布式系统容错的相同点(1)Appendonly。(2) 强调序列化(时间有序)。( 查看详情

blockchain:py实现区块链简单场景应用:程序猿记录在区块里的收入记录图——jasonniu

...u‘‘‘importhashlib#该模块实现了诸多安全哈希和消息摘要算法的通用接口,包括FIPS安全哈希算法:SHA1、SHA224、SHA256、SHA384、RSA的MD5等等算法importuuid#通用唯一标识符(UniversallyUniqueIdentifier),对于所 查看详情

使用sha-256和rsa2048进行加密和签名(代码片段)

...-256和RSA2048是当前的标准。SHA-256是一种非常好的安全散列算法,非常适合在证书上使用,而2048位RSA是一种很好的签名算法(注意签名与加密不同)。使用带有SHA-256的2048位RSA是证书的安全签名方案。这将允许您生成可用于加密和... 查看详情

区块链教程区块链背后的信息安全2des3des加密算法原理二(代码片段)

Feistel轮函数每次Feistel轮函数内部,均经过4种运算,即:1、扩展置换:右侧32位做扩展置换,扩展置换将32位输入扩展成为48位输出,使得扩展后输出数据长度与48位子密钥等长。2、异或运算:右侧32位扩展置换为48位后,与48位... 查看详情

eos源代码解读区块数据结构(代码片段)

1.chain/types.hppusingblock_id_type=fc::sha256;usingchecksum_type=fc::sha256;usingchecksum256_type=fc::sha256;usingchecksum512_type=fc::sha512;usingchecksum160_type=fc::ripemd160;u 查看详情

区块链快速入门——区块链密码学与安全相关技术(代码片段)

...是身份认证和隐私保护相关技术。区块链使用了包括Hash算法与摘要、加密算法、数字签名和证书、PKI体系、Merkle树、布隆过滤器、同态加密等密码安全相关技术,用于设计实现区块链的机密性、完整性、可认证性和不可抵赖性... 查看详情

go创建自己的区块(代码片段)

packagemainimport("time""crypto/sha256""bytes")//区块体typeBlockstruct//版本信息Versionint64//前区块链的hash值PrevBlockHash[]byte//当前区块的hashHash[]byte//梅卡尔根MerkelRoot[]byte//时间戳TimeStampint64//难度值Bitsint64//随机数Nonceint64//交易信息Data[]bytefunc(bl... 查看详情

一文弄懂区块链技术原理(代码片段)

前言近期由于工作需要,于是对区块链相关技术展开了大量的研究和学习.本文将以开发者的角度,对整个区块链行业技术的发展做一次全面的总结和归纳.文章宗旨是为了帮助大家理解区块链技术出现的目的、能够解决什么问题还... 查看详情

go语言-生成区块链账户地址(代码片段)

...划·6月更文挑战」的第19天,点击查看活动详情生成区块链账户地址为了收款方便,用户需要对外公布一个地址,这个地址其实是公钥经过一系列变化得来的。比如:比特币公钥到地址的变化过程,一个公钥经... 查看详情

区块链与密码学第5-3讲:详解常用哈希函数

...侵权请立即与我们联系,我们将及时处理。】5.3SHA-256算法简介目前常用的哈希函数有三种,分别为SHA-256算法、Keccak算法、SM3算法,今天我们对 查看详情

比特币背后的算法与数学(代码片段)

比特币实现中的哈希算法  可以说比特币的整个实现就是建立在已有的甚至存在多年的计算机科学领域里的技术或概念的整合,其中哈希算法在比特币中的应用几乎是方方面面,主要包括SHA256和RIPEMD160,比特币将这两个哈... 查看详情