NV17研发网络升级清单

[simlecode]

进度追踪

升级进度在issue中追踪。

venus network 网络升级流程清单

概述

venus跟进filecoin网络升级,是一个持续的过程, 本清filecoin网络升级拆分为以下几个阶段

• 准备阶段 (暂且定义为:官方发布网络升级公告时间后2个星期之内)
• 测试网升级阶段
• 主网升级阶段

按不同的阶段列出了必须完成的检查事项.

准备清单

准备以下资料, 并在升级清单中填写..

• 确认本次升级将引入网络的重大特性 [optional]

  • FIP0029 Beneficiary Address for Storage Providers - step - towards better lending market for SP
  • FIP0034 Fix PreCommit Deposit Independent of Sector Content - resolves a significant weakening of Filecoin PoRep’s security guarantees
  • FIP0041 Forward Compatibility for PreCommit - enables a cleaner and easier transition to Programmable Storage Markets
  • FIP0044 Standard Message Authentication - enable metadata authentication for user defined actor
  • FIP0045 Decoupling Fil+ from Marketplace - DataCap and the QAP it brings is now associated with DATA. DataCap for the data many have terms where anyone who cares about that piece of data may extend the term, which incentives SPs to store the data longer on the network

• 确认本次网络lotus的时间线

  • lotus discussion

• 确认本次升级venus的时间线

  • 时间线 venus disscussion
  • 各组件的 tag，tag规则参考

• 确认升级组件分支及版本号。nv17版本编号

  • 准RC版本 v1.8.0-pre-rcX；迭代分支: release/v1.8.0-pre-rcX；
  • RC版本 v1.8.0-rcX；迭代分支：release/v1.8.0-rcX；
  • 正式版本 v1.8.0；迭代分支：release/v1.8.0；
  • rc版本原则上lotus发一版，venus也跟进发一版。尽量保证功能稳定的情况下，跟上lotus的进度。特别是网络支持版本，例 butterfly支持，到calib支持的版本

• 确认Lotus升级代码冻结点（code freeze），关注#fil-lotus-announcement。
  nv17 代码冻结消息相关消息

• 梳理Lotus的PR,确认需要合并pr.专人跟进合并Lotus升级PR, 保持和Lotus进度的同步.有疑难问题及时团队内部同步

• 组件依赖关系, 升级顺序. 每个组件重大变别表整理[api变化, 数据库结构变化, 配置文件, 命令行参数, 环境变量]

  • 每个组件单独列

各组件主要改变

• venus
• venus-market

Venus测试节点升级常规检查项

在每个阶段都需要持续追踪最新代码变化, 并将变化引入到venus的测试节点进行测试,
所以, 每次升级测试节点, 需要检查以下几项:

• 检查升级高度
• 检查证明参数
• 检查 filecoin-ffi 和 go.mod
• 检查接口版本
• 使用API检查工具, 检查API返回数据是否一致.
• 更新venus-devtool模块, lotus版本，执行api对比命令、actors生成命令
• 检查 actors code 是否一致，
• venus节点网络同步是否正常
• 测试本次网络升级引入的新特性是否工作正常(如果可测..)
• Lotus测试项目，参考，Venus测试模版
• calibration测试：升级前产生的 precommit 消息在升级后能否上链，升级前后抵押的变化
• venus master测试反馈

测试网升级前确保

此阶段除了需要对确认常规检查项之外, 还应该检查/确保以下内容:

• 各组件代码中的:buildversion是否正确, 参考文档:开源流程迭代
• 各组件仓库的tag是否按发布规则, 参考文档:开源流程迭代
• 算力增长维持正常, 出块功能正常

主网升级前确保

在主网升级时除了需要再次确保测试网络升级阶段的所有检查项

• 进行一次模拟升级, 设置lotus和venus 升级高度为模拟高度, 比较分叉高度state root是否相等.
• 在确认各组件的发布版本和tag之后, 完成一次venus集群的集成测试, 主要确认各组件之间的兼容性.

[simlecode]

venus 变更

分支

release/v1.8.0-xxx

重点变化

1. 增加 v9 builtin actors
2. 增加datacap actor

接口

版本

FullAPIVersion1 由 2, 2, 0 升级为 2, 3, 0

参数变动

1. StateSectorPreCommitInfo 调整返回值：由 miner.SectorPreCommitOnChainInfo 改为 *miner.SectorPreCommitOnChainInfo
2. "github.com/filecoin-project/go-state-types/builtin/v8/miner" -> "github.com/filecoin-project/go-state-types/builtin/v9/miner"

新增接口

1. StateComputeDataCID：用于计算链订单的 datacid
2. StateMinerAllocated：返回一个bitfield，其中包含标记为在矿工状态下分配的所有扇区编号
3. StateGetAllocations ：返回给定客户端的所有分配
4. StateGetClaim：返回给定地址和声明ID的声明
5. StateGetClaims：返回所有给定地址和声明ID的声明

命令行

1. withdraw 命令支持提取fil到受益人地址
2. miner info 支持输出受益人相关信息

[zl03jsj]

venus-market 升级注意事项

在venus-market最新版本由于数据类型的变化, 引入了badger数据自动迁移的功能. 在更新venus-market到v2.4.0, 启动后, 如果使用的是badger数据库, 会自动执行数据迁移

1. 老的venus-market的提交版本在595369d 2022-10-14 ... 9a21e00 2022-09-09之间, 升级到v2.4.0, 日志中包含迁移错误信息是正常现象, 因为这几个版本中的数据已经是新的格式了,但在这几个版本中还未加入自动迁移功能. 所以会有这样的错误日志:

2022-10-17T13:12:24.613+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: PayChanMsgDs from  to 1
2022-10-17T13:12:24.615+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: StorageAskDs from  to 1
2022-10-17T13:12:24.616+0800	WARN	badger-migration	migrate/migrate.go:284	migrate:StorageAskDs failed:running up migration: decoding state for key '/t039853': cbor input should be of type map
2022-10-17T13:12:24.616+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: RetrievalAskDs from  to 1
2022-10-17T13:12:24.616+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: CidInfoDs from  to 1
2022-10-17T13:12:24.617+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: RetrievalDealsDS from  to 1
2022-10-17T13:12:24.617+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: FundedAddrStateDs from  to 1
2022-10-17T13:12:24.618+0800	WARN	badger-migration	migrate/migrate.go:284	migrate:FundedAddrStateDs failed:running up migration: decoding state for key '/Addr/t039853': cbor input had wrong number of fields
2022-10-17T13:12:24.618+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: StorageDealDs from  to 1
2022-10-17T13:12:24.619+0800	WARN	badger-migration	migrate/migrate.go:284	migrate:StorageDealDs failed:running up migration: decoding state for key '/bafyreiapzj45cmmgfhltqv7chrvspbodmcdew2yjg37soywbcsgfy4dcve': cbor input had wrong number of fields; decoding state for key '/bafyreibwmrmn7njetylbog5d6ok4wwswzlbhzjrgcba5uwzfbcihjnrzqy': cbor input had wrong number of fields; decoding state for key '/bafyreif3y52x4nxjz72ra5agqdjr47ngplg6gt4wbdgmasp6tw5jtvl2le': cbor input had wrong number of fields
2022-10-17T13:12:24.620+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: PayChanInfoDs from  to 1

2. 如果为9a21e00 2022-09-09之前的,数据则为老版本, 能看到正常迁移的日志, 不会出现任何迁移失败的错误日志:

2022-10-17T13:30:29.090+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: CidInfoDs from  to 1
2022-10-17T13:30:29.092+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: RetrievalDealsDS from  to 1
2022-10-17T13:30:29.094+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: FundedAddrStateDs from  to 1
2022-10-17T13:30:29.095+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: StorageDealDs from  to 1
2022-10-17T13:30:29.096+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: PayChanInfoDs from  to 1
2022-10-17T13:30:29.097+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: PayChanMsgDs from  to 1
2022-10-17T13:30:29.098+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: StorageAskDs from  to 1
2022-10-17T13:30:29.099+0800	INFO	badger-migration	migrate/migrate.go:225	migrate: RetrievalAskDs from  to 1