分布式系统[1]
Chroma团队发布Wal3:基于对象存储的WAL架构革新,突破传统持久性与扩展性瓶颈
Wal3:革新数据库日志存储的对象存储WAL系统,由Chroma团队研发,直击传统WAL依赖本地磁盘运维复杂、中心化设计扩展瓶颈的痛点。通过完全基于对象存储(如Amazon S3)构建,创新采用集合级独立日志路径,实现吞吐量随集合数量线性扩展;依托S3对象锁与版本控制,数据持久性达99.999999999%(十一个九);无状态计算层设计消除节点存储配置负担,降低运维成本。核心技术上,利用S3条件写入确保日志连续性,分段日志架构实现无锁并发,setsum校验和融合CRC32与SHA-256优势,大幅提升数据完整性。相比Kafka等传统方案,Wal3支持百万级集合扩展,适配云原生架构,开源特性或将推动向量数据库、时序数据库等写密集型场景的存储革新。