摘要： rediscompare：高效的 Redis 数据比对工具 在分布式系统和高可用架构中，Redis 经常以主从复制（Master-Slave）或集群（Cluster）模式运行。然而...

rediscompare：高效的 Redis 数据比对工具

在分布式系统和高可用架构中，Redis 经常以主从复制（Master-Slave）或集群（Cluster）模式运行。然而，由于网络分区、异步复制延迟、人为误操作或某些极端 Bug，可能会导致不同 Redis 节点之间的数据出现不一致。

手动通过 GET 或 SCAN 来比对数百万个 Key 几乎是不可能的。rediscompare 正是为了解决这一痛点而生的 Golang 开源项目。它提供了一种高效、自动化的方式，通过对两个 Redis 实例进行全量或抽样比对，快速定位差异 Key 及其值的不同。

核心功能特性

rediscompare 的设计目标是“快速”与“准确”。其核心能力包括：

1. 全量 Key 扫描：利用 Redis 的 SCAN 命令而非 KEYS *，确保在生产环境下扫描数据时不会导致 Redis 阻塞。
2. 多类型支持：支持 Redis 常见的数据类型（String, List, Set, ZSet, Hash）的比对。
3. 差异精准定位：不仅能告诉你哪个 Key 缺失，还能深入到 Hash 或 ZSet 内部，指出具体哪个字段（Field）或成员（Member）不一致。
4. 高性能并发：基于 Golang 的并发模型（Goroutines），通过 Pipeline 批量获取数据，极大提升了比对速度。
5. 轻量化部署：编译后为单个二进制文件，无需安装复杂的运行时环境，即可在服务器上直接运行。

工作原理

rediscompare 的比对逻辑遵循以下流程：

1. 建立连接：同时连接到源实例（Source）和目标实例（Target）。
2. Key 集合提取：分别从两个实例中扫描所有的 Key，构建两个 Key 集合。
3. 集合求差集：
   • 仅在 Source 存在 \(\rightarrow\) 标记为 Missing in Target。
   • 仅在 Target 存在 \(\rightarrow\) 标记为 Extra in Target。
   • 两者均存在 \(\rightarrow\) 进入深度值比对阶段。
4. 深度值比对：
   • 类型检查：如果同一个 Key 在两个实例中的类型不同，直接标记为 Type Mismatch。
   • 内容比对：根据类型调用相应的 Redis 命令（如 HGETALL, SMEMBERS），将结果加载到内存中进行对比。
5. 结果输出：将所有不一致的项汇总并输出到控制台或日志文件中。

快速上手实例

1. 安装与编译

首先，克隆项目并编译出可执行文件：

git clone https://github.com/TraceNature/rediscompare.git
cd rediscompare
go build -o rediscompare main.go

2. 基础使用场景

假设你有两个 Redis 实例： - 实例 A (主): 192.168.1.10:6379 - 实例 B (从): 192.168.1.11:6379

你可以运行以下命令进行比对：

./rediscompare -src "192.168.1.10:6379" -dst "192.168.1.11:6379" -srcPass "password123" -dstPass "password456"

3. 模拟实战案例

场景 A：Key 缺失

• Source: 存在 user:1001
• Target: 不存在 user:1001
• 输出结果: [Diff] Key 'user:1001' exists in source but missing in destination.

场景 B：Hash 字段值不一致

• Source: HGET user:1001 name \(\rightarrow\) "Alice"
• Target: HGET user:1001 name \(\rightarrow\) "Bob"
• 输出结果: [Diff] Key 'user:1001' (Hash) field 'name' mismatch: source='Alice', dst='Bob'

场景 C：数据类型冲突

• Source: set user:1002 "active" (String)
• Target: hset user:1002 status "active" (Hash)
• 输出结果: [Diff] Key 'user:1002' type mismatch: source=string, dst=hash

性能优化建议

在处理千万级 Key 的超大规模 Redis 实例时，建议采取以下策略：

1. 控制并发数：根据 Redis 服务器的 CPU 负载，调整程序中的并发 Worker 数量，避免因请求过猛导致 Redis 响应变慢。
2. 利用 Pipeline：rediscompare 内部使用了 Pipeline 机制，这减少了网络往返时间（RTT）。在网络延迟较高的跨机房比对时，效果尤为明显。
3. 分批比对：如果内存压力过大，可以通过过滤特定的 Key 前缀（如果项目支持或通过修改代码实现）进行分片比对。

适用场景总结

结语

rediscompare 为 Redis 运维提供了一个简单且强力的工具。它将复杂的“扫描 \(\rightarrow\) 提取 \(\rightarrow\) 对比 \(\rightarrow\) 汇总”流程自动化，让开发者能够快速从海量数据中揪出那个“不一致”的 Key。如果你正在面对 Redis 数据同步的疑难杂症，这个项目绝对值得尝试。