跳到主要内容
跳到主要内容

数据修复

数据修复

对于 Unique Key Merge on Write 表,在某些 Doris 的版本中存在 bug,可能会导致系统在计算 delete bitmap 时出现错误,导致出现重复主键,此时可以利用 full compaction 功能进行数据的修复。本功能对于非 Unique Key Merge on Write 表无效。

该功能需要 Doris 版本 2.0+。

使用该功能,需要尽可能停止导入,否则可能会出现导入超时等问题。

简要原理说明

执行 full compaction 后,会对 delete bitmap 进行重新计算,将错误的 delete bitmap 数据删除,以完成数据的修复。

使用说明

POST /api/compaction/run?tablet_id={int}&compact_type=full

POST /api/compaction/run?table_id={int}&compact_type=full

注意,tablet_id 和 table_id 只能指定一个,不能够同时指定,指定 table_id 后会自动对此 table 下所有 tablet 执行 full_compaction。

使用例子

curl -X POST "http://127.0.0.1:8040/api/compaction/run?tablet_id=10015&compact_type=full"
curl -X POST "http://127.0.0.1:8040/api/compaction/run?table_id=10104&compact_type=full"