服务好的网站建设联系人bt蚂蚁
当手动删除HDFS 分区数据时,但是并没有清理 Hive 中的分区元数据,删除操作无法自动更新hive分区表元数据。也就是从hdfs中删除大量分区数据,并没有执行如下命令:
alter table drop partition commad
从hive 3.0.0开始可以使用MSCK的方法发现新分区或删除丢失的分区;
MSCK [REPAIR] TABLE table_name [ADD/DROP/SYNC PARTITIONS]
这种方式是在HIVE-17824中实现的。
若手动删除 HDFS 上多个分区文件夹,且快速刷新分区,则需要在存在external表执行如下操作:
-
删除表(
DROP TABLE table_name) -
重新创建表(
CREATE EXTERNAL TABLE table_name ...) -
修复它(
MSCK REPAIR TABLE table_name)
如果分区数量较多,需要执行的时间很长。另外一种解决方案是对每个已删除的分区文件夹使用ALTER TABLE DROP PARTITION (...),但如果删除了多个分区,这可能会很乏味。
用户可用修复表option选项运行metastore检查命令:
MSCK [REPAIR] TABLE table_name [ADD/DROP/SYNC PARTITIONS];
对于不存在元数据的分区，会更新到Hive metastore。
1.MSC命令的默认选项是“ADD PARTITIONS”。通过这个选项，它会将所有HDFS上存在但不存在metastore的分区添加到metastore中。
2.DROP PARTITIONS选项将从metastore中删除已经从HDFS中删除的分区信息。
3.SYNC PARTITIONS选项相当于同时调用ADD和DROP PARTITIONS。 详情请参阅HIVE-874和HIVE-17824。当有大量未跟踪的分区时，运行MSCK REPAIR TABLE批处理避免OOME(内存不足错误)。通过为属性hive.msck.repair.batch.size提供配置的批大小，它可以在内部的批中运行。属性的默认值是0，这意味着它将一次执行所有分区。
不带REPAIR选项的MSCK命令可用于查找元数据mismatch metastore的详细信息。