摘要:HBase自带众多运维工具，为客户提供管理、分析、修复、调试功能。 本文将列举几种常用的HBase工具。开发者和运维人员可以参考这篇文章，使用这些工具进行HBase的日常管理和运维。 HBase组件详情HBase是目前比较流行和广泛使用的NoSQL数据库，因为其设计架构和流程比较复杂，对大数据经验不多的操作人员门槛较高。本文对现有的HBase工具做了少量的细节和总结。 写前面的说明:1)由于HBase不同版本之间的差异很大(比如HBase2.x中已经去掉了hbck工具)，所以本文使用的所有命令行都运行在MRS_1.9.3中，HBase对应的版本是1.3.1，HBase2上不支持某些命令(有时间会单独对HBase2进行详细说明)。 2)本文涉及的HBase工具均为开源工具，不涉及厂商开发的优化和运维工具。 金丝雀工具HBase金丝雀是一个检测HBase集群当前状态的工具。它可以通过简单的查询来检查HBASE上的区域是否可用(可读)。 主要分为两种模式:1)区域模式(默认)，为每个区域下的每个CF随机查询一条数据，打印能否成功，查询延迟。 #检查t1和tsdb-uid表hbase org。阿帕奇。hadoop。hbase.tool. CanaryT1 TSDB-UID #注意:在没有指定表的情况下，扫描所有region2) regionserver模式，在每个regionserver上随机选择一个表进行查询，是否可以成功打印，查询延迟。 # Check a regionserver h base org . Apache . Hadoop . h base . tool . canary-region server node-ana-core qzlq 0002.1432 ECA-3d6f-4e 17-ad52-098 F2 adde 2 e 6 . com #注意:在不指定region server的情况下扫描所有regionerverCanary时，也可以指定几个简单的参数。请参考下面的总结:对集群的影响:2星(只是一个简单的读操作，当区域数量很大时，会占用少量的请求吞吐量)实用性:2星HFile工具HBase HFile查看工具目前主要用于查看某个特定HFile的内容/元数据。 当在业务中发现某个区域无法读取，或者因为文件问题无法在regionserver上打开该区域，或者阅读器读取文件时出现异常，可以使用该工具单独检查HFile是否有问题#参见t1表中其中一个HFile的介绍， print kvh base org . Apache . Hadoop . h base . io . HFile . HFile-v-m-p-f/h base/data/default/t1/4d FAE 12 b 749999 FDC 1e 3325 f 2794d 0/cf1/06e 102 b 436 c 449693734 b 222 b 9e 9 aab使用参数如下:总结:对集群的影响:1星(此工具只是简单读取文件，不影响集群)实用性:4星(可以准确判断是否 它类似于RowCounter，但是它收集与表相关的更详细的统计信息，包括行数、列族、限定符和相应的出现次数。 这两个工具都可以指定范围查询的开始和结束位置HDFS行和时间戳# row counter scans t1h base org . Apache . h base . mapreduce . row counter t1 #使用CellCounter扫描t1表，并将结果写入/tmp/t1 . cell directory h base org . Apache . Hadoop . h base . MapReduce . cell counter t1/tmp/t1 . cell使用的参数如下:Summary:对集群的影响:3颗星(需要MapReduce来扫描表中的所有区域，用法:3颗星(HBase is 而且hbase shell中计数的效率比较低)清理工具Clean command是一个用来清理ZooKeeper和HDFS上hbase的数据的工具。 当集群想要清除或根除所有数据时，它可以将HBase恢复到其原始状态。 #清理HBase下的所有数据。hbase clean-clean所有使用参数如下:总结:对集群的影响:5星(删除HBase集群上的所有数据)实用性:2星(除了需要重置HBase数据的场景，比如OBS上切换到h base，很少使用)。HBase的HBCK工具是日常运维中使用最多的工具，可以检查集群上区域的一致性。 由于HBase的RIT状态复杂且容易出现问题，在日常运维过程中经常会遇到离线/不一致区域等问题。此时可以根据hbck不同的检查结果，使用相应的命令进行修复。 #检查t1表hbase hbck t1的区域状态#修复t1表的元并分配hbase hbck-fix元修复分配t1。因为这个工具使用的场景太多太详细，这里就不做开发细节了。您可以查看参数的描述来修复各种异常情况。 注意:如果不知道异常原因，不要乱用维修工单，可能会使问题变得更严重。 使用参数如下:总结:对集群的影响:4星(个别元相关命令对集群影响较大)实用性:5星(hbck是HBase运营人员最基础的运维工具)区域拆分器工具区域拆分器是HBase的预拆分工具。如果初始化表时没有配置预拆分，HBase不知道如何拆分区域，很可能会造成后续region/regionserver的热点。最好的办法是先预测拆分的拆分点，在建表的时候做预拆分，保证初始业务接入的整体负载均衡。 Regionsplitter可以通过特定的拆分算法在创建表时进行预拆分，自带两种算法:HexStringSplit使用8个十六进制字符进行拆分，UniformSplit在行key为十六进制字符串(ASCII)前缀时使用长度为8的字节数组，并根据原始字节值(从0x00~0xFF)向右填充00。 以这种方式分区的表在放入数据时需要积极地修改rowkey。比如原rowkey是rawStr，需要取hashCode，然后按字节位反过来放在原rowkey字符串前面#创建test_table表，用HexStringSplit算法预分区10 hbase org。阿帕奇。Hadoop。h base . util . region splitter test _ table十六进制字符串split-c10-f1 #提示:该操作相当于在hbase shell中创建' test _ table '，{ name = >；f1'}，{ NUMREGIONS = & gt10，SPLITALGO = & gt' HexStringSplit'}:无论是哪个pre-SplitAlgorithm HBase自带的，都是基于表数据本身的rowkey符合其约定格式的条件。实际客户还是需要根据业务设计rowkey，实现自己的预拆分算法(实现拆分算法接口)。对集群的影响:1星(创建表操作，不影响集群其余业务)实用性:3星(实际预拆分以实际业务为准。为了测试，可以使用HBase的默认拆分算法来构造rowkey格式)。FSHLog工具FSHLog是HBase自带的WALs文件检查和拆分工具。主要分为两部分:函数dump转储一个WAL文件的内容；特定内容拆分触发WAL文件夹的WAL拆分操作#dump当前WAL文件hbase org的内容。Apache . Hadoop . h base . regionserver . WAL . FSH log-dump/h base/WALs/Node-ANA-core qzlq 0002.1432 edca-3D6F-4e 17-AD52-098 F2 adde 2 e 6 . com、16020、1591846214733/Node-ANA-core qzlq 0002.1432 edca-3D6F-4e 17-AD52-098 F2 adde 2)实用性:4星(可以很好的检查WAL内容的准确性，适用于WAL搬迁的场景)WALPlayer工具WALPlayer是一个将WAL文件中的日志回放到HBase的工具。 可以回放某个表或所有表的数据，也可以指定相应的时间间隔和其他条件来回放数据。 #将一个WAL文件的数据回放到表t1hbase org . Apache . Hadoop . h base . MapReduce . walplayer/tmp/node-ana-core qzlq 0002.1432 ECA-3d6f-4e 17-ad52-098 F2 adde 2 e 6 . com % 2c 16020% 2c 15918462144 A:FSH log和WAL player都可以将WAL文件中的数据恢复到h base中。有什么区别？FSHLog向HMaster触发WAL拆分请求，h master会将WAL中的所有数据恢复到HBase，并采取HBase自己的WAL拆分流程。 WALPlayer自行扫描WAL文件中的数据，将符合条件的数据放入特定的表中，或将HFile输出到特定的目录中。相关参数:总结:对集群的影响:3颗星(MR任务会占用部分集群资源)实用性:4颗星(在一些特定场景下非常实用，比如复制预同步、表数据恢复)OfflineMetaRepair工具OfflineMetaRepair工具用于修复HBase的元数据。 它将基于其在HDFS上的区域/表元数据重建HBase元数据。 #重新建立hbase的元数据:hbasenorg . Apache . Hadoop . hbase . util . HBCK . offlinemetaparepairq & A:HBCK的fixMeta也可以修复h base的元数据，也可以指定具体的表更灵活地使用。有必要使用OfflineMetaRepair吗？Hbck工具是HBase的在线修复工具，如果HBase没有启动就无法使用。 OfflineMetaRepair是离线状态下修复HBase元数据相关的参数:总结:对集群的影响:5星(备份原始元数据表后，HBase元数据将被重建)实用性:4星(HBase因元数据无法启动时，此工具可以恢复HBase)Sweeper工具Sweeper工具(HBASE-11644)可以合并HBase集群中的中小MOB文件，删除冗余的MOB文件。 它将基于列族启动相应的SweepJob任务来合并相应的MOB文件。 注意，该工具不能与MOB的主要压缩同时运行，同一列族的Sweeper任务不能同时在多个中运行。 #在t1表上执行SweeperhBase org . Apache . Hadoop . h base . mob . MapReduce . sweeper 1 cf 1相关参数:总结:对集群的影响:5星(合并MOB任务会占用大量的纱线资源和IO，对业务影响很大)实用性:2星(仅适用于MOB场景，使用MOB会导致HMaster上的compact瓶颈，暂时不推荐(仅在社区HBASE3上支持，相关jira HBASE-22749))。以上是本次所有HBase运维工具，其余如Bulkload批量导入、数据迁移、测试相关pe等暂时不做描述。 有不对的地方请指正，谢谢。 公文:https://hbase.apache.org/book.html点击关注第一时间了解华为云鲜技术~