本篇内容主要讲解“Hbase内存分配与集群规划的方法是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Hbase内存分配与集群规划的方法是什么”吧!
在江城等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都网站制作、做网站 网站设计制作定制开发,公司网站建设,企业网站建设,成都品牌网站建设,成都营销网站建设,外贸营销网站建设,江城网站建设费用合理。
HBASE内存规划与调优
1. Hbase BlockCache常用类型
一个regionserver只能有一个BlockCache。
读多写少型 BucketCache。
写多读少型 LRUBlockCache。
注:使用BucketCache还是使用LRUBlockCache,只和分配给RegionServer的内存大小有关。一般而言,如果HBASE_HEAPSIZE > 20G,选择BucketCache,否则选择LRUBlockCache。
硬性规定:LRUBlockCache + MemStore < 80% * JVM_HEAP,即留出20%的空间,否则RS无法启动。
默认分配给MemStore和BlockCache的JVM内存比例均为0.4
2. regionServer与region的对应关系
默认的hbase.hregion.memstore.flush.size =128M,即每个MemStore大小为128M,所以一个regionserver所能支持的最大region就可以计算出来
JVM_HEAP_SIZE * 0.4 / 128M / 列族个数
如果写很重的场景下,可以适当调高hbase.regionserver.global.memstore.size,这样可以容纳更多的region数量。建议分配合理的region数量,根据写请求量的情况,一般20-200个之间,可以提高集群稳定性,排除很多不确定的因素,提升读写性能。
通常较少的region可使集群运行的更加平稳,官方指出,每个regionServer大约100个regions的时候效果最佳,设计表的时候应该尽量减少列族
每个region最佳大小5-10GB
到此,相信大家对“Hbase内存分配与集群规划的方法是什么”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
本文名称:Hbase内存分配与集群规划的方法是什么
网页路径:http://scyingshan.cn/article/pggggh.html