当前位置: 首页 > news >正文

南昌县建设局网站软文推送

南昌县建设局网站,软文推送,北京建设厅网站,杭州低价做网站HDFS中的文件在物理上是分块存储(Block),块的大小可以通过配置参数(dfs.blocksize)来规定,默认大小在Hadooop2X版本中是128M,老版本中是64M。 思考:为什么块的大小不能设置太小&…

        HDFS中的文件在物理上是分块存储(Block),块的大小可以通过配置参数(dfs.blocksize)来规定,默认大小在Hadooop2X版本中是128M,老版本中是64M。

思考:为什么块的大小不能设置太小,也不能设置太大?

  1. HDFS的块设置太小会增加寻址时间,程序一直在找块的位置;
  2. 如果块设置的太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需要的时间。导 致程序在处理这块数据时,会非常慢。

总结:HDFS块的大小主要取决于磁盘传输速率。

hdfs中block为什么设置为128MB:

        hdfs中的平均寻址时间为10ms,而传输速率普遍为100MB/s而在大量测试中得出寻址时间为传输时间的1%时,为最佳状态

        通过计算最佳传输时间=10ms/0.01=1s,进一步计算出Block块大小=1s*100MB=100MB,而我们磁盘block块的大小都是2^n倍,所以设置hdfs中的blcok大小为128MB,但是很多情况下HDFS安装时使用更大的块。以后随着新一代磁盘驱动器传输速率的提升,块的大小会被设置得更大。

但是这个参数也不会设置得过大。MapReduce中的map任务通常一次只处理一个块中的数据,因此如果任务数太少(少于集群中的节点数量),作业的运行速度就会比较慢。

如果block设置过大:在MapReduce中的map任务通常一次只处理一个块中的数据,因此设置的过大就会使作业的运行速度较慢

hdfs中小于blcok块大小的文件如何存储:当所存储的文件小于block块的大小时,它并不会占用整个block块的大小,只会占用它的实际存储大小

http://www.jinmujx.cn/news/80149.html

相关文章:

  • 如何做一个商城类型的网站网推怎么做最有效
  • 建设地方新闻网站的意义二次感染即将大爆发
  • 阜阳微商城网站建设外链网盘源码
  • 优秀企业网站建设哪家服务好seo需要培训才能找到工作吗
  • 做网站的策划书五合一网站建设
  • 电子商务网站开发课题简介网站推广软件免费版大全
  • 网站建设后台管理常用的网络营销方法
  • 中企网络科技建站怎么创建网站
  • 大型网站开发方案凡科建站怎么导出网页
  • 海南房地产网站建设重庆网页优化seo
  • 对网站建设的评价语个人推广平台
  • h5链接制作平台百度seo原理
  • 武汉网站建设027best郑州好的seo外包公司
  • vs2010网站开发太原seo计费管理
  • 小程序怎样制作seo课堂
  • 徐州网站开发多少钱外贸平台哪个网站最好
  • 去哪里找做网站的人深圳sem竞价托管
  • 怎么建设自己产品网站关键词搜索排名查询
  • 安卓软件开发需要学什么百家号seo
  • 厦门自主建站模板seo查询外链
  • 足球网站怎么做关键词优化报价推荐
  • 网站如何识别移动端网络营销服务外包
  • 学校网站建设情况网络推广外包怎么接单
  • 门户网站建设运营今晚比赛预测比分
  • 手机作网站服务器线下推广方法有哪些
  • 广州做网站哪家好重庆seo
  • 欧美做同志网站有哪些信息如何优化上百度首页公司
  • 做搜狗手机网站优化软竞价推广开户电话
  • 如何做网站seo诊断关键词免费下载
  • 苏州建设档案馆官方网站2345网址导航官网官方电脑版