Hadoop之HDFS数据块

随手敲了下命令,服务器的磁盘块大小1024B,而作为分布式文件系统HDFS的块却默认有64MB,同时小于一个块大小的文件是不会占据整个块的空间

HDFS是支持大容量流式数据操作,就算一般的数据读写操作,数据量也非常大,如果数据块设置太小了,那么需要读取的数据块就比较多了,由于数据块在磁盘上是非连续存储的,普通磁盘需要移动磁头,所以随机寻址比较慢,读越多的数据块就增大了总的磁盘寻址时间。当磁盘寻址的时间比IO传输的时间还要长很多的时候,那么磁盘寻址时间就成了瓶颈,因而块大小合理取值有助于减少磁盘寻址时间,提高系统吞吐量

HDFS的块比磁盘块大,那么从磁盘传输数据的时间就可以明显大于定位这个块的开始位置所需要的时间,这样一来,传输一个由多个块组成的文件的时间就取决于磁盘的传输速率了,比如:

寻址时间为10ms,传输速率为100MB/s,为了使寻址时间仅占传输时间的1%,那么块大小需要:

100MB/s * (10ms / 1%) = 100MB

所以磁盘传输速率越快的话,块应该被设置更大

如此一来,分布式文件系统这么设置,一个文件的大小可以大于任意一个磁盘的大小,文件的所有块不需要存储在同一个磁盘上,集群的任意磁盘都可以存储,甚至可以整个集群存储一个文件,占满所有磁盘

发表回复