Linux日志文件系统(EXT4、XFS、JFS)及性能分析

Ext4
ReiserFS Btrfs 等七种文件系统性能比拼

自上一篇《Ext2
v.s. Ext3 v.s. Ext4 性能比拼
》 发布以来,社会各界纷纷来电来函,给出了“Ext4
我看行”,“Ext4 牛牛牛”,“用了
Ext4,嘿,还真对得起这块盘”,“Ext4,碎片去无踪,性能更出众”等等热情洋溢的评论,兄弟我深受鼓舞。在对 Ext4
颇不低俗的性能进行表扬的同时,人民群众还提出了新的要求,希望看到与现有同类文件系统性能横向比拼的结果。为了满足广大群众的热切需求,今天做了
Ext2、Ext3、Ext4、XFS、JFS、ReiserFS 和 Btrfs 的全面性能测试,对比结果如下:
reclen write rewrite read rereadrandom
read
random
write
bkwd
read
record
rewrite
stride
read
fwrite frewrite fread freread
Ext2

real 27m23.545s
user 0m9.184s
sys 4m40.925s

4218,554218,662668,245245,20885,235175,284101,8641,911,57974,368215,014217,680583,169244,831
8216,064220,489618,661243,444146,695215,002176,9082,314,305129,333215,772218,571605,436241,144
16218,874219,173609,563242,592246,442220,306292,1142,438,520218,357216,497219,774596,211244,652
32219,584217,859611,712244,445372,023224,151442,6292,423,574334,999218,829219,553606,186244,346
64216,320219,400622,218243,761478,747227,018580,9602,633,117439,129215,956220,166608,210243,950
128219,286218,318614,559243,862579,724224,346690,9452,467,787537,440219,420218,330607,326244,337
256216,027220,509635,633245,385614,120227,099842,2202,567,169614,753217,744219,897617,728243,780
Ext3

real 27m26.675s
user 0m9.323s
sys 6m43.199s

4215,478218,294604,858246,14886,758151,858102,1131,618,76974,979214,446218,569568,659242,772
8217,695218,777609,377244,520148,608190,313171,9031,830,365128,957218,752217,501603,465246,861
16215,683219,822643,396248,815252,255202,374290,6811,915,488219,805216,519219,033568,086243,985
32219,341217,364603,462245,273379,512208,740435,7562,069,791335,303218,578219,086604,572245,578
64216,192220,186665,646244,234481,101212,185567,7502,106,710442,926217,075220,042618,134244,870
128218,503219,151616,479244,711589,927212,355683,9432,080,136541,597219,271218,514600,308244,782
256217,255219,213637,417248,555636,309211,793839,9072,125,314618,958218,424218,954600,894245,523
Ext4

real 26m15.771s
user 0m9.609s
sys 5m36.096s

4225,586224,616532,721270,17482,398180,231102,9351,683,47674,990224,893224,186277,025584,868
8226,896221,965274,314629,603239,913219,223156,9642,026,184127,553226,382227,019292,566593,154
16222,929229,392272,022599,360390,533223,951256,8312,114,002212,773227,728225,332602,317269,289
32223,703221,025566,981262,980380,787227,198435,7742,157,610338,629226,208225,816591,102268,725
64222,236223,813593,481268,002522,365227,268582,8302,216,225457,252228,294223,269614,376269,657
128221,681222,859285,304623,990915,430231,380663,3832,276,039573,624226,616224,477583,965271,159
256220,129221,608279,101657,815889,963232,256770,2202,212,083610,074225,877224,642288,852603,933
XFS

real 28m43.957s
user 0m9.899s
sys 6m4.268s

4217,459214,348244,600239,64778,424161,673107,6431,711,97674,828218,638216,903227,675240,492
8220,514219,994241,854951,125248,623207,750161,1752,214,681127,363218,892211,613219,749240,286
16220,776220,740226,186242,746224,486219,963318,5032,480,826223,664221,106221,694669,693262,346
32218,481216,919255,232799,715593,083225,213408,8162,278,034337,026222,153213,330226,093241,351
64216,921210,031228,877244,161430,479225,432612,8722,568,460448,155224,650209,745221,768239,888
128216,341218,284232,550242,283559,400227,915768,2512,545,859568,945222,605216,060714,911258,397
256221,444220,462469,309321,275757,895225,641806,2512,689,152609,077219,703219,815226,021240,108
JFS

real 26m53.990s
user 0m9.096s
sys 4m39.691s

4196,819218,121455,194258,06285,910169,163142,8141,949,28292,246212,270217,272450,996258,928
8211,794215,030445,452258,082147,556208,623236,1972,214,516159,402213,076218,146451,013258,767
16209,028214,714455,795257,989248,145218,747399,9352,587,176269,527214,271215,626439,736258,830
32210,454218,204448,067258,568380,325220,682591,7812,379,845409,061213,292217,683439,114259,160
64214,862215,636450,430258,413487,982222,660750,1392,613,574522,050216,365217,830444,546259,553
128213,152218,084449,185258,775592,912148,064933,5832,728,229667,878219,155213,461466,396262,608
256213,119213,514477,804258,508631,376129,0601,055,2052,727,762717,814213,771217,569463,931258,291
ReiserFS

real 28m16.075s
user 0m10.134s
sys 7m38.726s

4208,422217,932190,459223,68472,142175,21099,8201,726,65474,081211,433216,255540,847239,091
8214,840218,917610,592240,376146,908210,703176,2952,180,046128,114215,368218,950580,334240,261
16216,886217,827651,240243,800249,478219,967288,4572,444,958213,780217,438219,510592,932239,510
32214,217219,178645,366240,227369,030224,795434,5562,372,823329,006217,055217,110554,072240,046
64217,160219,013623,512239,875470,435224,619560,7902,429,552421,615218,043218,734587,074239,802
128215,163219,348624,117240,364572,926226,463683,6862,530,721530,024215,932218,157577,617240,975
256217,058218,839643,857240,141615,875224,530825,3642,631,201590,909217,256218,942567,422240,061
Btrfs

real 59m41.974s
user 0m10.382s
sys 18m40.804s

4214,203215,879265,389280,24465,36710,52016,032773,64434,26094,105194,357269,380268,254
8218,318215,978270,100275,160109,68726,01540,4471,366,91189,489141,760214,990273,446271,531
16219,477215,738284,876282,111178,66247,88172,6231,864,106150,255177,508219,348264,935273,140
32218,835220,886281,550277,054246,933130,288181,7742,573,279250,936204,491219,736281,894268,989
64216,758218,890282,026275,127312,803195,963299,6853,270,521354,200202,362220,928281,331271,676
128216,509220,235279,353274,813368,053215,445343,6963,739,759414,950216,029219,711276,973272,569
256220,333216,113277,920273,271405,215215,495393,7314,015,851474,052213,849220,372283,035277,594
Kbytes/sec

本次测试所使用的 Linux kernel 版本为 2.6.29-rc3,文件系统性能测试工具为 IOzone
3.318。

从 测试结果可以看出,Ext4 的综合性能位居现有文件系统之首,JFS、ReiserFS 在读性能方面亦有不俗表现。Btrfs
的小块数据读写性能与平均水平相差甚远,是导致其本次测试总时间超出平均时间两倍的主要原因。较之其它成熟的文件系统,Btrfs
投入生产系统运作可能尚需时日。

至于一小撮不明真相别有用心的群众提出还要测 NTFS、 Vfat、MSDOS 等“文件系统”,恕时间有限,不予受理。

http://www.360doc.com/content/11/1226/12/16531_175056567.shtml

———————————————————–
http://www.360doc.com/showWeb/0/0/175056758.aspx

Linux kernel 自 2.6.28 开始正式支持新的文件系统 Ext4。 Ext4 是 Ext3 的改进版,修改了
Ext3 中部分重要的数据结构,而不仅仅像 Ext3 对 Ext2 那样,只是增加了一个日志功能而已。Ext4
可以提供更佳的性能和可靠性,还有更为丰富的功能:
1. 与 Ext3
兼容。

执行若干条命令,就能从 Ext3 在线迁移到 Ext4,而无须重新格式化磁盘或重新安装系统。原有 Ext3
数据结构照样保留,Ext4 作用于新数据,当然,整个文件系统因此也就获得了 Ext4 所支持的更大容量。
2.
更大的文件系统和更大的文件。

较之 Ext3 目前所支持的最大 16TB 文件系统和最大 2TB 文件,Ext4 分别支持 1EB(1,048,576TB,
1EB=1024PB, 1PB=1024TB)的文件系统,以及 16TB 的文件。
3.
无限数量的子目录。

Ext3 目前只支持 32,000 个子目录,而 Ext4 支持无限数量的子目录。
4.
Extents。

Ext3 采用间接块映射,当操作大文件时,效率极其低下。比如一个 100MB 大小的文件,在 Ext3 中要建立 25,600
个数据块(每个数据块大小为 4KB)的映射表。而 Ext4 引入了现代文件系统中流行的 extents 概念,每个 extent
为一组连续的数据块,上述文件则表示为“该文件数据保存在接下来的 25,600 个数据块中”,提高了不少效率。
5.
多块分配。

当写入数据到 Ext3 文件系统中时,Ext3 的数据块分配器每次只能分配一个 4KB 的块,写一个 100MB 文件就要调用
25,600 次数据块分配器,而 Ext4 的多块分配器“multiblock allocator”(mballoc)
支持一次调用分配多个数据块。
6.
延迟分配。

Ext3 的数据块分配策略是尽快分配,而 Ext4 和其它现代文件操作系统的策略是尽可能地延迟分配,直到文件在 cache
中写完才开始分配数据块并写入磁盘,这样就能优化整个文件的数据块分配,与前两种特性搭配起来可以显著提升性能。
7. 快速
fsck。

以前执行 fsck 第一步就会很慢,因为它要检查所有的 inode,现在 Ext4 给每个组的 inode
表中都添加了一份未使用 inode 的列表,今后 fsck Ext4 文件系统就可以跳过它们而只去检查那些在用的 inode
了。
8.
日志校验。

日志是最常用的部分,也极易导致磁盘硬件故障,而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4
的日志校验功能可以很方便地判断日志数据是否损坏,而且它将 Ext3
的两阶段日志机制合并成一个阶段,在增加安全性的同时提高了性能。
9. “无日志”(No
Journaling)模式。

日志总归有一些开销,Ext4 允许关闭日志,以便某些有特殊需求的用户可以借此提升性能。
10.
在线碎片整理。

尽管延迟分配、多块分配和 extents 能有效减少文件系统碎片,但碎片还是不可避免会产生。Ext4 支持在线碎片整理,并将提供
e4defrag 工具进行个别文件或整个文件系统的碎片整理。
11. inode
相关特性。

Ext4 支持更大的 inode,较之 Ext3 默认的 inode 大小 128 字节,Ext4 为了在 inode
中容纳更多的扩展属性(如纳秒时间戳或 inode 版本),默认 inode 大小为 256 字节。Ext4
还支持快速扩展属性(fast extended attributes)和 inode 保留(inodes
reservation)。
12.
持久预分配(Persistent preallocation)。

P2P
软件为了保证下载文件有足够的空间存放,常常会预先创建一个与所下载文件大小相同的空文件,以免未来的数小时或数天之内磁盘空间不足导致下载失败。Ext4
在文件系统层面实现了持久预分配并提供相应的 API(libc 中的
posix_fallocate()),比应用软件自己实现更有效率。
13. 默认启用
barrier。

磁盘上配有内部缓存,以便重新调整批量数据的写操作顺序,优化写入性能,因此文件系统必须在日志数据写入磁盘之后才能写 commit
记录,若 commit 记录写入在先,而日志有可能损坏,那么就会影响数据完整性。Ext4 默认启用 barrier,只有当
barrier 之前的数据全部写入磁盘,才能写 barrier 之后的数据。(可通过 “mount -o barrier=0”
命令禁用该特性。)

————————————————————
http://www.360doc.com/content/11/1226/12/16531_175055973.shtml

      
北京时间1月15日消息,据国外媒体报道,谷歌正在将EXT2文件系统转到新的EXT4(the fourth extended file
system)文件系统。

来自谷歌的麦克-罗宾(Michael
Rubin)透露消息说,谷歌正考虑将EXT2系统升级,最终确定为EXT4系统。

他表示,他们还考虑过XFS和JFS。结果显示,EXT4和XFS的表现类似,不过从EXT2升级到EXT4比升级到XFS容易。

而Btrfs太具实验性,谷歌目前不会考虑。

分析称,EXT4最初的表现非常好,但是在某些内核条件下表现力降低。比如在Linux2.6.32内核条件下,EXT4的表现力降低,而Btrfs的表现力提高。

同时,谷歌雇佣了知名的Linux内核开发者Ted Ts’o,他对EXT4文件系统的开发起到了主要作用。

EXT4介绍:http://baike.baidu.com/view/2220807.htm

XFS介绍:http://baike.baidu.com/view/1222157.htm

JFS介绍:http://baike.baidu.com/view/1494218.htm

————————————————————————–

http://q.sohu.com/forum/5/topic/5453380

   
在Microsoft
Winsows的世界,硬盘可以格式化成NTFS、FAT32、FATl6等等不同的格式。同樣地,在GNU/Linux底下也是有很多不同的文件系统格
式可供选择。当前在GNU/Linux底下,比较常用的有这几种格式:Ext2/Ext3、ReiserFS、XFS和JFS等数种。

  除了Ext2以外,其它几种都是日誌型文件系统。那什麼是日誌型文件系统呢?
就是系统会多用一些额外的空间纪錄硬盘的数据状态,因而在不正常开关机后,不需整个硬盘重新扫描来恢复正常的系统状态。

  ●
Ext2:此为一非常老旧且不支持日誌系统的文件系统格式,早期的Linux玩家应该还记得吧,在每次不正常关机后,重新开机时错误检查会需要很久,而且在不正常关机下,常常会让你一次不见很多文件,现在已经很少人使用这类文件系统了。

   ●
Ext3:为Ext2个改良版,所以Ext2可以直接升级成为Ext3而不必重新格式化,这也可以让旧的Ext2系统更加稳定。而主要和Ext2的差別是
增加了日誌系统(metadata),所以在不正常开关机后,可以迅速使系统恢复。而因为它与旧有的文件系统兼容,因此很多发行版都缺省使用Ext3。但
是在实际测试上,它的硬盘使用率其实不佳,大概只有真正空间的93%会被使用到,至於其它性能测试表现则为中等。在格式化与创建文件系统的时间也是其它文
件系统的数十倍。

  ● ReiserFS::採用日誌型的文件系统,为Hans
Reiser所创,因此以他的名字来命名。技术上使用的是B*-tree为基础的文件系统,其特色为从处理大型文件到眾多小文件都可以用很高的效率处理。
实务上ReiserFS
在处理文件小於1k的小文件时,效率甚至可以比Ext3快約10倍,所以ReiserFS专长是在处理很多小文件。而在一般操作上,它的性能表现也有中上
的程度。

  ● XFS: />不错的表现。

  ●
JFS::为全球最大计算机供应商IBM为AIX系列设计的日誌型文件系统,技术上使用的是B+-tree为基础的文件系统和ReiserFS使用
B*-tree不同。IBM
AIX服务器在很多金融机构上使用,所以稳定性是沒话說的。而它最重要的特色是在处理文件I/O的时候是所有文件系统里面最不佔CPU资源的,也就是
CPU使用率最低。而且在这樣节省使用CPU的情況下,它的效率表现还有中上以上的程度。

  虽然Ext3性能不好(在日誌型文件系统中 效率上算是最糟糕的)
,那为何还有那麼多人使用?那是因为当时Ext3可以直接从Ext2升级,而不需要先备份数据,然后格式化后再把文件复制回去,所以使用人数最多。但这也
不能全然怪它,因为它为了和Ext2兼容,所以背负了很多的历史包袱。若是以性能为考虑,则可以选择ReiserFS或XFS。若是系统资源不多,要使用
最低的CPU使用率,那麼可以选择JFS,因为它有著最好的性能资源比。

欢迎关注我的微信公众号:

 

如无特殊说明,文章均为本站原创,转载请注明出处!

发表评论

邮箱地址不会被公开。 必填项已用*标注