存储高手请进：如何建立超过2T的Linux分区？

ubuntuhk · 发表于 24-6-2009 23:08:55

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要登录才可以下载或查看，没有帐号？FreeOZ用户注册

x

最近在给公司装服务器，要用6块1T的硬盘，搭建一个小型RAID5整列，现在遇到的问题是如何建立超过2TB的分区（实际大约4.7TB）？

OS： Redhat AS 5.2

coredump · 发表于 24-6-2009 23:27:52

see: http://en.wikipedia.org/wiki/Ext3

use the 8K block size should be ok for your case.

yuba · 发表于 24-6-2009 23:39:00

ext3在大分区的时性能不好

如果需要指定block size的话可能要用别的分区工具，RHEL自带的好像不行

2个建议：
1. 用5块盘做阵列，留一块热备
2. 考虑xfs文件系统

ubuntuhk · 发表于 25-6-2009 00:00:38

我现在的做法是，在RHEL安装的时候，用Linux LVM建立了一个4.7TB的卷（或是逻辑盘，我还不是特别清楚这个概念），结果一启动，发现这个LVM卷没有加载上，而且大小也变成了一个500GB左右的分区，现在逻辑一片混乱中。。。

回yuba：
》》1. 用5块盘做阵列，留一块热备
现在就是6块硬盘搭建的RAID5（5+1），实际容量约4.7xTB。

》》2. 考虑xfs文件系统
xfs好像不是RHEL5.2默认自带的文件系统，是不是还要自己重编译内核？我希望尽量不需要自己编译。

coredump · 发表于 25-6-2009 00:03:45

LVM卷是不能直接加载的，要在上面再建分区。

我也不建议用ext3建大分区，其实还不如不用Linux，直接用OpenSolaris的ZFS来管理好了。非要用Linux的话，Ext4, XFS, JFS应该都比ext3强。

ubuntuhk · 发表于 25-6-2009 00:05:51

我其实有4台服务器，都是同样配置，现在希望无论用户登录哪一台服务器，都能透明地看到一样的文件系统，有没有什么好的解决方案？

包括用户验证和文件系统共享。

还遇到一个问题，千兆的网卡+路由器，但是实际传输速率只有百兆，最可能是什么问题？线的问题还是网卡驱动的问题？

coredump · 发表于 25-6-2009 00:07:02

see also: http://www.gelato.unsw.edu.au/~peterc/lfs.html
and

http://www.cyberciti.biz/tips/fd ... on-greater-2tb.html

ubuntuhk · 发表于 25-6-2009 00:09:13

嗯，看来得研究xfs和jfs了。

coredump · 发表于 25-6-2009 00:11:48

原帖由 ubuntuhk 于 24-6-2009 23:05 发表

 登录/注册后可看大图

我其实有4台服务器，都是同样配置，现在希望无论用户登录哪一台服务器，都能透明地看到一样的文件系统，有没有什么好的解决方案？

包括用户验证和文件系统共享。

还遇到一个问题，千兆的网卡+路由器，但是实际 ...

那你需要一个集群解决方案，可选项很多啊，try Redhat GFS，Oracle OCFS之类的。用户验证之类的倒是好办，通过配置pam模块就行了。

formatc · 发表于 25-6-2009 00:15:24

专注讨论技术的男人是最有魅力滴~………………

coredump · 发表于 25-6-2009 00:21:46

玩Linux集群也是非常有意思的，有句话说统计Linux的集群数量就像统计硅谷的计算机数量一样困难。

UB你现在需要的是一类成为SSI(Single System Image单一系统镜像)的集群，就是1群物理机器给人感觉就像一台机器在工作，无论是存储还是登录验证，还是程序运行，几乎感觉不不出来是一个集群。这类Linux集群也是我最着迷的一类，其中我最欣赏Mosix，有兴趣你可以玩玩。

yuba · 发表于 25-6-2009 00:42:49

原帖由 ubuntuhk 于 24-6-2009 23:00 发表

 登录/注册后可看大图

现在就是6块硬盘搭建的RAID5（5+1），实际容量约4.7xTB。

我的意思是做成((4+1)+1)，容量为3.xT

coredump · 发表于 25-6-2009 00:44:06

有道理，随时放一个备胎，哪个坏了马上顶上去

valpa · 发表于 25-6-2009 01:37:39

弄好了，给我们做个presentation

ubuntuhk · 发表于 25-6-2009 11:31:36

原帖由 yuba 于 24-6-2009 23:42 发表

 登录/注册后可看大图

我的意思是做成((4+1)+1)，容量为3.xT

这个怎么做？是不是4+1做RAID5，留一块不动？

和RAID6（4+2）对比有什么好处？

现在的硬盘都太大了，太便宜了（SATA）数据坏掉的损失远远比硬盘坏掉的损失大，我现在有24块1T硬盘（一共4台主机，每台配6个硬盘），所以可以选择尽量保险一些的RAID方案。

ubuntuhk · 发表于 25-6-2009 11:39:17

原帖由 coredump 于 24-6-2009 23:11 发表

 登录/注册后可看大图

那你需要一个集群解决方案，可选项很多啊，try Redhat GFS，Oracle OCFS之类的。用户验证之类的倒是好办，通过配置pam模块就行了。

RedHat GFS，看起来不错，很有兴趣

ubuntuhk · 发表于 25-6-2009 11:39:49

原帖由 coredump 于 24-6-2009 23:21 发表

 登录/注册后可看大图

玩Linux集群也是非常有意思的，有句话说统计Linux的集群数量就像统计硅谷的计算机数量一样困难。

UB你现在需要的是一类成为SSI(Single System Image单一系统镜像)的集群，就是1群物理机器给人感觉就像一台机器在工 ...

对，就是要建立一个SSI

coredump · 发表于 25-6-2009 11:51:18

原帖由 ubuntuhk 于 25-6-2009 10:39 发表

 登录/注册后可看大图

RedHat GFS，看起来不错，很有兴趣

最新的MOSIX和GFS结合的很好，不光带来了SSI，还顺带Load Balance, HA和HPC

coredump · 发表于 25-6-2009 12:22:40

原帖由 肥肠油饼 于 25-6-2009 10:45 发表

 登录/注册后可看大图

高深啊。。。你们说我从现在到能看懂你们说的话需要多长时间？

不高深啊，都是些常用技术而已，只要感兴趣，多接触下就不陌生了。

RAID0-n, 把多个磁盘按照各种策略组合成一个逻辑磁盘
LVM, 和RAID差不多概念，操作系统级别的实现，在硬件层和文件系统层之间的东西
ext3/4, JFS, XFS, GFS, OCFS.....都是Linux支持的文件系统，就像Windows下的FAT16/32, NTFS一样，每个文件系统都有特定的特点是和特定的用途
Clustering: HAC 高可用集群, LBC负载均衡, HPC高性能计算集群, SSI 单一系统镜像

....
etc

yuba · 发表于 25-6-2009 12:38:46

原帖由 ubuntuhk 于 25-6-2009 10:31 发表

 登录/注册后可看大图

这个怎么做？是不是4+1做RAID5，留一块不动？

和RAID6（4+2）对比有什么好处？

热备可以在盘阵上设置

表面上看加了一个热备的raid5和raid6差不多

更深的我就不懂了，但至少可以理解为raid6是有一块不固定的热备盘的raid5

ubuntuhk · 发表于 25-6-2009 12:40:33

原帖由 valpa 于 25-6-2009 00:37 发表

 登录/注册后可看大图

弄好了，给我们做个presentation

我会把搭建过程开个帖子记录一下

ubuntuhk · 发表于 25-6-2009 12:42:32

原帖由 formatc 于 24-6-2009 23:15 发表

 登录/注册后可看大图

专注讨论技术的男人是最有魅力滴~………………

真滴吗？

我得装成很技术的样子

（谁扔的臭鸡蛋

）

coredump · 发表于 25-6-2009 13:33:53

你开始回答MM的话了，就不专注了，就没魅力了。

我就是忍着没回复MM的话，好显得一直很专注的样子

coredump · 发表于 25-6-2009 13:35:21

肥猫是搞Storage的，这类问题对他是小菜一碟了，不过他不喜欢Linux.

ubuntuhk · 发表于 25-6-2009 13:36:37

怪不得大家都不说话了呢

akai · 发表于 25-6-2009 18:50:15

ext3有　2T的分区限制吗．
偶不太清楚．还是说是内核的限制.

ubuntuhk · 发表于 25-6-2009 19:29:21

看了coredump提供的ext3的wiki说明，当cluster大小为8KB时，可以支持到16TB：

Block size Max file size Max filesystem size
1 KiB 16 GiB <2 TiB
2 KiB 256 GiB <4 TiB
4 KiB 2 TiB <8 TiB
8 KiB[limits 1] 2 TiB <16 TiB

不过问题是ext3对支持这么大的分区，性能会降低很多。（确实如此，我现在的1TB分区，如果文件多的时候，du都要执行好长时间）

Tux · 发表于 26-6-2009 12:05:44

原帖由 coredump 于 24-6-2009 23:03 发表

 登录/注册后可看大图

LVM卷是不能直接加载的，要在上面再建分区。

我也不建议用ext3建大分区，其实还不如不用Linux，直接用OpenSolaris的ZFS来管理好了。非要用Linux的话，Ext4, XFS, JFS应该都比ext3强。

非常同意Core大，ext3肯定是不适合了。存储还是推荐用ZFS，Oracle的那个Btrfs不知道适合不适合拿来作存储。

对存储和Clusterware方面的了解很初级，学习一下。

[ 本帖最后由 Tux 于 26-6-2009 11:06 编辑 ]

coredump · 发表于 26-6-2009 12:25:11

Btrfs还在开发中啊，拿在生产环境中用太冒险了

Tux · 发表于 26-6-2009 12:31:51

原帖由 coredump 于 26-6-2009 11:25 发表

 登录/注册后可看大图

Btrfs还在开发中啊，拿在生产环境中用太冒险了

估计内部测试用的，没人用在production...

看看Oracle会不会把ZFS引入到Linux

		自动登录	找回密码
密码			FreeOZ用户注册

FreeOZ

[Linux] 存储高手请进：如何建立超过2T的Linux分区？

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

回复 #2 coredump 的帖子

回复 #4 ubuntuhk 的帖子

回复 #5 coredump 的帖子

回复 #12 yuba 的帖子

评分

评分

回复 #23 ubuntuhk 的帖子

评分

回复 #24 coredump 的帖子

回复 #27 akai 的帖子

评分

回复 #29 Tux 的帖子