讨论帖：建立一个Linux集群（开始配置集群软件，2楼提供更新的目录）

ubuntuhk

昨天发了一个帖子，询问如何建立大于2TB的Linux分区，其实这只是我的目的之一，更重要的是希望建立一个小型Linux集群，用多个Linux服务器来建立一个SSI(Single System Image，单一系统镜像？单一系统映像？单一映像系统？译名好像还没统一)，实现多个服务器共享同样的用户验证、文件系统。

结果抛砖引玉，引来大家的专业意见，现在准备建立一个SSI，并开贴记录，供自己以及有类似需求的同学参考。

大家有什么建议、批评或问题，欢迎插楼打断

ubuntuhk

1楼 简介

2楼 目录

3楼 系统配置

4楼 存在的问题和解决方案

107楼 ftp测试网络和文件系统性能

111楼 RAMDISK虚拟磁盘设置和性能测试

113楼 通过ftp测试D-link千兆铜线交换机的全双工性能

114楼 双网卡绑定单IP设置  

117楼 教授关于开源集群的点评

124楼 文件存储系统介绍和比较

125楼 ZFS文件系统介绍

131楼 ext4文件系统介绍

135楼 ChinaUnix上集群文件系统介绍和比较

137楼 NAS vs DAS vs SAN介绍和比较

139楼 CentOS 5.3上配置和加载EXT4文件系统

147楼 Tux推荐的EXT4 vs 其它文件系统性能比较（一）

151楼 Tux推荐的EXT4 vs 其它文件系统性能比较（二） （更全面客观一些）

159楼 有关集群软件的几个link

165楼 NFS文 件系统配置

166楼 NFS vs GFS vs PVFS比较

167楼 用户验证方案：NIS vs LDAP

169楼 YP/NIS 用户认证配置

174、176楼 fargo推荐的LDAP 相关的link

ubuntuhk

拟建立的Linux集群配置如下：

DELL 2950四台，每台配置如下：
--Dual XEON 5420 2.5GHz（8 cores)
--16GB RAM
--1TB WD HD × 6
--DELL PCR6I 阵列卡
--1Gbps网口 × 2
--OS：RedHat AS/CentOS 5.2

D-Link 1Gbps路由器一台

ubuntuhk

这里记录安装过程中出现的问题和解决办法。

存在的问题（针对这些问题提供建议的奖励30点威望：）
20090625A  使用什么模式建立RAID，RAID0？RAID6？RAID6？
20090625B  千兆网卡为什么只有百兆速度？是网线还是网卡驱动的问题？ （已经解决，需要超五类网线，谢谢mayabin和coredump）
20090625C  使用何种文件系统？ext3？JFS？XFS？RedHAT GFS？Oracle OCFS？
20090625D  使用何种集群软件？mosix？
20090626E  基于云计算的应用程序开发，如果使用Hadoop/CERN ROOT，搭建系统时，需要注意什么事项？
20090627A  如何建立RAMDISK？（已经解决，参见coredump在105楼提供的link，以及我在111楼的测试结果)
20090627B  Linux下双（甚至多个）千兆网卡是否可以bounding成同一个IP以获取更佳的网络传输速率？


已经解决的问题

20090625B  千兆网卡为什么只有百兆速度？是网线还是网卡驱动的问题？
答案：是网线的问题，需要千兆超五类网线才能支持1000M传输速率。
20090627A  如何建立RAMDISK？
答案：如果是redhat系统，只需要修改/etc/grup.conf的启动参数，参见coredump在105楼提供的link，以及我在111楼的测试结果。

ubuntuhk

以下自由评论打断。。。

ubuntuhk

存储方案调研

要求：
--能支持2TB以上的分区
--可联网、扩展，4台服务器的文件系统可以自由组件成一个大型的存储系统，供4台服务器共用

coredump提议尝试XFS、JFS、RedHat GFS、Oracle OCFS

不过我可怜的一点Linux分区经验主要就是ext2、ext3，看来得挨个研究一下。。。

大家还有什么别的建议？

ubuntuhk

yuba建议用RAID5((4+1)+1)的方式做系统热备，不过我还没搞懂这个和RAID6有什么区别，也没搞懂这个热备怎么做。

谁搞懂了告诉我一下，必加分

valpa

占坑！！！！！

先给一个链接 集群和虚拟机 chinaunix版面：http://linux.chinaunix.net/bbs/forum-9-1.html

[ 本帖最后由 valpa 于 26-6-2009 14:54 编辑 ]

ubuntuhk

我也是菜鸟，大家一起探讨一下，看看能不能吸引几个高人一起指点一下

coredump

如果确定上Cluster的话，单机甚至可以不考虑RAID, 或者每个单机做RAID 0以提高性能，可靠性上面采用集群文件系统来保证, 除了Redhat的那个GFS外，Sun开发的Lustre也被很多大公司采用。


Download the Lustre File System Networking White Paper (pdf)

coredump

给你找个Lustre的介绍(from huihoo):

Lustre是开放源代码的集群文件系统, 采取 GPL 许可协议集群计算机里，计算机与磁盘间数据交换速度的提升无法跟上微处理器和内存增长的速度，从而也拖累了应用程序的性能。
一种新兴的集群文件系统软件提高了I/O速度，可能降低企业购买存储设备的成本并改变企业购买存储的方式。
集群文件系统已经在大学、实验室和超级计算研究中心里使用，而且即将进入通用商业计算市场。
集群文件系统所拥有的快速I/O速度，可能将会改变企业处理存储的方式。
新的集群文件系统采用了开源的Lustre技术，由美国能源部（Department OfEnergy）开发，惠普公司（HP）提供商业支持。它显著提高了输入输出（I/O）速度，目前已经在高校、国家实验室和超级计算研究中心产生了一定的影响，未来几年中，它还有可能进入普通商业计算领域。
惠普公司发布了可扩展文件系统（Scalable File Share）的第2版，这个产品是去年年底推出的，包含一台服务器和一个软件包，使用Lustre技术来分布集群内的存储服务，这种做法与过去几年一些IT厂商为提高服务器性能所采取的分布式计算方式非常相似。SFS系统允许集群里的Linux节点能以高达每秒35GB的速度读取数据，而且允许高达512TB的总存储容量，这是以前旧有系统容量的两倍。
Sun称Lustre是“目前全球具有最佳可扩展性的并行文件系统”，现在全球十大超级计算机中的六个以及40%的TOP100超级计算机都采用了这个系统。
Sun Lustre部门总监PeterBojanic表示：“Lustre文件系统能扩展至在一个命名空间内支持PB级的数据量，为超过25000名用户提供超过100GB/s的累积性能，用户中包括劳伦斯利弗莫尔国家实验室、橡树岭国家实验室以及圣地亚国家实验室的高性能应用，这些用户对大型文件I/O和持续高带宽有很高的要求。”
另外这款系统在石油和天然气、富媒体以及内容分布网络等领域的应用也在不断扩大，这些领域都要求有针对大型或者小型文件的混合型工作负载。Lustre与其他系统的一个不同之处就是，它可以被作为一款基于Linux的开源软件。这就是为什么你会发现，它能够与来自其他高性能计算厂商的产品进行集成，例如SGI、戴尔、惠普、Cray以及Terascala。
Lustre是一款基于目标的集群文件系统，但是它并不支持T10OSD，而且底层存储分配管理也是基于块的。它的配置包括Lustre MetaData Server和Lustre Object StorageServers。文件操作绕过MetaData Server，利用集群中的并行数据路径访问ObjectServer。服务器是以备援目的而配合成对的。Lustre可以在不同类型的网络下运行，其中包括IP网络和InfiniBand网络。
[编辑]
Links

• http://www.lustre.org/
• http://www.sun.com/software/products/lustre/
• http://download.huihoo.com/lustre
• http://docs.huihoo.com/lustre

[编辑]
文章

• 集群文件系统 改变企业存储方式 -  感受开源集群文件系统Lustre的威力

[编辑]
精彩图集[url=http://wiki.huihoo.com/index.php?title=Imageustre_logo.gif]

                               
登录/注册后可看大图

[/url]
取自"http://wiki.huihoo.com/index.php?title=Lustre"

ubuntuhk

如果用GFS、Lustre等文件系统，我想网络速度会是一个关键点，现在我的实际网络速度只有百兆，还得找找看什么原因导致千兆交换机+千兆网卡只有百兆速度，可能的原因有两点：
1.网卡驱动没装好
2.网线不合格

有没有什么简易的办法来测试这两个可能的问题？

ubuntuhk

原帖由 coredump 于 25-6-2009 14:18 发表

                               
登录/注册后可看大图

如果确定上Cluster的话，单机甚至可以不考虑RAID, 或者每个单机做RAID 0以提高性能，可靠性上面采用集群文件系统来保证, 除了Redhat的那个GFS外，Sun开发的Lustre也被很多大公司采用。

Download the Lustre Fil ...

这个确实不错，实际上我还可以再增加一台机器，一共五台机器到这个集群里面，不过就是担心如果有节点挂掉怎么处理，单个节点挂掉估计问题不大，2个以上节点挂掉，是不是系统就瘫痪了？

coredump

我没实施过Lustre，不过从架构上看Lustre很类似于Google内部用的那个File System, Google是采用每份数据块在3个不同的机器上备份。Lustre采用什么方式我还不清楚，但是肯定会有相关考虑。不过Lustre是建立在现有本机文件系统之上的，本机还是可选ext之类的文件系统。

coredump

我觉得有可能有网线的原因，还有可能是网卡和交换机自动协商速度失败，看看调整下参数或者强制启动下千兆试试。

BTW，服务器和交换机之间为什么不用光纤。

coredump

原帖由 ubuntuhk 于 25-6-2009 14:27 发表

                               
登录/注册后可看大图

这个确实不错，实际上我还可以再增加一台机器，一共五台机器到这个集群里面，不过就是担心如果有节点挂掉怎么处理，单个节点挂掉估计问题不大，2个以上节点挂掉，是不是系统就瘫痪了？

在Lustre文档中看到的：

Availability
In a cluster file system, the failure of one part of the file system should not bring everything
to a halt. Common file system failures include both disk drive failures and server crashes.
The cluster file system should be resilient against such failures; it must ensure that no data
is lost and that all computations continue unimpeded

from：http://www.sun.com/software/products/lustre/features.xml

Production-Quality Reliability
Meeting uptime requirements	Lustre is currently deployed in both large and small clusters aroundthe world, meeting the uptime requirements of business-critical andnational-security applications. In fact, more than 100 teraflopsworldwide are deployed in production environments where Lustre is usedto manage data.
No point of failure	The system delivers production-quality stability and failover, with nosingle point of failure. Lustre organizes all servers in active-activefailover pairs. Together with protocol interoperability betweenversions, live cluster upgrades are now routine.
High-availability configuration	Lustre's just-mount configuration feature simplifies configuration byroutinely formatting and mounting server devices and then aggregatingthem into a global high-availability cluster file system.

也就是一个RAID5 over OSTs(lustre nodes).在Lustre 2.0被实现的

wellhome

raid6可以容忍2个盘同时挂．
raid5+1 可以容忍2个盘不同时挂．
另外大分区是不是可以尝试zfs?现在好像zfs有linux的port了？

coredump

ZFS的Linux port是建立在FUSE上的，不能在生产环境使用的，性能太差了。ZFS不改Licsense的话，不可能port到Linux。

不过FreeBSD倒是已经完整支持ZFS了，我也建议使用ZFS, OS用FreeBSD或者Solaris。

ubuntuhk

原帖由 wellhome 于 25-6-2009 16:11 发表

                               
登录/注册后可看大图

raid6可以容忍2个盘同时挂．
raid5+1 可以容忍2个盘不同时挂．
另外大分区是不是可以尝试zfs?现在好像zfs有linux的port了？

看来raid6比raid5+1安全一些。

ubuntuhk

原帖由 coredump 于 25-6-2009 14:35 发表

                               
登录/注册后可看大图

我觉得有可能有网线的原因，还有可能是网卡和交换机自动协商速度失败，看看调整下参数或者强制启动下千兆试试。

BTW，服务器和交换机之间为什么不用光纤。

光纤的价格如何？交换机和网卡。

和网线对比，优势在哪里？

（请原谅我这么傻的问题 ）

ubuntuhk

原帖由 coredump 于 25-6-2009 16:17 发表

                               
登录/注册后可看大图

ZFS的Linux port是建立在FUSE上的，不能在生产环境使用的，性能太差了。ZFS不改Licsense的话，不可能port到Linux。

不过FreeBSD倒是已经完整支持ZFS了，我也建议使用ZFS, OS用FreeBSD或者Solaris。

FreeBSD和Solaris我都不熟悉啊，段时间内，我怕部署不下来，而且管理上也会比较麻烦。

我现在主要考察基于RHEL/CentOS 5.2平台的解决方案（存储和集群），因为RHEL是DELL 2950官方支持的OS，别的OS担心驱动问题。

coredump

钱多点的话就买CISCO，钱少点就买华为吧。入门级的价格应该在万元以下，光纤网卡应该在千元以下。网络方面坛子里有不少CCNP/CCIE的应该更熟悉些。我只接触过Cisco Catalyst 2950/4500系列交换机。好一点点服务器应该自带光纤网卡的。

不过现在的双绞线网络也不一定是瓶颈，只要让千兆网速跑起来就行，实在性能上需要再升级不迟。

ubuntuhk

DELL这个2950应该不带光驱网卡。

是啊，我是想SATA硬盘本身也有瓶颈，单磁盘的读写速度大概在90-110MB左右，如果是RAID0，可能能到200MB，那时候就需要考虑更高速的路由器了。

光纤速度能到多少？3Gbp？

MillerYang

进来学习学习。。。
随便问UB一个非技术问题。。。“无任欢迎”是虾米意思？。。。么看懂

akai

重新读了一下u大的需求
好像u大需求的是一个分布是存储
而不是一个集中式存储．
也就是说每台机器都是一个存储点．没有一个中央存储点．
这个ZFS好像不太擅长吧
u大是不是确认　不会有一个中央存储点比如NAS或者SAN?

ubuntuhk

对的，目前没有SAN或NAS，4-5台2950的服务器，每台各带6*1T硬盘，希望能建立一个可扩展的存储系统和集群，充分利用集群里各个CPU的性能，并且将来可以增加集群节点和NAS/SAN。

是不是这种分布式存储也会影响每个节点的计算能力？SATA的硬盘读写操作也需要一些CPU运算能力吧？

coredump

对，对你这种现有条件和需求来说，弄个cluster 文件系统是起码，如果还想均衡充分利用各个节点的CPU能力，就得上集群操作系统了，如果还想要所有集群共享同一个IP，可以考虑LVS。

ubuntuhk

不需要共享一个IP，各个服务器可以有自己的IP。

mayabin

回答你的一个问题，千兆网卡只有百兆速度，如果你用双绞线的话，就是百兆的。 你查一下资料，做SAN或者NAS的都用的光纤传输。所以说网线是瓶颈。

mayabin

再一个，如果你想达到这样的目的，关注的技术不应该局限在文件系统，Raid以及集群软件上。建议你搜索云计算的技术（cloud computing），比如亚马逊的，Google的，有些现成的技术应该能帮到你。