讨论帖：建立一个Linux集群（开始配置集群软件，2楼提供更新的目录）

yuba

结果符合预期

ext4最好

btrfs和nilfs2值得期待

Tux

原帖由 yuba 于 29-6-2009 21:39 发表

                               
登录/注册后可看大图

结果符合预期

ext4最好

btrfs和nilfs2值得期待

同意，我也对ext4比较满意，当然最好是配合2.6.30内核用。

ubuntuhk

原帖由 Tux 于 29-6-2009 21:31 发表

                               
登录/注册后可看大图

新鲜出炉的ext4/btrfs/nilfs2评测！！！还是热乎的。

http://www.phoronix.com/scan.php ... fs_nilfs2&num=1

这个评测很客观，用了多种方式进行评测，EXT4看来确实不错，可惜我现在用的CentOS5.3还是kernel 2.6.18，应该还没实现delay allocate这个重要的feature，对写性能影响比较大。

不知道SQLite用了什么牛b技术，导致EXT3和EXT4的性能差这么远

                               
登录/注册后可看大图

今天测试用tar在ext4分区上揭开一个128GB的tar文件(里面包含上千个子目录，每个子目录包含上千个文件)，结果解完之后，用du -k想看看磁盘空间占用情况，结果运行了一般，系统失去响应了，再也ping不通了，明天到机房现场看看什么原因。

coredump

原帖由 Tux 于 29-6-2009 22:24 发表

                               
登录/注册后可看大图

同意，我也对ext4比较满意，当然最好是配合2.6.30内核用。

自从开发人员都说ext4是向btrfs演进的过渡状态，我心里就对ext4感觉七上八下的

ubuntuhk

你看评测就知道btrfs还有多远的路要走

coredump

BtrFS = 变态啊文件系统  我是试都没试过

ubuntuhk

这可是Linux的趋势哦，大家都跟着bt吧

ubuntuhk

根据大家的提议和网上的评测报告，文件系统基本明了了，要么EXT3、要么EXT4（明天看看之前EXT4那台机器宕机的原因是什么，如果是因为EXT4分区导致，就要放弃EXT4了）。

下面开始关注分布式/共享文件系统，先考察NFS。

同时也准备了解Cluster系统架构（终于要步入正题了），因为我的应用主要还是运算密集型的，暂时不关注HA（High Availability，高可靠性）和LB（Load Balancing，负载平衡）类集群，主要关注：
1.RedHat Cluster Suite：
2.Sun Grid Engine: http://en.wikipedia.org/wiki/Sun_Grid_Engine
3.beowulf：http://en.wikipedia.org/wiki/Beowulf_(computing)

这里有一篇介绍NASA的beowulf cluster的架构（2002年），比较完整，值得参考：
http://lis.gsfc.nasa.gov/Documentation/Documents/cluster.shtml

其它有用的页面还包括：
专门讨论高性能运算集群的站点： http://www.linuxhpc.org/pages.php?page=Documentation

Tux

原帖由 coredump 于 29-6-2009 23:05 发表

                               
登录/注册后可看大图

自从开发人员都说ext4是向btrfs演进的过渡状态，我心里就对ext4感觉七上八下的

不会吧...

昨天晚上自己彻底的看了一下文件系统评测，对ext4的表现满意，我对大文件的读写比较在意。以后自己的测试server包括desktop/laptop，全面转向ext4了;-)

其实自Oracle收购Sun之后，btrfs显得有些尴尬了。虽然我不是很了解这个开发团队，但是如果O决定引入ZFS，那还要这个0.19的btrfs干啥，估计会把代码捐出去了事？

以上只是我个人的愚见...

ubuntuhk

我的ext4主机宕机的原因查清楚了，原始内存failure

16G RAM变成12G RAM了，准备呼DELL support来看看什么原因。

coredump

可能是那个内存颗粒本来就有故障，这次被你用tar 120G的大文件给给检测出来了。看来你应该在每个机器上都tar一遍，尽量让所有内存都热热身。

ubuntuhk

有道理

不过我之前在同一台机器上，也解了同样的文件到另一个ext3硬盘，就没有问题。

内存出问题我还真没见过多少，看来小概率事件也不是不存在。

coredump

也许可以理解为ext4比ext3在利用空闲系统内存方面更聪明了或者ext4比ext3占用了更多内存。

ubuntuhk

可以参考这篇文章：
http://www.sofee.cn/blog/2006/09/29/46/

配置还是相当直接，一步一步做就成了，不过这篇帖子没有写具体如何控制共享目录的权限，下面这个帖子介绍了更多有关权限控制方面的信息：
http://www.linuxeden.com/html/netadmin/20070522/26875.html

ubuntuhk

NFS：老牌分布式共享文件系统，一般由单台或多台主机共享出一块或多块存储区域供多个客户端读写，适用于小规模集群
GFS：分布式文件系统新秀，一般由单台或多台主机甚至所有主机共享存储空间，来供大量客户端进行读写，有一定容错性，不过配置比较复杂，
PVFS：由多台主机共享的存储空间构建成一个统一的存储空间，冗余性比较差，只要有其中一台主机宕机，则整个PVS存储就不可用了，可靠性较差

一篇3年前的帖子，有一定参考意义：
http://web.bii.a-star.edu.sg/~james/fs_review/

这里有一篇很粗略的NFS和其它分布式文件系统的比较，也有点参考意义：
http://wiki.linux-nfs.org/wiki/i ... n_of_NFS_vs._others

还有CU的nntp回答一个网友的问题，觉得很有道理，各种文件系统（不管是本地还是分布式），都有自己的特点，没有一种是灵丹妙药，还是得对症下药：
http://linux.chinaunix.net/bbs/v ... p;extra=&page=2

14楼 发表于 2006-9-30 17:12
QUOTE:
原帖由 UFFO 于 2006-9-30 14:16 发表
如果在WEB集群里～是使用nfs好还是gfs好????

每个web 集群都有自己的业务特点和要求，适合用nfs的web集群就用nfs,适合用gfs的web集群就用gfs. 在问这样的问题之前, 你需要回答自己一个问题: 你对自己要做的web集群真实的业务特点和性能要求有清晰的理解么？这些理解有基于实际测试和评估的客观结果数字来支持么? 这个问题回答好了，你提的问题就自然迎刃而解了.

一个人觉得胃不好，想要吃点什么药来改善一下，到底是吃西药治疗？还是中药调理? 如果根本不清楚自己胃里面出了什么问题，没有化验，没有诊断，去谈该吃什么药，用什么治疗手段就是空谈.

依我愚见, 这个论坛里面存在有一种普遍现象，就是很多人往往在根本不了解自己面对什么，需要什么，目标是什么的情况下，盲目的寄希望于某一个软件，某一种技术可以达到"完美中的完美"，一下子彻底解决问题. 实际上真实的应用环境存在这种可能么？ nfs/gfs/*fs  这些技术和系统根本没有绝对的替代关系，优劣比较，把合适的系统用到合适的业务需求中去，才是解决问题的真正道路所在.

对于我目前的应用来说，主要看海量小文件的读取性能，同时也要保证文件系统的可靠性，而且我的客户端比较少，所以NFS简单易用、易维护，应该足够我使用了。

ubuntuhk

集群里的用户需要统一验证，所以还要找个统一验证的方案。

这个统一验证方案，我也在考虑是否可能和别的系统整合，SVN、Windows user authorization、Email、SMB。。。，希望能找到一个终极方案。

不过我也知道这可能和文件系统一样，没有终极方案，只能根据具体的应用来选择最合适的方案。

欢迎大家提议！

coredump

Linux的PAM系统是高度可配置的，可以允许使用各种用户验证方案。

Google里search "Linux Windows SSO", 之类的可以找到好多idea，比如这个。

ubuntuhk

搞定NIS了，参考的是这篇帖子：
http://doc.linuxpk.com/1708.html

NIS的配置确实很简单，但是通常只用于Linux/Unix之间的用户验证，Windows上如果需要NIS用户验证，直接的方案我在Google上没找到，不过找到一个间接的办法，把NIS的用户和口令同步到Windows域上：
http://technet.microsoft.com/en-us/library/cc737371(WS.10).aspx

我目前之关注Linux Cluster的用户验证，所以暂时不理会Windows的用户验证问题。

NIS还有一个问题，使用明文传输密码（shadow文件的内容），NIS+改进了这个问题，不过这个问题在这里也不是重点，所以先不考虑，重要的是先把Cluster搭建起来。

williamtsingtao

得用集群软件吧···例如InfiniBand DDR什么的

RAID的话得看楼主什么硬盘了，什么应用了···RAID10比较带劲···

ubuntuhk

InfiniBand DDR是什么？我google了一下，好像是交换机？没搞懂。

我现在用的是SATA硬盘，SAS我只看到有320GB的，而且价格比较贵，将来可能会组建一个SAS的存储阵列。

我现在用的是RAID6，速度还不错，不过还没和RAID10比较过，有时间也会试试RAID10。

coredump

InfiniBand是专用于集群技术的协议，可以用于远程内存同步，实现包括软件和硬件。不是你这个小东西需要考虑的东东 而且这个和TCP/IP不兼容，即使在高端使用领域也有被10G以太网取代的趋势。

ubuntuhk

内存同步

看来这是用于超级计算机的技术

fargo

原帖由 ubuntuhk 于 2-7-2009 14:26 发表

                               
登录/注册后可看大图

搞定NIS了，参考的是这篇帖子：
http://doc.linuxpk.com/1708.html

NIS的配置确实很简单，但是通常只用于Linux/Unix之间的用户验证，Windows上如果需要NIS用户验证，直接的方案我在Google上没找到，不过找到一个 ...

Authenticate Linux Clients with Active Directory

http://honglus.blogspot.com/2009 ... ts-with-active.html

I recommand LDAP + Kerberos, simple &secure,less complex than winbind.

[ 本帖最后由 fargo 于 5-7-2009 13:16 编辑 ]

ubuntuhk

很有趣，MS的技术杂志竟然也刊登有关Linux的技术文章（是不是推销Windows上的LDAP service？）。

不过这篇文章主要介绍Winbind的方案，还是有点复杂（Samba要自己重新编译）。

LDAP server用什么方案？我看到Linux上有OpenLDAP，不知道有同学试过吗？

在wikipedia的LDAP条目上找到一些有关的link：
http://linuxwiki.riverworth.com/ ... LDAP_Authentication
http://www.bekatul.info/node/24

fargo

原帖由 ubuntuhk 于 5-7-2009 14:02 发表

                               
登录/注册后可看大图

很有趣，MS的技术杂志竟然也刊登有关Linux的技术文章（是不是推销Windows上的LDAP service？）。

不过这篇文章主要介绍Winbind的方案，还是有点复杂（Samba要自己重新编译）。

LDAP server用什么方案？我看到L ...

Not recommending LDAP only, because the username/password sent is in clear text.

check this out, set up openldap+kerberos server on Linux, no need for Windows AD.

Replacing NIS with Kerberos and LDAP HOWTO
http://aput.net/~jheiss/krbldap/howto.html

ubuntuhk

谢谢推荐LDAP相关的资料，不过这个集群因为是内部使用，主要关注管理便利、配置简单、尽可能利用一个机柜内的各服务器的存储空间和CPU性能。

所以我还是计划采用NIS作为这个小集群的用户验证系统。

不过我也很有兴趣研究LDAP用于集成Windows+Linux的统一用户验证机制，不过这个话题可能要另外再开一篇帖子来探讨了。

ubuntuhk

准备尝试的第一个（也有可能是仅有的一个，如果它的性能/功能满足要求的话）Cluser系统是Sun Grid Engine。

这里有一个中文的简介： http://www.diybl.com/course/3_program/rg/2008612/125174.html

不过最好还是看Wikipedia上的介绍： http://en.wikipedia.org/wiki/Sun_Grid_Engine

（前一段时间忙别的去了，所以这个楼层建设停滞了一段时间，现在继续。。。）

Tux

如果不想用OpenLDAP，用户也不是巨量的话，试试看ApacheDS，挺不错的pure Java实现。

ubuntuhk

ApacheDS 新名词，研究一下

coredump

原帖由 Tux 于 15-7-2009 16:37 发表

                               
登录/注册后可看大图

如果不想用OpenLDAP，用户也不是巨量的话，试试看ApacheDS，挺不错的pure Java实现。

这东西还是LDAP啊，只不过用Java重新实现了一遍而已，如果不想用OpenLDAP也实在没理由考虑另一个LDAP的实现吧。