讨论帖：建立一个Linux集群（开始配置集群软件，2楼提供更新的目录）

yuba

原帖由 coredump 于 26-6-2009 17:17 发表

                               
登录/注册后可看大图

N个硬盘的RAID0条带无论读写都是均匀分布的, 多于2个盘的RAID0称为RAID 0 strip array.

多谢指正，看着raid0想着raid1了

确实raid0在多块硬盘的情况下性能非常好

但是根据“RAID 5具有和RAID 0相近似的資料讀取速度，只是多了一個奇偶校驗資訊，寫入資料的速度相當的慢，若使用「回寫快取」可以讓效能改善不少。”，以及raid6和raid5的相似性

raid0和raid6的主要性能差异会发生在写的过程

如果有大量的写操作以至于需要考虑raid0的话，更说明了本机存储的cluster会产生大量的IO动作

[ 本帖最后由 yuba 于 26-6-2009 19:53 编辑 ]

coredump

其实采用RAID0对UB现在手头的机器来说还有一个问题，就是SATA的IO 导致的CPU占有率问题，如果采用SCSI硬盘的话就会好的多。不过没有试验我只是猜测。

yuba

原帖由 ubuntuhk 于 26-6-2009 11:48 发表

                               
登录/注册后可看大图

不过我昨天发现，SATA的硬盘读写效率对CPU的占用相当大，如果我从A机拷贝一个10GB文件到B机，能保持60MB的传输速率，但是A机的CPU占用率要占去其中一个cpu core的100%，而且A机运行速度明显降低（可能因为磁盘带宽被占用的原因），这样可能会带来一定问题。

拷贝用的是什么协议，如果不是ftp协议的话最好用ftp再测一下

从a机拷贝到b机，a机是硬盘读取和网络写出的动作。很难想象60MB/s的读操作占了一个现代处理器一个核心的100%，所以我更倾向是协议层或者是网卡驱动的问题

ftp的协议简单，可以用来排除协议层的干扰。smb或cifs明显慢过ftp且占用更多cpu资源

如果用ftp测试的结果cpu的占用率也这样的话，基本可以确定是网卡的问题

另外需要同时看一下b机的cpu占用率

再另外，如果是ext3的话最好换成别的再测，最终方案用ext3的可能性极小

[ 本帖最后由 yuba 于 26-6-2009 19:59 编辑 ]

yuba

原帖由 ubuntuhk 于 26-6-2009 11:48 发表

                               
登录/注册后可看大图

我的应用是要读取一大堆小文件，每次读取一个小文件（约占20%时间），然后运行计算程序（约占80%时间）。

cpu比io更intensive，所以读取部分不应该成为瓶颈

优先考虑是否可以利用多线程，同时处理多个已经读入的小文件

设计上可以考虑生产－消费模式，把读入和处理从逻辑上分开

今后再考虑如何利用多核，改进处理程序，加快单个文件的计算处理速度

yuba

ubuntuhk

看了一下Video，没太看懂如何做热迁移，以及它里面演示的视频的目的所在。

是不是根据RedHat内建的虚拟机的技术，将系统整个迁移到其它机器上（看到里面三台不同机器，有XP、RHEL系统、AMD和Intel硬件平台）？

虚拟机的技术需要的额外开销有多大？

这种热迁移技术，我的理解可以用于快速克隆完全一样的运行系统，如果增加并行处理能力，也是很有趣的技术。

ubuntuhk

原帖由 yuba 于 26-6-2009 21:26 发表

                               
登录/注册后可看大图

cpu比io更intensive，所以读取部分不应该成为瓶颈

优先考虑是否可以利用多线程，同时处理多个已经读入的小文件

设计上可以考虑生产－消费模式，把读入和处理从逻辑上分开

今后再考虑如何利用多核，改进 ...

这个提议很有启发性，随着现在内存的容量的发展（价格也在降低），对我们目前的训练应用来说，程序的运行过程大体如下：

• 加上有N个CPU Core可以使用，我们首先将数据集分成N份，每个CPU Core处理自己那一份
• 每个CPU Core处理过程：顺序地读入海量小文件集（每个文件大小约:10-100KB，每个core上所用的数据集总共应该不超过1GB，每台机器8个core)，然后进行数学建模（建模本身要耗费大量CPU时间，很少的RAM，<100MB）
• 每个CPU Core处理完自己的数据之后，生成一个数学模型
• 基于第三步的结果，重复运行第2、3步，直到模型收敛（一般需要运行160个回合才能收敛，而且每过10个回合，需要将模型复杂度增加一倍，训练时的IO占用率一样，但是CPU占用率增加约一倍）
  

这样完全有可能将训练数据一次性读入到RAM虚拟磁盘中，然后训练程序只从虚拟盘中读取数据，这样会减少很多IO处理。

我还不清楚在Linux下如何建立虚拟硬盘，如果RAM足够大（比如2倍于训练集）的时候，不知道Linux是否会自动将所有的文件cache到内存里。

ubuntuhk

原帖由 yuba 于 26-6-2009 19:42 发表

                               
登录/注册后可看大图

拷贝用的是什么协议，如果不是ftp协议的话最好用ftp再测一下

从a机拷贝到b机，a机是硬盘读取和网络写出的动作。很难想象60MB/s的读操作占了一个现代处理器一个核心的100%，所以我更倾向是协议层或者是网卡驱动 ...

yuba兄分析得很有道理，用的是scp协议，所以CPU占用率非常高，而且也有可能是因为单个拷贝进程把CPU沾满了，所以无法提升传输速率。

正如yuba兄前面所分析的，RAID6的读取性能确实还可以，我用hdparm（hdparm -Tt /dev/sda）测试过读取速度,
单个SATA硬盘: 80-90MB/s
RAID5(5+1，共6块硬盘SATA)是250MB/s

[root@server7 ~]# hdparm -Tt /dev/sda

/dev/sda:
Timing cached reads:   24552 MB in  1.99 seconds = 12324.57 MB/sec
Timing buffered disk reads:  758 MB in  3.00 seconds = 252.55 MB/sec

RAID6(4+2，共6块硬盘SATA)是270-370MB/s（一共设置了3台RAID6，有一台稳定在350-370MB/s，另外2台稳定在270-280MB/s，还不清楚什么原因）

[root@server4 ~]# hdparm -Tt /dev/sda

/dev/sda:
Timing cached reads:   24452 MB in  1.99 seconds = 12273.72 MB/sec
Timing buffered disk reads:  1108 MB in  3.00 seconds = 369.23 MB/sec

[root@server5 ~]# hdparm -Tt /dev/sda

/dev/sda:
Timing cached reads:   22408 MB in  1.99 seconds = 11244.20 MB/sec
Timing buffered disk reads:  834 MB in  3.00 seconds = 277.95 MB/sec

还没试过RAID0的情况。

ubuntuhk

原帖由 coredump 于 26-6-2009 19:09 发表

                               
登录/注册后可看大图

其实采用RAID0对UB现在手头的机器来说还有一个问题，就是SATA的IO 导致的CPU占有率问题，如果采用SCSI硬盘的话就会好的多。不过没有试验我只是猜测。

如yuba兄提到的，我之前的测试应该是scp协议导致的，SCSI硬盘，我的理解应该是并发性能更好一些，在IO上可能不会有太大的优势，不过我也是没有比较过，所以不敢妄下结论。

SCSI/SAS硬盘目前好像停滞在320GB了，相比SATA硬盘，价格实在太贵了，随着IC技术的发展，我估计SCSI/SAS将来在很多场合可能会被SSD硬盘取代。

ubuntuhk

原帖由 大杨树 于 26-6-2009 17:57 发表

                               
登录/注册后可看大图

拜一下楼顶各位,
现在知道看不懂中文的滋味是多么痛苦

呵呵，隔行如隔山。

不过我准备建立一个名词解释表，把这个帖子里面涉及到的专业术语做一个简单的解释。

ubuntuhk

原帖由 yuba 于 26-6-2009 16:46 发表

                               
登录/注册后可看大图

"本机可以用大胆的RAID 0进行提速，速度更快"
- 不要神话raid0的速度。raid0是同时从2块盘上读取，x(x>=4)块盘的raid6是同时从x块盘上读取。

"大部分数据在本机上（减少网络IO）"
"可以容许2个节点挂掉而不影响 ...

关于网络冗余方面，分析得很有道理，如果我不升级目前的网络硬件条件（使用更高性能的路由器，或网线 to 光纤），还是应该考虑减少网络IO的存储方案。

ubuntuhk

原帖由 coredump 于 26-6-2009 13:40 发表

                               
登录/注册后可看大图

netgrid 是前两年IBM带头吹的buzzword，现在实行由Google吹的Clouding Computing了，其实都是一个东东

对，IBM在无锡建了一个云计算中心，不知道上面都跑些什么服务，给什么类型的企业用。

有关于计算：
http://www.ibm.com/developerworks/cn/linux/l-cloud-computing/

ubuntuhk

原帖由 akai 于 26-6-2009 12:24 发表

                               
登录/注册后可看大图

海量小文件　最可怕．
没有好的办法．　只能金钱换效率．
你如果用NAS　
1.升千兆交换机．　几千块可以搞定
2.买6类线　不能自己作
3.网卡作bonding.　尤其是作nfs的那台　能bonding　4个口更加好．

　

目前的应用和手头已有的数据集来说，其实也不算很海，总数据量小于100GB，不过将来随着系统上线，可能会很海很海。。。，不过这是后话了。

我的交换机现在是个D-Link的廉价千兆交换机（24嘴），已经可以跑千兆了，不过还不清楚总交换容量是否可以达到48Gbps（按全双工，24×2Gbps计算）。

每台服务器有2个网卡，我现在也不清楚Linux是否可以自动地将网络负载均衡到这两个网卡，或者一个网卡满载之后，自动启用第二个网卡，还不清楚是否有软件可以自动测试网卡负载情况，只知道Linux下网卡流量监控可以用iptraf。

这个交换机我还不懂得是否可以bonding。

coredump

原帖由 ubuntuhk 于 27-6-2009 04:46 发表

                               
登录/注册后可看大图

我还不清楚在Linux下如何建立虚拟硬盘，
...

tmpfs或/dev/ram* , see Ramdisk in Linux

yuba

原帖由 ubuntuhk 于 27-6-2009 05:20 发表

                               
登录/注册后可看大图

我的交换机现在是个D-Link的廉价千兆交换机（24嘴），已经可以跑千兆了，不过还不清楚总交换容量是否可以达到48Gbps（按全双工，24×2Gbps计算）。

可以用这个办法测试交换机的实际backplane带宽
1. 拷贝一个大～～文件到A机
2. 从b机ftp get a机的文件，测试点对点速率
3. 从c机ftp get a机的文件，同时从d机ftp get b机的文件，观察2个ftp是否都能达到步骤2的速率。如果能达到，继续，否则，停止
4. 同时a->e, b->f, c->g, d->h，观察4个ftp是否都能达到步骤2的速率。如果能达到，继续，否则，停止
5. 。。。。 （24嘴交换机至少应该到这个步骤）

ubuntuhk

正在测试中，ftp初步测试结果：

1. a->b，速率能达到1Gbps，a机（read）CPU占用率15%，b机（write）CPU占用率30%

2349458826 bytes sent in 21 seconds (1.1e+05 Kbytes/s)

2a.两台主机ftp put同样大小的文件到单一主机（双网卡，不同IP地址）
a->b ip1，速率能达到1Gbps，a机（read）CPU占用率15%，b机（write）CPU 1占用率60-90%
c->b ip2，速率能达到1Gbps，c机（read）CPU占用率15%，b机（write）CPU 2占用率40-80%

2349458826 bytes sent in 21 seconds (1.1e+05 Kbytes/s)

说明：SATA硬盘的并发写的能力比较弱，当出现并发写时，CPU占用率急剧上升

2b.ftp get同一文件到两台主机（双网卡，不同IP地址）
b ip1 -> a, b CPU1占用率为1%，a CPU占用率为30%

2349458826 bytes received in 37 seconds (6.2e+04 Kbytes/s)

b ip2 -> c, b CPU2占用率为1%，c CPU占用率为30%

2349458826 bytes received in 38 seconds (6.1e+04 Kbytes/s)

说明：b应该使用了cache，所以即便是出现并发读取操作，CPU占用率也很低，但是不知道为什么传输速率降低了。

yuba

我那个办法最多只能测到24Gbps，满负荷半双工

能不能再测一下a<->b，看是否双向都达到1Gbps

如果不能的话，应该是磁盘的瓶颈（主要是各自都有1Gbps的写动作），要测试48Gbps就只能用ramdisk了

ubuntuhk

a->b

ftp> put b
local: b remote: b
227 Entering Passive Mode (192,168,0,61,74,248)
150 Ok to send data.
226 File receive OK.
2349458826 bytes sent in 25 seconds (9.3e+04 Kbytes/s)

a<-b

ftp> get b
local: b remote: b
227 Entering Passive Mode (192,168,0,61,76,96)
150 Opening BINARY mode data connection for b (2349458826 bytes).
226 File send OK.
2349458826 bytes received in 31 seconds (7.4e+04 Kbytes/s)

全双工下，总带宽大概在1.7Gbps左右，CPU占用率，a,b均未超过50%。

还算可以的速度。

yuba

原帖由 ubuntuhk 于 27-6-2009 12:19 发表

                               
登录/注册后可看大图

2b.ftp get同一文件到两台主机（双网卡，不同IP地址）
b ip1 -> a
b CPU1占用率为1%，a CPU占用率为30%
引用:
    2349458826 bytes received in 37 seconds (6.2e+04 Kbytes/s)

b ip2 -> c
b CPU2占用率为1%，c CPU占用率为30%
引用:
    2349458826 bytes received in 38 seconds (6.1e+04 Kbytes/s)

说明：b应该使用了cache，所以即便是出现并发读取操作，CPU占用率也很低，但是不知道为什么传输速率降低了。

这个测试案例非常好，结果非常有趣

谁能解释一下可能的原因

ubuntuhk

根据coredump提供的link，很容易就装上了RAMDISK，原来redhat默认是带了16个16MB的RAMDISK，我只需要把默认的16MB改为1GB即可，步骤如下：
(增加红字部分内容，实际大小并非1GB，而是1000000Byte)

1.修改/etc/grub.conf
[quote]
default=0
timeout=5
splashimage=(hd0,2)/grub/splash.xpm.gz
hiddenmenu
title CentOS (2.6.18-92.el5)
        root (hd0,2)
        kernel /vmlinuz-2.6.18-92.el5 ro root=LABEL=/ ramdisk_size=1000000
        initrd /initrd-2.6.18-92.el5.img

2.reboot
3.建立一个mount目录：
mkdir /mnt/rd0
4.将/dev/ram0 -> /mnt/rd0：

1. mke2fs -q -m 0 /dev/ram0
   
2. mount /dev/ram0/ /mnt/rd0

复制代码

5.ramdisk已经在/mnt/rd0了，不过只能给root使用，如果需要给user1使用，则需要设置一下：

1. chown user1.root /mnt/rd0
   
2. chmod 770 /mnt/rd0

复制代码

[/quote]

好了，测试一下ramdisk的速度：

[root@server4 ~]# hdparm -Tt /dev/ram0

/dev/ram0:
Timing cached reads:   24800 MB in  1.99 seconds = 12450.13 MB/sec
BLKFLSBUF failed: Device or resource busy
HDIO_DRIVE_CMD(null) (wait for flush complete) failed: Inappropriate ioctl for device
Timing buffered disk reads:  976 MB in  0.54 seconds = 1819.35 MB/sec
BLKFLSBUF failed: Device or resource busy
HDIO_DRIVE_CMD(null) (wait for flush complete) failed: Inappropriate ioctl for device

根据红字部分，可以看出，RAM disk的速率达到接近15Gbps，不过还是比disk cache慢很多，但是胜在可以当作普通硬盘来用，适合用于保存频繁读写的文件。

另外也看到，RAMDISK不支持一些HDIO操作。

RAMDISK的内存不会开机就占用，只有mount之后才会被真正占用，而且在umount之后，只要reboot，这块内存还是不会被释放，重新mount还会保留原来的内容，只有重新启动才会删除ramdisk设备。

ubuntuhk

刚才用ftp测试ramdisk的文件传输，发现vsftpd也有瓶颈，用ftp localhost，vsftpd CPU占用率达到100%，而传输速度约为500MB/s：

local-ramdisk0 -> local-ftp-ramdisk1

2349458826 bytes sent in 4.6 seconds (5e+05 Kbytes/s)

ramdisk0和ramdisk1均为4000MB，此时系统的内存还是比较充裕的，应该不会影响disk cache：

Mem:  16432240k total, 14369832k used,  2062408k free,  4833752k buffers
Swap:  8289500k total,        0k used,  8289500k free,  9304688k cached

ubuntuhk

a ramdisk0 ->ftp b ramdisk0

2349458826 bytes sent in 23 seconds (1e+05 Kbytes/s)

CPU a：13%
CPU b：50%

ftp b ramdisk1 -> a ramdisk1

2349458826 bytes received in 29 seconds (8e+04 Kbytes/s)

CPU a:33%
CPU b:1%

排除磁盘因素之后，可以看出这个d-link千兆交换机的全双工性能约为: 180MB/s，基本满足我目前的应用。

ubuntuhk

休息一下，下一步准备测试将2块网卡bounding成一个ip地址，实现load balancing的功能。。。。

参考这个link：
http://www.diybl.com/course/6_sy ... 0081011/150083.html

Linux 双网卡绑定一个IP原理及实现

   这里介绍的Linux双网卡绑定实现就是使用两块网卡虚拟成为一块网卡，这个聚合起来的设备看起来是一个单独的以太网接口设备，通俗点讲就是两块网卡具有相同的IP地址而并行链接聚合成一个逻辑链路
工作。其实这项技术在Sun和Cisco中早已存在，被称为Trunking和Etherchannel技术，在Linux的2.4.x的内核中也采用这这种技术，被称为bonding。
　　bonding技术的最早应用是在集群--beowulf上，为了提高集群节点间的数据传输而设计的。下面我们
讨论一下bonding 的原理,什么是bonding需要从网卡的混杂(promisc)模式说起。我们知道，在正常情况下，网卡只接收目的硬件地址(MAC Address)是自身Mac的以太网帧，对于别的数据帧都滤掉，以减轻驱动程
序的负担。但是网卡也支持另外一种被称为混杂promisc的模式，可以接收网络上所有的帧，比如说
tcpdump，就是运行在这个模式下。bonding也运行在这个模式下，而且修改了驱动程序中的mac地址，将两
块网卡的Mac地址改成相同，可以接收特定mac的数据帧。然后把相应的数据帧传送给bond驱动程序处理。
服务器基本上都是有两个网卡，不用浪费了，呵呵！！！
接下来是创建步骤：

1.新建/etc/sysconfig/network-scripts/ifcfg-bond0文件
DEVICE=bond0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.23
NETMASK=255.255.255.224
GATEWAY=192.168.128.233
USERCTL=no

2.更改/etc/sysconfig/network-scripts/ifcfg-eth0网卡属性
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=none
MASTER=bond0
USERCTL=no

3.更改/etc/sysconfig/network-scripts/ifcfg-eth1网卡的属性
DEVICE=eth1
ONBOOT=yes
BOOTPROTO=none
MASTER=bond0
USERCTL=no

4.编辑/etc/modprobe.conf文件,加入以下内容
alias bond0 bonding
options bond0 miimon=100 mode=0

5.加入/etc/rc.d/rc.local启动项
ifenslave bond0 eth0 eth1

6.启动网卡
ifconfig bond0 192.168.128.225 up
ifenslave bond0 eth0 eth1

7.最好重启下机器

可以用测试时可以通过 nload 或者 iftop 工具进行观察效果；很清晰！！！

说明：miimon是用来进行链路监测的。 比如:miimon=100，那么系统每100ms监测一次链路连接状态，如果
有一条线路不通就转入另一条线路；mode的值表示工作模式，他共有0，1,2,3四种模式，常用的为0,1两种
。
mode=0表示load balancing (round-robin)为负载均衡方式，两块网卡都工作。
mode=1表示fault-tolerance (active-backup)提供冗余功能，工作方式是主备的工作方式,也就是说默认情况下只有一块网卡工作,另一块做备份.

yuba

原帖由 ubuntuhk 于 27-6-2009 14:56 发表

                               
登录/注册后可看大图

刚才用ftp测试ramdisk的文件传输，发现vsftpd也有瓶颈，用ftp localhost，vsftpd CPU占用率达到100%，而传输速度约为500MB/s

漂亮

因为是同一台机器，所以ftp client对cpu满负荷也有贡献

这基本上就是在测ftp server, ftp client和tcp/ip协议栈的实现

yuba

原帖由 ubuntuhk 于 27-6-2009 15:05 发表

                               
登录/注册后可看大图

排除磁盘因素之后，可以看出这个d-link千兆交换机的全双工性能约为: 180MB/s

同意

RAID后磁盘IO不是瓶颈

教兽

強帖路過，跟我要做的事情有相似之處：我也是需要一个开源的cluster环境，但对资源有两个层级的需求，因为是移动的增值应用，首先要负载均衡，而后是数据的集中、高速和高可靠性处理-也就是数据库。
读到现在，发现楼主一头扎在细节处理中-调试和学习能力让人钦佩：）但似乎系统的架构并不是很清晰；楼上的高手们几次提到云计算，其实颇有道理：云计算虽然是新瓶装老酒，但也算计算系统架构的一个重大演进，Google和Amazon其实是自觉的实践者(也就是他们是被各自的应用逼迫着向后来被称作云计算的技术演进的，都不是标准的技术），IBM是概念的真正倡导者（为了卖铁嘛）；云计算和以前的Grid computing以及更早的cluster最大的分别在于计算内容跨平台的虚拟化实现，如果楼主的应用可以标准化为非常小的标准化单位应用，则可以考虑Grid computing和云计算，否则就要考虑传统的服务器三层结构，web层、App层和数据库层；考虑到楼主的应用是实验室的应用，Web层和App层可以在一个层部署，但数据层似乎应该分开，这样处理起来就清楚多了：计算逻辑用几台机器做Computing cluster， 而数据库或是专用的数据层则需要另一个HA cluster。
感觉楼主应该先把计算和数据分开，各自选择适合的cluster技术，然后才是网络和内存那些细节问题......
看贴匆忙，谢谢这个贴给我的启示。

ubuntuhk

教授批评得对，我现在主要是关注：
1.存储系统（现在正在做这方面的了解）
2.cluster系统

这两方面的知识和经验我都很欠缺，以前有些一知半解的了解，不过从来没有实践过，这次就是希望先从关键的细节入手，然后再设计合适的Cluster架构。

在应用方面，我的两个应用（当前和将来的应用）关注的重点不同，所以现在还没有设计好一个清晰的架构，等我把当前这个架构设计好之后，对将来的应用可能会有一定启发。

不过教授提到的计算和数据分开两个独立的Cluster来处理，对我很有启发。

ubuntuhk

远程配置网卡bonding失败，导致一台机器暂时无法控制了，在crontab里面设置的一个定时恢复原来的网卡设置也不好使，郁闷ing

现在只有玩剩下的三台机器了。

yuba

cluster建好了以后可以用这个办法测试robustness

ubuntuhk

哪个办法？