找回密码
 FreeOZ用户注册
楼主: ubuntuhk
打印 上一主题 下一主题

[Linux] 讨论帖:建立一个Linux集群(开始配置集群软件,2楼提供更新的目录)

[复制链接]
31#
发表于 25-6-2009 20:00:22 | 只看该作者
系统还好说,总能搭起来

上面的应用就写起来可不容易

评分

参与人数 1威望 +10 收起 理由
ubuntuhk + 10 我很赞同!

查看全部评分

回复  

使用道具 举报

32#
 楼主| 发表于 25-6-2009 20:05:18 | 只看该作者
原帖由 mayabin 于 25-6-2009 18:50 发表
回答你的一个问题,千兆网卡只有百兆速度,如果你用双绞线的话,就是百兆的。 你查一下资料,做SAN或者NAS的都用的光纤传输。所以说网线是瓶颈。


哦,那这是比较郁闷的事情,看来光纤是必不可少的。
回复  

使用道具 举报

33#
发表于 25-6-2009 20:07:36 | 只看该作者
原帖由 mayabin 于 25-6-2009 18:50 发表
回答你的一个问题,千兆网卡只有百兆速度,如果你用双绞线的话,就是百兆的。 你查一下资料,做SAN或者NAS的都用的光纤传输。所以说网线是瓶颈。


5类/超5类双绞线采用1000Base-T的话完全可以上到千兆速度,不过这种线是4对信号线全部都用的(twisted-pair cabling)。同时千兆以太网,采用光纤的优势体现在传输距离上。

see also:http://en.wikipedia.org/wiki/Gigabit_Ethernet

评分

参与人数 1威望 +30 收起 理由
ubuntuhk + 30 谢谢分享!

查看全部评分

回复  

使用道具 举报

34#
发表于 25-6-2009 20:13:05 | 只看该作者
原帖由 coredump 于 25-6-2009 19:07 发表


5类/超5类双绞线采用1000Base-T的话完全可以上到千兆速度,不过这种线是4对信号线全部都用的。


我在国内,没用过这种千兆的超5类线。速度要达到千兆的话,都用光纤了。
回复  

使用道具 举报

35#
 楼主| 发表于 25-6-2009 20:14:17 | 只看该作者

回复 #34 coredump 的帖子

是的,我我刚才google了一下,也找到一些资料:
http://net.chinaunix.net/7/2009/01/19/1358273.shtml
千兆网线制作方法
网友:lenlydia 发布于: 2009.01.19 11:23 (共有条评论) 查看评论 | 我要评论

作为资料保存
千兆5类或超5类双绞线的形式与百兆网线的形式相同,也分为直通和交*两种。直通网线与我们平时所使用的没有什么差别,都是一一对应的。但是传统的百兆网络只用到4 根线缆来传输,而千兆网络要用到8 根来传输,所以千兆交*网线的制作与百兆不同,制作方法如下:1对3,2对6,3对1,4对7,5对8,6对2,7对4,8对5
例如:
一端为:半橙、橙,半绿、兰,半兰、绿,半棕、棕;
另一端:半绿、绿,半橙、半棕、棕,橙,兰,半兰
千兆网线的做法
千兆5类或超5类双绞线的形式与百兆网线的形式相同,也分为直通和交*两种。直通网线与我们平时所使用的没有什么差别,都是一一对应的。但是传统的百兆网络只用到4 根线缆来传输,而千兆网络要用到8 根来传输,所以千兆交*网线的制作与百兆不同,制作方法如下:1对3,2对6,3对1,4对7,5对8,6对2,7对4,8对5
例如:
一端为:半橙、橙,半绿、兰,半兰、绿,半棕、棕;
另一端:半绿、绿,半橙、半棕、棕,橙,兰,半兰
2.AVAYA(CommScope)
单层结构,处理好十字芯,套好扣环,导入导线框架扣好,裁齐.
尾扣在测试通过后用502固定死,外套也要用502固定死.
全过程要小心,仔细,
开绞距离越短越好,1.千兆主干交换机,接千兆分交换机,用什么线?   六类线(CAT6)
2.千兆主干交换机,接百兆分交换机,用什么线?   买带两1000Mbps铜口的26口交换机   .六类线(CAT6)
3.千兆主干交换机,接新服务器,用什么线?   .六类线(CAT6)
4.千兆主干交换机,接老服务器,用什么线?   超五类(CAT5E).,跑100Mbps
5.千兆分交换机,接新机器,用什么线? .预算多就用六类线(CAT6),起码要用超五类(CAT5E).
6.百兆分交换机,接旧机器,用什么线?用超五类.原来有可以不动,质量太差的话剪掉
,全新布过超五类(CAT5E),
以上六类线配六类头,超五类配合屏蔽头(也不贵) ,   保证线和头都要正品!!!
超五类头用AMP压线钳压制,六类头用机压或自做工具压制.线序均按照568B顺序排列,然后用相关检测工具进行测试。

走线要设计合理,保证合适的线缆弯曲半径,两端留出的冗余线缆要整理保护好,盘线时要顺着原来的旋转方向,做好标注.
注意管径和线槽的填充度
6类线做法 1对3,2对6,3对1,4对7,5对8,6对2,7对4,8对5
白橙 橙 白绿 蓝 白蓝 绿 白棕 棕
1   2   3   4   5   6   7   8
白绿 绿 白橙 白棕 棕   橙   蓝   白蓝
这样速度至少达到 300M
针对上面的方法我们作过测试:
环境:H3C千兆交换机,P4 3.0CPU  希捷160G 8M 硬盘 ,超5类双绞线长5米。
文件对拷速度达到 32M/S

评分

参与人数 1威望 +30 收起 理由
coredump + 30 很好的资料!

查看全部评分

回复  

使用道具 举报

36#
发表于 25-6-2009 20:20:42 | 只看该作者
原帖由 mayabin 于 25-6-2009 18:53 发表
再一个,如果你想达到这样的目的,关注的技术不应该局限在文件系统,Raid以及集群软件上。建议你搜索云计算的技术(cloud computing),比如亚马逊的,Google的,有些现成的技术应该能帮到你。


没看到UB有做云计算的需求吧?
如果真的需要的话可以参考Hadoop。

评分

参与人数 1威望 +20 收起 理由
ubuntuhk + 20 哈哈,其实是有的,只不过我还没搞清云和集 ...

查看全部评分

回复  

使用道具 举报

37#
 楼主| 发表于 25-6-2009 20:25:23 | 只看该作者
原帖由 mayabin 于 25-6-2009 18:53 发表
再一个,如果你想达到这样的目的,关注的技术不应该局限在文件系统,Raid以及集群软件上。建议你搜索云计算的技术(cloud computing),比如亚马逊的,Google的,有些现成的技术应该能帮到你。


对不起,我现在还没搞清云计算具体是什么概念。

我现在也在写一些基于这种cluster上的web应用,不过大体的做法也就是前端web服务器+load balance proxy+后端运算/存储集群。
回复  

使用道具 举报

38#
发表于 25-6-2009 20:30:06 | 只看该作者
原帖由 ubuntuhk 于 25-6-2009 19:25 发表


对不起,我现在还没搞清云计算具体是什么概念。

我现在也在写一些基于这种cluster上的web应用,不过大体的做法也就是前端web服务器+load balance proxy+后端运算/存储集群。


Coredump的建议很好,你找些Hadoop的资料,会有帮助的。
回复  

使用道具 举报

39#
 楼主| 发表于 25-6-2009 20:40:51 | 只看该作者

回复 #39 mayabin 的帖子

嗯,好,不过现在先要解决系统搭建的问题,如果需要做云计算开发,系统搭建上需要注意什么事项吗?还是非得用google、amazon的云计算服务,我可租不起
回复  

使用道具 举报

40#
发表于 25-6-2009 20:46:01 | 只看该作者

回复 #40 ubuntuhk 的帖子

你也可以简单说说到底是些什么类型的应用,说不定会有更适合的方案呢,最简单的就是只做集群存储。
回复  

使用道具 举报

41#
 楼主| 发表于 25-6-2009 20:52:19 | 只看该作者

回复 #41 coredump 的帖子

我所做的应用主要是围绕语音和图像处理的,现在这个集群是给语音、图像识别训练用的,特点:
1.需要大量的语音(或图像)文件作为训练数据(需要存储空间)
2.需要并行运算,对语音(或图像)进行处理,建立模型
这个系统只是局域网,单个机房里面存放即可,外面只需要能ssh进来进行控制。

将来要做的应用是基于集群上的语音(或图像)识别处理,特点:
1.不需要太大的存储空间
2.需要大量的网络带宽,以接受并发连接
3.需要大量的运算单元,将接收到的语音进行处理,并通过web将结果返回给用户
4.需要部署在不同的数据中心,要定时进行数据同步
这个应用我希望能应用云计算的概念和系统。
回复  

使用道具 举报

42#
发表于 25-6-2009 21:00:42 | 只看该作者

回复 #42 ubuntuhk 的帖子

我怎么看着挺像绿霸的后台服务啊

这个应用倒是非常适合分布式并行运算的,用Hadoop这样的系统建模可以,用PVM,MPI这样的经典并行计算环境也不错,后者的话可以结合HPC Cluster软件Bewolf来构建系统。

如果很有毅力的话,可以钻研下CERN的ROOT系统, 人家是用来分析对撞机数据的,每天都是好几个PB的数据呢。ROOT里面有个PROOF模块提供了分布式存储和分布式并行计算的框架。不过这整个框架是完全用C++实现的,对C++不感兴趣的话就不要选了。这里有我写的C++ ROOT 框架简介

评分

参与人数 1威望 +30 收起 理由
ubuntuhk + 30 谢谢,我就希望C++的方案:)

查看全部评分

回复  

使用道具 举报

43#
 楼主| 发表于 25-6-2009 21:02:58 | 只看该作者

回复 #43 coredump 的帖子

嘘~~~,将来万一出现声爸系统,那就是我们做的
回复  

使用道具 举报

44#
 楼主| 发表于 25-6-2009 21:04:15 | 只看该作者
show一张裸照
回复  

使用道具 举报

45#
发表于 25-6-2009 21:13:56 | 只看该作者
原帖由 ubuntuhk 于 25-6-2009 19:52 发表
将来要做的应用是基于集群上的语音(或图像)识别处理,特点:
1.不需要太大的存储空间
2.需要大量的网络带宽,以接受并发连接
3.需要大量的运算单元,将接收到的语音进行处理,并通过web将结果返回给用户
4.需要部署在不同的数据中心,要定时进行数据同步
这个应用我希望能应用云计算的概念和系统。


这样的计算密集型的系统适合用NIVIDA Telsa这样的系统,用CUDA/OpenCL SDK进行开发,性价比那是相当得高。

评分

参与人数 1威望 +30 收起 理由
ubuntuhk + 30 谢谢分享!

查看全部评分

回复  

使用道具 举报

46#
 楼主| 发表于 25-6-2009 21:28:00 | 只看该作者
原帖由 coredump 于 25-6-2009 20:13 发表

这样的计算密集型的系统适合用NIVIDA Telsa这样的系统,用CUDA/OpenCL SDK进行开发,性价比那是相当得高。


这个好像有点像非常规的系统了,有商用的吗?
回复  

使用道具 举报

47#
发表于 25-6-2009 21:44:53 | 只看该作者

回复 #47 ubuntuhk 的帖子

http://www.nvidia.com/object/tesla_testimonials.html

CUDA是Navida专有的API,OpenCL是标准,以后应该是OpenCL为主,mac os x新版就采用了OpenCL
回复  

使用道具 举报

48#
 楼主| 发表于 25-6-2009 21:53:51 | 只看该作者

回复 #48 coredump 的帖子

就是说只要采用了Navida的GPU的PC机,就可以采用这个CUDA来进行开发应用程序?
回复  

使用道具 举报

49#
发表于 25-6-2009 21:56:27 | 只看该作者

回复 #49 ubuntuhk 的帖子

对,ATI的卡也有类似API,不过未来都会支持OpenCL标准,就像现在大家支持OpenGL一样。
回复  

使用道具 举报

50#
 楼主| 发表于 25-6-2009 21:58:34 | 只看该作者

回复 #50 coredump 的帖子

这个和我现在的任务(建立Linux集群)差的有点远,先保持关注,以后再论,不过这倒是拓宽了我的视野。
回复  

使用道具 举报

51#
发表于 25-6-2009 22:20:43 | 只看该作者
这篇分析文章不错:What is the Best Clustered File System
回复  

使用道具 举报

52#
 楼主| 发表于 25-6-2009 22:34:47 | 只看该作者

回复 #52 coredump 的帖子

好文,学习ing~~
回复  

使用道具 举报

53#
发表于 25-6-2009 22:39:01 | 只看该作者
20090625A:要做有共同存储的集群,应该有共同的存储系统,一般就是磁盘阵列,必须的,多台机器的存储,不能相联
在存储系统上要装文件系统,redhat有,但是要买的,好像没有免费下载的,还有更多的文件系统更贵
千兆的跳线(6类,超5类)不建议自己做,网上有卖的30-50一根,德国科隆,质量不错
如果只是做集群(比如提供集群的文件服务,但是不可能做到存储容量相加),可以不需要共同存储;
一般不建议建单个卷容量大于2T,要容量大于2T,可以将容量小一点的卷建立逻辑卷

[ 本帖最后由 hchen01 于 25-6-2009 21:43 编辑 ]

评分

参与人数 2威望 +60 收起 理由
coredump + 30 谢谢分享!
ubuntuhk + 30 兄弟是专业人士吧,请多多指教~~

查看全部评分

回复  

使用道具 举报

54#
 楼主| 发表于 25-6-2009 22:51:59 | 只看该作者

回复 #54 hchen01 的帖子

》》多台机器的存储,不能相联
是不是指,不应该用GFS这样的文件系统,将每个机器的存储空间整合在一起?应该把存储集中到单台机器/存储点?

本来考虑购买一个MD1000或MD3000作为存储系统,不过没搞懂之前,不想乱花钱,所以现在就把每个机器都配上一个小型磁盘阵列。

对于我第一步的应用来说,主要用于训练各种模型,所以需要较大的存储容量(目前2TB也足够了),磁盘的并发性要求不高,但是要求多个计算节点都能同时访问特定的存储内容。

我是不是可以这样做,把其中一台服务器作为一个集中存储点,供集群内的其它服务器访问?
回复  

使用道具 举报

55#
发表于 25-6-2009 22:53:37 | 只看该作者

回复 #55 ubuntuhk 的帖子

也行,其实就用NFS貌似也就差不多满足你的需求了。
回复  

使用道具 举报

56#
 楼主| 发表于 25-6-2009 23:24:23 | 只看该作者

回复 #56 coredump 的帖子

不是吧,难道我舍近求远了?
回复  

使用道具 举报

57#
发表于 25-6-2009 23:55:24 | 只看该作者

回复 #57 ubuntuhk 的帖子

天花乱坠一番又绕回来了
回复  

使用道具 举报

58#
发表于 25-6-2009 23:58:54 | 只看该作者
原帖由 ubuntuhk 于 25-6-2009 17:47 发表
对的,目前没有SAN或NAS,4-5台2950的服务器,每台各带6*1T硬盘,希望能建立一个可扩展的存储系统和集群,充分利用集群里各个CPU的性能,并且将来可以增加集群节点和NAS/SAN。

是不是这种分布式存储也会影响每个节 ...


肯定影响了. 而且会影响网络io.
我没有搞过存储分布在各个node中架构. 我个人感觉这种架构都是那种存储量以及i/o不大的计算模型准备的.
强调的是各个node之间的cpu的协调运算以取得高性能运算能力.
如果存储量很大的话.各个节点之间交换数据就会把network给封住.
如果说单独给存储的流量走另外的网路, 那不就是SAN的架构了?
我对集群什么的也是半瓶醋.所以我理解这好像是个悖论.
所以就算各个node已经组成了一个超级计算机.而且内部node之间是高速联接的
不存存储数据block网络的问题, 那和把所有硬盘都集中成SAN有什么区别呢?
而上述的高速联接的条件u版目前是不具备的.即使是千兆以太或者光纤.
所以u版目前的这些条件只能是架构一个对存储i/o要求不高的架构.
否则必须得有SAN.

评分

参与人数 1威望 +30 收起 理由
ubuntuhk + 30 谢谢分享!

查看全部评分

回复  

使用道具 举报

59#
发表于 26-6-2009 00:07:53 | 只看该作者

回复 #59 akai 的帖子

这么说也对也不对。

像Google, Yahoo这种海量存储也都是采用类似lustre这样的分布式存储的,所以分布式存储不存在IO瓶颈问题,不过前提是设计得当,而且还比SAN来得灵活和便宜。我倒觉得小规模的节点上体现不出来集群存储的优势。

SAN主要还是用在中型的存储场合,比如一个企业的生产数据,银行证券这样的后台应用等,不过SAN对UB这样的需求来说就太昂贵了点。除非选择那些入门级的SAN产品。

评分

参与人数 1威望 +30 收起 理由
ubuntuhk + 30 谢谢分享!

查看全部评分

回复  

使用道具 举报

60#
发表于 26-6-2009 00:16:37 | 只看该作者

回复 #60 coredump 的帖子

ok. yahoo google这些分布式存储 如果节点A要访问的数据 存放在节点B和节点C那里. A是通过什么联接方式取得B和C的数据呢?网卡?
这样作的好处 是不是说把 SAN中的需要i/o计算的部分 分摊到各个node上了?

不过我的确是糊涂了.
让google用SAN想想就觉得是搞笑的事情.
可能lustre对比sAN的优势 是在超大规模上.
node越多 i/o或者cpu的消耗 是作除法. 而san却是作加法..

[ 本帖最后由 akai 于 25-6-2009 23:20 编辑 ]

评分

参与人数 1威望 +30 收起 理由
ubuntuhk + 30 谢谢分享!

查看全部评分

回复  

使用道具 举报

您需要登录后才可以回帖 登录 | FreeOZ用户注册

本版积分规则

小黑屋|手机版|Archiver|FreeOZ论坛

GMT+11, 14-12-2024 08:12 , Processed in 0.037487 second(s), 47 queries , Gzip On, Redis On.

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表