DNS规模故障追踪：由24岁站长引发的蝴蝶效应

coredump

DNS规模故障追踪：由24岁站长引发的蝴蝶效应

发布者：Send_linux 　日期： 2009.05.22 09:07　(共有25条评论) 查看评论 | 我要评论

新浪科技讯 5月22日凌晨消息，24岁的免费域名服务商DNSPod站长吴洪声在2天2夜没有合眼后，决定主动约见媒体，就5月19日晚间多省大规模网络故障事件做出说明。在吴洪声看来，这次由DNSPod遭到恶意攻击引起的事故是一场蝴蝶效应：他的DNSPod是蝴蝶扇了下翅膀，暴风影音就成为了太平洋上的风暴。 　　18日晚：蝴蝶的翅膀 　　吴洪声直到20号下午才意识到，19日晚上大规模的网络故障与自己的DNSPod有关。此前的一天里，他一直忙于处理网络故障：18日晚上22点左右，DNSPod设在江苏常州的主站及多个DNS服务器遭受超过10G流量的恶意攻击。 　　最开始吴洪声并不知道DNSPod主服务器IP被封，是朋友告诉他DNSPod无法访问。当他一层一层找到常州机房查询时，才知道已被电信查封，原因是遭遇恶意攻击。对吴洪声来说，DNSPod遭遇攻击并不是天大的事情，此前最严重时DNSPod遭遇过24G流量攻击，只不过这一次江苏常州主站的流量异常引起中国电信关注，并强制封掉IP。 　　此举导致运行在DNSPod免费服务器上的10万个域名均无法解析。这些域名包括地方门户、信息港、个人站长小网站和企业网站，也有24小时后引起网络瘫痪的暴风影音。虽然至今没有任何关于黑客的详细信息，但有历史可查的是，DNSPod曾因为私服互相掐架遭受攻击。 　　在随后时间里，吴洪声忙于更换DNSPod的IP、处理被攻击事件。19日晚上，江苏、安徽、广西、海南、甘肃、浙江六省陆续出现大规模网络故障，吴洪声也是遭遇网络瘫痪用户之一，但他并未多想，仅以为黑客已经猖狂到连地方DNS都攻击的地步。 　　19日晚：太平洋的风暴 　　做DNSPod在3月之前只是吴洪声的一项业余爱好，当时他是MySpace的一名员工。他的DNSPod网站拥有16台服务器，其中免费服务器4台，一些私交较好网站使用的专用服务器4台。他服务的对象包括Verycd、雨林木风、4399、小游戏、暴风影音等。遭到攻击的正式服务包括暴风影音的免费服务器。 　　值得注意的是，18日晚上暴风并未出现太大问题。吴洪声的解释是DNSPod协议上有缓冲时间，请求解析一次后，一天内不用再次访问DNSPod。也正是由于缓存的存在，一直正常的表象并没有让吴洪声意识到攻击将引起大面积瘫痪事故。 　　遭遇攻击24小时后的19日21点左右，暴风影音域名的缓存在各地DNSPod服务器上均失效，大量不断的访问开始堆积，电信DNS服务器访问量突增，网络处理性能下降，造成大规模的网络故障。在零点以前，部分地区运营商将暴风影音服务器IP加入DNS缓存或者禁止其域名解析，网络情况才陆续开始恢复。 　　吴洪声依然忙于解决18日晚的攻击问题，直到20日下午有朋友告诉他，19日晚大面积故障可能与DNSPod有关，他才恍然大悟。此时工信部已召开紧急会议，暴风高层也联系到吴洪声，商量后续备份域名服务器问题。紧接着21日，工信部联合暴风及DNSPod准备向公安局报案。 　　偶然中的必然事件 　　吴洪声认为这件故障是凑巧因素引起的偶然事件，但也是必然会发生的。“因为DNS作为一个最基础的服务，没未被多少人熟知，大家对它的关注可以说是基本没有的。”他指出，目前Web防范措施已经比较完善，但基于DNS的防范依然很弱，易被黑客利用攻击。 　　吴洪声透露，国内私服每个月都要花费200-300万元攻击对手。一般做出一个G的攻击流量需要花费4-5万元。流量都是通过“肉鸡”打出来，24G的流量大概需要几百万到几千万台肉鸡。对私服来说，攻击防范薄弱的域名解析无疑是最有效的办法。 　　据吴洪声介绍，目前国内做DNS行业大概有十几家，基本都是免费。因为没钱买专业设备，使用智能DNS解析的多是小网站。目前DNSPod依然是个人网站，而不是一个公司，没有收入和资金去维护，每个月吴洪声都会有几百到几千元不等的“倒贴”。目前其网站注册域名有30多万个，每天拥有20亿次请求，实际使用的域名大约为10万个。 　　虽然并没有用户向吴洪声提出索赔需求，多数用户表示对他理解和支持，但也有不少言论认为他为了准备收费，拿用户利益去做铺垫。对此吴洪声感到有些委屈，他认为自己也是受害者，同时也担心未来无法继续做域名解析业务，或者遭遇用户索赔。

ritz

典型的PR文章，暴风影音的那个也有点PR

真正的原因是GFW升级出事故了

klux

原帖由 ritz 于 24-5-2009 21:09 发表

                               
登录/注册后可看大图

典型的PR文章，暴风影音的那个也有点PR

真正的原因是GFW升级出事故了

req 内幕

ubuntuhk

和GFW还有关？

我还以为就是经济利益引发的攻击呢。

key

原帖由 ubuntuhk 于 24-5-2009 22:52 发表

                               
登录/注册后可看大图

和GFW还有关？

我还以为就是经济利益引发的攻击呢。

觉得有点吹水的嫌疑。

DNS解析不正确，那就不正确呗。发行53端口的UDP包转几下然后由最近的一个服务器返回请求失败即可。
我没有很认真的看过BIND的代码，但就算最白痴的程序都知道需要cache那些解析不到的域名，而不是
每次都去碰运气啦。

ubuntuhk

这次事故是确实发生了，DNSPod上面的DNS解析默认设置的cache时间可能比较短，所以当主DNS服务器失效一段时间之后，cache就不起作用了。

这次据说是因为影音风暴这个软件，因为内置了网络广告模块（靠这个盈利），所以当解析失败之后，会频繁发起DNS解析，而中国电信对于失败的DNS解析都会“劫持”到自己的DNS服务器上，最后导致中国电信的DNS不堪负荷，从而导致大面积的断网服务。

key

原帖由 ubuntuhk 于 24-5-2009 23:19 发表

                               
登录/注册后可看大图

这次事故是确实发生了，DNSPod上面的DNS解析默认设置的cache时间可能比较短，所以当主DNS服务器失效一段时间之后，cache就不起作用了。

这次据说是因为影音风暴这个软件，因为内置了网络广告模块（靠这个盈利）， ...

那就是暴风影音的程序没写好
电信的DNS程序也没改动了。

ubuntuhk

嗯，应该是没考虑到DNS失效的情况，检测到网络是通的，就疯狂地发起网络广告链接请求。

这次电信的DNS服务器估计也喝了好大一壶，不敢再干劫持DNS的事情了。

klux

暴风影音已经在cb上被口水淹死了，成为又一流氓软件代表

ubuntuhk

cb是啥？

klux

cnbeta.com

ubuntuhk

不错，转一个：
。。。
http://cnbeta.com/articles/85002.htm

那么,暴风影音又为何会具有如此大的能量,足以让中国互联网出现全国性故障呢?

“暴风影音”原本是一款打包国外播放器源代码并将其汉化的本地媒体播放软件,因为支持了市面上所能看到的绝大部分媒体格式,深得中国网民的喜爱,进而凭借其良好口碑以及各种电脑入门杂志、网站的推荐,成功占领了全国近半数网民的桌面.

但随着其装机量的不断增长,面对庞大的用户规模,暴风影音不再甘心只做一个本地的播放软件.随着一些自动启动、自动弹窗、甚至隐蔽进程等“新特性”的加入,暴风开始不厌其烦的通过其后台进程与暴风网站进行通信,下载广告并把广告等内容即时推送到用户桌面.由于其强悍的后台进程设计,大多数用户也越来越难以将其彻底卸载,客观上甚至还形成了更大规模的用户群.

回顾本次事故,也正是因为暴风影音在用户不知情的情况下安装运行的自动联网的后台进程,在数以亿计用户规模的放大之下,才最终促成了这起罕见的网络故障的发生.

网易科技认为,暴风影音作为一款拥有庞大用户资源、甚至足以左右国内网络通信稳定的商业软件,更应该加强自律和自省.对于这起事故而言,即使是有意为之还是无心之过,都理应懂得为其软件缺陷(或是“有意留的后门”)承担起责任来,而不是继续以受害者自居躲在公众疑问的背后.

ritz

中国的流氓软件产业链很强大的，产值比中国软件产业大多了

ubuntuhk

流氓成性，不流氓就活不下去，不是件好事

key

原帖由 ubuntuhk 于 25-5-2009 00:09 发表

                               
登录/注册后可看大图

流氓成性，不流氓就活不下去，不是件好事

同感
包括象腾讯，网易这样的大公司，
也是以流氓行为来经营

ubuntuhk

百度、3721、verycd、迅雷。。。。。。。。。
（不过话说回来，有些东西也适合国情，为了获得一点网上娱乐，大家伙也不太介意被流氓。）

hm40419

别把什么屎盆子都往暴风影音这种民营企业身上扣。

一个民营IT网站，走到这一步很不容易。

在这里，我可以负责任的说，这次网络故障是GFW造成的。
GFW在封杀国外网站的时候，没处理好FIREWALL程序代码造成的。

绝对不是暴风影音这种小软件引起的，

鄙视那种自己犯错的，就把屎盆子往那些没背景的民营企业上扣的行为。

klux

原帖由 hm40419 于 25-5-2009 10:49 发表

                               
登录/注册后可看大图

别把什么屎盆子都往暴风影音这种民营企业身上扣。

一个民营IT网站，走到这一步很不容易。

在这里，我可以负责任的说，这次网络故障是GFW造成的。
GFW在封杀国外网站的时候，没处理好FIREWALL程序代码造成的。 ...

你有什么内幕吗？拿出来看看阿

klux

原帖由 hm40419 于 25-5-2009 10:49 发表

                               
登录/注册后可看大图

别把什么屎盆子都往暴风影音这种民营企业身上扣。

一个民营IT网站，走到这一步很不容易。

在这里，我可以负责任的说，这次网络故障是GFW造成的。
GFW在封杀国外网站的时候，没处理好FIREWALL程序代码造成的。 ...

强调”民营“有毛用，又要扛出民族主义大旗了？

someonehappy

嗯，支持用事实说话。

是不是事实，把问题技术细节讲细一些，就容易分辨了。

四香油饼

看不懂

ubuntuhk

http://bbs2.chinaunix.net/viewth ... p;extra=&page=1

网易科技讯 5月24日下午消息，针对5月19日的网络阻塞事件，暴风公司今日向网易科技发来公开信，承认由于其产品和服务上存在缺陷导致事件影响扩大，并称暴风影音已经对软件进行机制修改，程序开发已于今日完成，会马上投入测试和用户更新中。

“产品服务的方面，暴风软件的升级机制，存在在网络环境异常情况（如DNS中断）下的考虑不足，”暴风影音在公开声明中表示，“暴风公司立刻开始进行机制的修改。暴风已于本周日完成程序开发，并马上投入到测试和用户更新中。”

这是暴风公司首次承认其软件更新机制有问题，也是在5月19日断网事件发生以后，首次表示承担事件部分责任。

2009年5月19日晚，全国部份省市互联网一度瘫痪，而中国电信第一时间公布的数据显示，在导致网络瘫痪的巨大域名解析诉求中，来自暴风影音的流量高达40%。

不过，一位资深业界人士对网易科技表示：“暴风影音的公开信避重就轻，从根本上来看还是一个公关托辞。并没有对关键问题进行说明，包括发生断网当时40%来自暴风的数据量到底是怎么产生的，以及为什么暴风软件会在未开启的时候也悄然在后台运行程序。”（张娟）

以下是暴风影音公司发来的公开信全文：

暴风公司关于断网事件向网民和新老用户的公开信

各位网民及暴风的新老用户：

在“5.19网络阻塞”事件中，网民和众多暴风影音新老用户的正常生活和工作都受到了影响。在这一事件当中，和众多受害者一样，暴风影音也蒙受了巨大的损失，但作为事件涉及的重要一方，同时，特别是当有声音质疑暴风并未承担起对用户的责任，暴风意识到需要再次对广大网民和用户表示歉意和进行说明。

在事件发生后，暴风进行了反思，该事件因涉及暴风而扩大了影响，表现出公司在提供的产品和服务上存在不足，需要我们及时完善。暴风公司高度重视这一点，并立刻展开了相关工作，在此也感谢用户和网民及时提出的任何建议和意见。

自19日晚以来，暴风公司几乎倾注全面精力，进行了以下工作：

1、19日晚开始，就在工信部领导下，配合电信、网通，以及dnspod，积极应对处理网络中断问题。协助恢复网络正常服务。工信部已于20日晚发布正式通告，表示“截至20日凌晨1时20分，受影响地区的互联网服务基本恢复正常”。

2、积极收集证据，配合dnspod报案，配合工信部网络安全保障局和公安局网监处调查案情，争取早日捉拿对dnspod发起攻击的事件始作俑者。5月23日晚，dnspod和暴风公司已经将整理好的相关材料和服务器数据上交公安局网监处，正式完成报案程序。

3、在19日晚暴风域名解析服务器发生中断时，迅速协调替代方案，转移DNS域名解析地址。同时，开始紧急部署备份域名解析服务器，并于5月22日完成部署上线，由此杜绝此类问题的再次发生。

4、产品服务的方面，暴风软件的升级机制，存在在网络环境异常情况（如dns中断）下的考虑不足。暴风公司立刻开始进行机制的修改。暴风已于本周日完成程序开发，并马上投入到测试和用户更新中。

最后，暴风一直以来受到广大用户、业界人士和媒体的关注和支持，在此，暴风表示深深的感谢。断网事件发生以来，众多的用户、媒体包括产业人士给予了暴风很大的理解和支持，对于你们的安慰、建议，暴风更是感激。暴风会尽全力配合司法部门尽早缉拿犯罪分子。

暴风网际科技有限公司

2009年5月24日 (本文来源：网易科技报道 )

ubuntuhk

兄弟好像是个知情者，如果不涉及国家机密，给我们讲讲？

key

原帖由 ubuntuhk 于 25-5-2009 16:16 发表

                               
登录/注册后可看大图

兄弟好像是个知情者，如果不涉及国家机密，给我们讲讲？

我还是觉得因为某个软件的问题以及DNS问题而导致的所谓大面积网络瘫痪有点言过其实。
DNS是通过UDP发包的，每个包的大小大概是42个字节（not sure，http://www.cs.columbia.edu/~hgs/internet/dns-example.html)

文中说，有上亿用户在用暴风，这也有点神奇。中国一共有13亿人口，其中8亿是农民兄弟（可能包括民工同志），上网条件差一些。
我估计条下的至少有20%是18岁以下的中学生，需要上学的，40%是上班的白领红领黑领，在公司没理由暴风的，余下大概就是2亿人，
也就是说，这2亿人中，超过一半人安装了暴风，而这些人都在线，并持续在线（发包）。那暴风影音在中国的影响可要超过QQ之流了。
我印象中腾讯去年才有上亿的在线（还是4kw在线，我不记得了），而且腾讯那个绝对有水分，因为很多无聊人同时开了多个Q的。但没有人
会在电脑中装多个暴风而又同时启动吧？

不单如此。我们还要假设所有的DNS请求都全完缓冲，直接指向ChinaNet的最终解释点。要知道DNS是目录树结构，分层解析的。比如
清华大学的用户都只会问清华大学的DNS要求域名解析，而再由清华大学把解析请求转发出去。如果一个域名长期无效，在本地的DNS就已
经把结果cached下来，马上返回，而不是每次都代为转发一次（把你当做DNS你也不会这么傻啦）。除此以外，Windows自己也有DNS Cache，
尤其是查询出错的，具体有多久的cache，可能要找个win下的程序员问问才知道。如果需要，我可以查一下linux下的resolv部分代码
是怎样cache的，估计win也差不多。

所以无论怎样，通过非故意的DNS查询到达使整个网络瘫痪的可能性非常小。除非暴风写了程序来通过客户机攻击某些DNS服务器，而不是
通过正常的DNS解析来最后汇聚成大量的请求。

coredump

......过一半人安装了暴风，而这些人都在线.......
    暴风的问题是不管是否在线，都会在后台运行，只要机器开着并联网就有潜在的破坏力。
。。不单如此。我们还要假设所有的DNS请求都全完缓冲
   的确是缓存失效以后才爆发的故障


。。。。。DNS Cache
    有的DNS Cache的expire是DNS域名自己规定的，比如有些动态DNS是根本不缓存的，每次都必须解析，像一些提供动态DNS服务的域名就是这样的。DNSPod如何实现我不清楚，如果是这样实现的，而且暴风是DNSPod的用户的话，则DNS Cache没有作用的

key

原帖由 coredump 于 25-5-2009 17:15 发表

                               
登录/注册后可看大图

......过一半人安装了暴风，而这些人都在线.......
    暴风的问题是不管是否在线，都会在后台运行，只要机器开着并联网就有潜在的破坏力。
。。不单如此。我们还要假设所有的DNS请求都全完缓冲
   的确是缓存失效 ...

问题是现在解释失败了。如果解析成功，那expire time可由这个package来定义，但解析失败，就不到它说话了吧？
有时间可以写个程序专门解析一些不存在的域名，看是不是每次都找？

klux

感谢匿名人士的投递
新闻来源:原创
最近在CB上看到多篇存在关于DNS故障的文章，其中大多存在谬误，让人产生问题在于DNS
Pod，而暴风影音是无辜的受害者的错觉。这里我觉得有必要出来说说DNSPod才是无辜受害
者，错全在暴风（还有黑客）。首先说说DNS是怎么注册的：

一个域名注册成功以后上级域名的拥有者把这个域名的解析授权（Delegate）给用户指定
的域名服务器，此时该服务器成为该域的权威（Authoritative）服务器，一切到该域名的
查询以此服务器提供的结果为准。（也存在不授权只设置NS记录的情况。）

比如新浪注册了sina.com，向VeriSign交了钱以后，VeriSign在他们的根域名服务器里面
添加如下的记录：

sina.com.               60      IN      NS      ns3.sina.com.cn.
sina.com.               60      IN      NS      ns1.sina.com.cn.
sina.com.               60      IN      NS      ns2.sina.com.cn.
ns1.sina.com.cn.        37305   IN      A       202.106.184.166
ns2.sina.com.cn.        37305   IN      A       61.172.201.254
ns3.sina.com.cn.        37305   IN      A       202.108.44.55

然后我们看如何解析：
因为DNS是非常基础的服务直接关系到网络访问的效率，所以DNS是采用多级缓存的方式运
作的。通常一个程序发出DNS请求以后，系统会先搜索自己的DNS 缓存，没有找到则会向网
络设置中的DNS服务器发出请求。对一个电信用户来说这个服务器被DHCP协议自动配制成电
信指定的服务器。

电信的DNS服务器在收到请求后还是检查自己的缓存，与个人电脑的缓存机制不同的是，一
般公共DNS服务器为了加快解析减少流量，都将一个成功的解析缓存域名记录中指定的最长
时间（即TTL值，常见的是3600秒）。但如果缓存里没有这个域名的记录，此时根据配置不
同有两种选择：一是向自己的上级DNS服务器请求（Forwarder），二是从root-hints开始
逐级向下解析。比如当收到www.sina.com的请求的时候，DNS发现缓存里有.com的域名的N
S（域名服务器指向）记录，随即向该服务器请求sina.com，获得一个新浪的域名的NS记录
以后转而向该服务器请求 www.sina.com。新浪的服务器返回结果，解析成功并将结果返回
用户，同时将中间所有的结果都缓存下来以备下次使用。

从上面的过程可以看出，绝大多数的用户频繁访问的域名都已经在比较低级的DNS缓存了，
一般几小时才会向该域名 的权威服务器发送请求。

再来看看此次断网事件：
首先DNSPod被攻击了，其实在断网前几天DNSPod的Web服务器（和NS1）也被攻击过。因为
流量巨大，当地电信在骨干网上封掉了他们电信主域名服务器的IP。

3600 秒以后，缓存在各地DNS服务器上的暴风的记录过期，但此时暴风指向DNSPod的NS记
录还没有过期（一般是24小时），于是各地的DNS继续向已经被封掉IP的服务器发送查询。
由于域名查询使用UDP协议，服务器不会马上意识到对方主机已经下线（也可能与电信封I
P的方式也有关，没有返回ICMP 包），在超时以后才放弃查询。但由于DNS服务器一般被配
置为不缓存失败的查询，所以下一个DNS请求来的时候它还是得去向那个封掉的IP发送查询
。
（注意此时DNSPod的IP被电信封了，后续所有的内容都和DNSPod无关。）

然后我们看看暴风客户端在干什么，首先它很”无辜“地向自己的服务器请求一个广告或
者升级，于是需要解析服务器的域名。电信的DNS服务器收到请求以后，等待两秒没收到结
果，只好对客户端说sorry。可是暴风客户端马上开始重试重试再重试，于是全国上亿的暴
风用户都向DNS服务器发出的请求。由于这些服务器始终无法解析出域名，这些请求逐渐被
堆积在内存里。最悲哀的是每个请求需要有一个请求ID以对应每一个客户端，而这个ID数
量是有限的，当并发请求数达到一定数量的时候内存或者ID耗尽，服务器拒绝服务了。

从以上可以看出，此次的元凶除了最早攻击DNSPod的黑客以外，大概就是暴风流氓式的程
序设计了。


http://www.cnbeta.com/articles/85030.htm

key

原帖由 klux 于 25-5-2009 17:45 发表

                               
登录/注册后可看大图

可是暴风客户端马上开始重试重试再重试，于是全国上亿的暴
风用户都向DNS服务器发出的请求。由于这些服务器始终无法解析出域名，这些请求逐渐被
堆积在内存里。最悲哀的是每个请求需要有一个请求ID以对应每一个客户端，而这个ID数
量是有限的

存在谁的内存？不要说到整个ChinaNet就只有一台DNS嘛，呵呵。
这个所谓“匿名人士”应该还是那帮炒作的人
总之，如果单单是因为DNS请求而导致网络出问题，那是绝不可能的。

再者，请求也不会“堆积”在内存中，最多一两分钟，一个IP包就会在网络上消失，
谁也不会keep住一个ip包一两小时。

klux

原帖由 key 于 25-5-2009 18:19 发表

                               
登录/注册后可看大图

存在谁的内存？不要说到整个ChinaNet就只有一台DNS嘛，呵呵。

不止一台也可能全被耗尽的阿。。。

总之，如果单单是因为DNS请求而导致网络出问题，那是绝不可能的。

这么绝对。。。我不懂网络，谁给解释一下

再者，请求也不会“堆积”在内存中，最多一两分钟，一个IP包就会在网络上消失，
谁也不会keep住一个ip包一两小时。

那所有DOS攻击都是不可能的了？

我不懂网络，不过暴风自己都承认了，我看可能性还是很大的。除非谁给个更令人信服的解释

熊猫阿三

我是亲历受害者啊...  那晚上突然就上不了网，解析不了DNS.... 暴风阴影的确是有垃圾启动项目的，具体干什么我倒是没注意过。我今天回去看看网络进程有没有可疑的....