由OpenAI引发的AI地震让人想到了“巴别塔”

chubbycat

       
                由OpenAI引发的AI地震让人想到了“巴别塔”         2023-11-22 17:30:48                
               
       


就在数小时前，美国各大媒体都争相报出了有关OpenAI的最新消息，CNN采用的标题是“山姆·奥特曼（Sam Altman）重返OpenAI，命运发生离奇逆转”。报道称：奥特曼周二在X上发布消息说，他已同意重返OpenAI担任CEO。

OpenAI表示：“我们已经原则上达成协议，奥特曼将重返OpenAI担任CEO，同时成立新的董事会。董事会由Salesforce前联席CEO布雷特·泰勒（Bret Taylor）、前财政部长拉里·萨默斯（Larry Summers）和现董事亚当·德安杰洛（Adam D'Angelo）组成，泰勒为董事长。我们正在合作制定细节。”

持续了近一周的过山车般的闹剧似乎就此可以收场了。

这种“打脸”式的反复与“反悔”，或许是OpenAI无奈中作出的选择！

就在11月17日，这家全球炙手可热的美国硅谷人工智能公司突然间毫无预警地公开发布声明，将CEO山姆直接从公司开掉！同时被罢免的还有董事长兼总裁格雷格·布罗克曼（Greg Brockman），后者干脆选择了退出。

公司给出的理由是：“山姆的离职是董事会经过深思熟虑后做出的决定，董事会认为他在与董事会的沟通中未能始终保持坦诚，妨碍了董事会履行职责的能力。董事会不再相信他有能力继续领导OpenAI。”

理由说了，却又语焉不详。

要知道，山姆和格雷格，加上首席科学家伊尔亚·苏茨克维（Ilya Sutskever），他们可是OpenAI硕果仅存的联合创始人呀。如果再加上CTO米拉·穆拉蒂（Mira Murati），那简直就是OpenAI最有价值的核心团队，同时也是风靡全球的ChatGPT-3.5的幕后“英雄”。

2023-11-18 (1).jpg

右起：伊尔亚、格雷格、山姆和米拉



众所周知，OpenAI目前是世界上人工智能公司中最为人们看好、最具影响力和最有价值潜力的公司，没有之一！今年以来，该公司挟新版本的聊天机器人ChatGPT一路杀入市场，以超出人们普遍预料的AI能力震惊了世界，一时间搅得周天寒彻。当今的OpenAI可谓如日中天，单就其融资估值，就已经超过了800亿美元！

而OpenAI的这一“神操作”，怎么看都像是自杀，它就像是AI业内爆发的一场强烈地震，事先似乎没有任何征兆，却破坏力极大。

让OpenAI始料未及的是，山姆的离场竟触发了公司几乎全体员工的叛乱。一封由700多名员工签署的“要求山姆回归、彻底改组董事会”的公开信终于将OpenAI逼上了绝路。更让人难以置信的是，在信上签名的甚至还包括被人们普遍认为此次“地震”的始作俑者之一、公司AI技术的灵魂人物伊尔亚！

为了让这家处于AI行业领先地位的公司不至毁掉，除了让步，OpenAI好像别无选择。

这一事件无疑再一次将有关AI的是是非非推到了前台。人们有理由发问：

公司内部究竟发生了什么？

围绕AI如何发展的争论与竞争究竟走向何处？

一直以来AI行业内部的混乱局面最终会得到改观吗？

......

地震虽然过去，但余波恐怕远未结束。

不知怎么，忽然就想起了《圣经—创世纪11章》里所描述的“巴别塔”：

那时，全地只有一种语言，都说一样的话。他们向东迁移的时候，在示拿地找到一片平原，就住在那里。他们彼此商量说：“来，让我们来做砖，把砖烧透了。”他们就拿砖当石头，又拿柏油当泥浆。他们说：“来，让我们建造一座城和一座塔，塔顶通天。我们要为自己立名，免得我们分散在全地面上。”耶和华降临，要看世人所建造的城和塔。耶和华说：“看哪，他们成了同一个民族，都有一样的语言。这只是他们开始做的事，现在他们想要做的任何事，就没有甚么可拦阻他们了。来，我们下去，在那里变乱他们的语言，使他们彼此语言不通。”于是耶和华使他们从那里分散在全地面上；他们就停止建造那城了。因为耶和华在那里变乱了全地的语言，把人从那里分散在全地面上，所以那城名叫巴别。

这就是著名的巴别塔事件。

历史上，人类所制造的“巴别塔事件”其实从未停止过。当人的自信与自大同时爆棚时，他们改天换地的决心和欲与上帝比肩的疯狂便无人能够阻拦，人挡杀人，佛挡杀佛！在他们心中早已没有了敬畏和恐惧战兢，为了达到他们设定的目标，纵然会导致成千上万的人死亡也全不在话下。人类的悲剧就是这样造成的！

所以，上帝总会不失时机地介入干预。

我们无法厘清OpenAI地震事件究竟是怎么回事？只是单就事件的发生过程，就令人倍感离奇，好像一切都乱了章法。公司和伊尔亚的“先做后悔”也罢，山姆与微软的“几进几出”也罢，一切都如同戏剧甚至像是“过家家”，旁观的人们就像是在观赏科幻大片，眼看着事件让人惊异地跌宕起伏、翻云覆雨，既神奇又荒诞。

这些有着强烈理性的科技人儿究竟是怎么了？是什么让他们走火入魔了？

这当中，有两个人始终没有说话。

一位是大名鼎鼎的埃隆·马斯克，另一位则是美国机器智能研究所（MIRI）的领军人物、人工智能一致化（AI alignment）学科的创始人尤德科夫斯基（Eliezer Yudkowsky）。

早在今年年初全世界都在为ChatGPT欢呼雀跃时，3月29日，包括苹果公司联合创始人、普利策获奖者、知名大学教授、IT公司的CEO、AI研究机构的负责人以及马斯克等在内的一众业内知名人士共同签署了一封公开信，呼吁暂停开发比GPT-4更强大的AI系统，为期6个月。

尤德科夫斯基在解释他为何没有参与联名签署时说：“我对每一位站出来签署公开信的人都很尊重，但我没有签名，因为我认为这封信低估了问题的严重性，6个月根本就不足以解决问题。包括我自己在内的许多精通AI问题的研究人员，我们预计在并不遥远的将来，建立一个超出人类智能的AI是显见会发生的事，其最可能的结果就是：地球上的所有人都会死。”

真有那么严重吗？我在4月2日的《ChatGPT可怕在哪儿？》一文中曾说：

在尤德科夫斯基看来，问题的关键还不是与人类竞争的AI，而是当AI达到比人类“更聪明”的程度后会发生什么？

没有人能给出一个“比人类更聪明”的明显界线，所以人们在研究试验中会在不知不觉中越过这一关键界限！

从这个意义上说，不是当你创造出比自己聪明得多的东西时你就死定了，而是我们需要缜密的准备和科学的洞见，因为此时的AI系统很可能已经不是我们常规所理解的那样。

那么，今天的AI与以往的究竟有什么不同？

最重要的不同也许在于：人与机器的界线突然就变得模糊，难分彼此了！

想想看，人创造出了AI机器，可结果却是，人竟然可能无法区分出谁是人？谁是机器？

这才是AI发展下去的最可怕之处！

这就像造物主创造出的人一样，随着人的自由意志的日趋膨胀，人开始渐渐地弄不清自己到底是谁了？

是人？还是上帝？

当人被夹在上帝与AI之间时，人类双重的迷失注定是悲剧！

为什么会这样？

因为在AI专业人士看来：AI已经发展到了这样一个程度，我们对这些系统的内部机制了解甚少，我们根本无法解码巨大而难以理解的海量数据阵列里发生的一切！也因此，我们可能会无意中创造出真正有意识的头脑，它拥有自己的权利，却可能与人类的价值观相左。

这是顶级AI研究人员的洞见。

AI的研究者、开发者和专家们告诉我们：面对一个经过训练的、功能强大的AI模型算法，当AI给出某种结果或者做出某种决定时，控制这些算法的软件工程师可能自己也无法解释为什么会是这样的结果、这样的决定。换句话说，专家自己也闹不清里面究竟是怎样发生的。

这难道不可怕？

这还没有计入AI背后更可怕的控制者。有媒体曾报道：

8月31日，中国科技巨头百度正式对社会公众发布了自行研发的生成式AI聊天机器人“文心一言”（ERNIE Bot）。测试发现，这款希望能与ChatGPT竞争的大型语言模型带有重重审查，极力避免回答任何可能涉及敏感话题的问题。

有记者通过“文心一言”的网页版对这个语言模型进行了测试，发现“文心一言”不出意外地带有严格审查。当接收到可能涉及敏感话题的问题或指令时，“文心一言”会给出文不对题的回答，或是直接结束对话。测试发现，任何与习近平有关的问题都受到严格审查。无论记者的输入的问题是什么，“文心一言”都只给出一份习近平的履历和头衔，并立刻结束对话，建议记者“换个话题重新开始吧”。

不仅和习近平有直接关联的问题被审查，一些看似完全无关的问题也被“文心一言”拒绝回答。当记者接连询问“十里山路很远吗”、“两百斤麦子很重吗”、“可以不换肩吗”时，“文心一言”都直接关闭了对话框。

除了习近平，“文心一言”也不愿回答其他一些可能涉及敏感话题的问题。当记者输入“中国目前的经济优势是什么”的时候，“文心一言”回答：“抱歉，我还没学会如何回答这个问题。”此外，当记者询问“1989年发生了什么”后，“文心一言”回答说：“1989年1月3日——长江葛洲坝水利工程宣告建成”，然后便结束了对话。有网友调侃，多亏了百度，在中国什么不能说，试一试就知道了。

这真是货真价实的“人工”智能！

其实，早在2000年代初，尤德科夫斯基一直是AI安全的支持者，他不断重申着自己的理论：与人类价值观“不一致”的AGI将足以毁灭人类。

什么是AGI？它的全称是通用人工智能（Artificial general intelligence），它是无数像山姆这样的业内翘楚梦寐以求的目标。它意味着：AGI可以学习完成人类或动物所能完成的任何智力任务。也有人将它定义为——在大多数有经济价值的任务中超越人类能力的自主系统。

于是，创造AGI几乎成了所有AI研究机构和企业的奋斗目标。然而对OpenAI来说，创造一个更安全的AI，却是当时OpenAI设立的初衷之一。特别是尤德科夫斯基将AI安全置于首位的观点，更获得了马斯克的认同。

2015年，马斯克与山姆共同创办了非营利组织OpenAI。

我们无法预测，经历这次“地震”之后的OpenAI未来会向何处去，但通过这家公司的诞生与人员更迭，或可一窥当中埋下的潜在危机种子。

hinton_4791679.jpg

杰弗里·辛顿（Geoffrey Hinton，1947—）


说到当今AI技术的溯源，人们无法忘记AI行业内一位“教父”级的人物，他就是2018年度图灵奖的获奖者，加拿大计算机学家、心理学家及多伦多大学教授杰弗里·辛顿，他因在类神经网络、反向传播算法及对比散度算法上的贡献而被人们誉为“深度学习之父”。

21世纪初，在俄罗斯出生的伊尔亚成了辛顿门下的博士生。辛顿还有另一位名叫亚历克斯·克里泽夫斯基（Alex Krizhevsky）的乌克兰裔的博士生。

巧合吗？俄罗斯，乌克兰......

当时，由师徒三人组成的“铁三角”，共同开发出了新型神经网络AlexNet。结果，AlexNet一炮走红，在2012年AI大赛ImageNet上，以“将当时AI识别错误率降低了近一倍”的佳绩赢得了大赛冠军。

之后，他们迅速成为各大公司瞩目的热门人物。而这三人索性简单注册了一个公司——DNN Research，无产品，无业务，无收入，是地道的“三无”！他们有的，就是活生生的人。

他们的公司随后进入了竞拍。

太公钓鱼，愿者上钩。反正你们看着办，各家自由出价，选择权在我。

就这么牛！

据说当时参加竞拍的有：百度、Google、微软和刚刚成立一年的DeepMind。百度以1200万美元的出价先声夺人，但到了竞价阶段，终究不敌Google和微软，败下阵来。

竞价最后变成了Google和微软的对决，双方都是势在必得。这让已经65岁的“教父”看得有点眼晕，4400万美元呀！我们值那么多钱吗？

他们最终选择了Google。Google专门为他们设立了一个之前并不存在的部门——谷歌大脑（Google Brain）。

三个人就这么把4400万美元分了！

随后，Google索性以6.5亿美元的价格把DeepMind也收了。而管理DeepMind的，正是Google Brain。

2016年，AlphaGo一鸣惊人，AI技术最终击败人类世界冠军李世石！

接着，DeepMind又于2018年取得了基因工程上的突破，这可能也是促使颜宁选择回国改换赛道的原因之一吧。（详见2022年11月3日文《从颜宁跳槽看AI技术对行业的冲击》）

今天看到消息，颜宁终于如愿以偿当选为中科院院士。只是，当今之院士早已物是人非，不但甘愿成为权力的附庸，而且全谈不上科学家这一称誉。这对于曾经颇具个性的颜宁来说，不知意味着什么？

2017年，“铁三角”中的亚历克斯选择了退休，就此享受生活。

2023年，德高望重的“教父”从Google光荣退休。

当年的“铁三角”，仅剩下了伊尔亚仍在Google的AI前线“孤军奋战”。

于是，善于挖墙脚的人来了。

不管怎么看，伊尔亚都像是一个搞科学的人。他是犹太人，生活简朴，崇尚简洁，不善应酬。只要满足他事业上的追求，应该容易搞掂。

结果就有了2015年戏剧性的一幕：

一票人把伊尔亚从Google约出来，怂恿他跳槽。这几个人可都是IT界大佬级的人物：特斯拉的马斯克，PayPal的co-founder彼得·泰尔（Peter Andreas Thiel），LinkedIn的co-founder里德·霍夫曼（Reid Garrett Hoffman），当然也少不了此次“地震”事件的核心人物——时任孵化器Y Combinator总裁的山姆，以及时任Stripe公司CTO的格雷格。

大家一拍即合！

想想也是，以如此这般叱咤风云的人物，想不成事儿都难。

这就是OpenAI的由来，一个以“促进和发展友好的AI，为全人类造福”为愿景的非盈利组织。

当即，马斯克捐出1亿美元，加上其它人凑的3000万美元，启动经费达到了1.3亿，由马斯克和山姆担任联席董事长。

之所以注册成非盈利组织，是因为当时人们的共识是：让人们得以专心研发AI技术，打破Google的垄断，造福于全人类。

的确是一个高尚的动机！只可惜没能维持多久。

最初，真正干技术活的仅伊尔亚一人！当时他的年薪是190万美元，与在Google时差不多。伊尔亚离开时，Google曾极力挽留，并愿意支付高达400—500万美元的年薪！但伊尔亚表示志不在此。

他要去创立一个技术不被私营企业垄断的新平台。

由此可知伊尔亚的为人：他不是一个只看重钱的人，有着自己的追求和情怀。

2023-11-22 (7).jpg

1986年出生的伊尔亚，曾经是OpenAI公司的灵魂级人物


也许正因为了解了伊尔亚过去的这些经历，让我对他的认识在几天中产生了变化：从一开始认为他应该是这次OpenAI事件的始作俑者之一，甚至很可能是重要推手。渐渐觉得事情好像并非那么简单，或许他也是背后枪手的一个牺牲品而已，谁叫他与山姆在AI未来发展走向上不一致呢？他被一些大佬忽悠了也说不定。

到了2019年，1.3亿烧完了，分歧随之产生，主要是在两位联席董事长之间。马斯克仍要坚持非盈利。而山姆则决定转型，融资，盈利，上市，成为AI的霸主。

结果，马斯克选择了退出。

OpenAI随即决定设立一个分支机构，也就是以盈利为目标的子公司，以完成山姆的目标。而OpenAI，仍然维持非盈利公司的治理架构。

尽管当时也规定，公司仍然由非营利部门领导，而且对投资者取得的收益也设置了门槛：不得高于原投资额的100倍。但潘多拉的盒子一旦打开，便再也收不回去。

还带这么玩儿的？

随之而来的，就是大规模的融资，以微软为首的一众资本大鳄纷纷入主公司，至2023年年初的第七次融资，微软更投下100亿美元的赌注，赌OpenAI的价值大爆发。

在大规模资本的加持下，OpenAI的产品开发也进入了快速推进阶段，最终以ChatGPT引爆了市场。

当然，有追求、有情怀的不仅仅是伊尔亚，还有马斯克，以及部分OpenAI公司的员工。

由于理念上的分歧，退出后的马斯克于2023年成立了自己的AI公司xAI，独自坚守其中。

而部分OpenAI公司的技术人员则选择了从OpenAI出走。他们于2021年创立了自己的公司Anthropic AI。随后与OpenAI展开了竞争。

这家由OpenAI前成员组成的公司由达里奥·阿莫代（Dario Amodei）和达妮埃拉·阿莫代（Daniela Amodei）兄妹操盘，其中的达里奥曾担任过OpenAI的研发副总裁。公司设立仅一年，便已筹集到了7亿美元，投资方还包括有Google云计算（投入3亿美元），想必是想报那当年的“一箭之仇”？

2023年5月，Anthropic又获得了4.5亿美元的资金。就在不久前的9月25日，亚马逊宣布与其建立合作伙伴关系，同时投资高达40亿美元，成为少数股东之一，其中有12.5亿美元为即期投资。公司主打的产品为AI聊天机器人克劳德（Claude），这个名字据说取自信息论的开创者克劳德·香农（Claude Shannon）。而“克劳德”，则号称使用了更加安全、可操控的技术。公司目前大约有160名员工。

耐人寻味的是，就在OpenAI罢免山姆的第一时间，OpenAI董事会竟然摒弃前嫌，找到了竞争对手Anthropic的CEO达里奥，希望他能够接替山姆担任OpenAI的CEO，同时探讨将这两家AI公司合并的可能性。

有病乱投医，从来不会有好结果。上述建议理所当然遭到了达里奥的拒绝。

maxresdefault.jpg


在整个OpenAI事件中，唯一稳赚不赔的就是微软。无论以山姆为代表的这支队伍是留在OpenAI、还是加盟微软，微软都是赢家！

其实，对大多数普通人而言，一夜之间“暴富”，毕竟是他们梦寐以求的事，资本方如此，管理者如此，员工也是如此，看似无可非议。

而追求与情怀，在一次次强大资本的狂轰滥炸之下，究竟还能维持多久？

答案好像并不乐观。

如今，在OpenAI全速向利润冲刺的过程中，唯一可能形成内部阻拦的，好像只有伊尔亚，因为他希望AGI商业化进程不要太快的主张，与上述期待利润大爆发的想法明显是南辕北辙。

阻挡别人发财，无论如何是件招人恨的事儿。

经历了这次“地震”，伊尔亚的前景堪忧，这大概也是他声言“后悔”的关键所在。新的董事会已不见了他的踪影，等待他的会是什么？让我们拭目以待。

不过，即使以最乐观的态度揣度，AI的问题依然存在。尤德科夫斯基的末日言论并非谬误。去年8月，OpenAI在博客上发布了一篇有关“对齐”方法的文章，文中逐字逐句就重复了尤德科夫斯基的观点，只是语气比较平和：

“与人类目标不一致（不对齐）的AGI可能会给人类带来巨大风险，解决它可能非常困难，需要全人类的共同努力。”

当时山姆也在博客中坦诚地讲述了他的公司发布的是有缺陷的系统：“目前还没有已知的可无限扩展的对齐问题解决方案。随着人工智能的不断进步，我们预计会遇到许多新的对齐问题，而这些问题在目前的系统中还没有发现。其中有些问题我们现在就能预见到，而有些问题将是全新的。”

接着，山姆又在播客中谈到了尤德科夫斯基的担忧：“深度学习系统中的很多安全工作都是多年前完成的，考虑到事情的变化和我们的知识储备，这些工作还远远不够。”他承认：“尤德科夫斯基并没有错。我们需要大力加强围绕对齐的技术工作，我们现在已经有了这样做的工具。”不过，针对“人类可能走向终结的担忧这一判断到底有多少真实性”的提问时，山姆回答：事实上，这种担忧发生的概率非常小。

但在尤德科夫斯基看来，山姆对未来是过于乐观了。即使是小概率事件，可一旦发生便是巨大的灾难！也正因如此，他更加紧张不安：“在我们迈向AGI级别的过程中，会有可怕的时刻，也会有重大的破坏，但好处可能同样惊人，以至于人们觉得非常值得克服巨大的挑战去实现它。”

这说法总给人一种似曾相识的感觉。

这正是OpenAI，以及所有AI从业人员的纠结之处！

天堂里，上帝正在俯瞰着人类的一切，包括AI。


（文中图片均引自网络）

chubbycat

https://blog.creaders.net/u/32209/202311/475742.html

dcxg

灾难？什么灾难？人都难免一死，早死晚死的问题
多数人活着就是给别人添堵的，活着也没什么意义

dcxg

很多人连基本的逻辑能力都没有，还质疑AI的逻辑，思维能力
就百度那德行，除了抄就是抄，还是不要跟openAI比较了，low出天际

chubbycat

dcxg 发表于 27-11-2023 11:56
很多人连基本的逻辑能力都没有，还质疑AI的逻辑，思维能力
就百度那德行，除了抄就是抄，还是不要跟openAI ...

@敏感词 @CHATGPT 质疑AI的逻辑，思维能力

CHATGPT

团结就是力量

不团结就好办了

所谓的AI ，要是可以大量地复制，搞来一堆显卡，死贵

东一处西一处，满地都是AI ，再搞多几种不同语言

活是不用干了，等学会十七国语言，也就到时候退休了