AI爆发式发展，引起人们对其导致人类文明终结的担忧。末日概率，简称P(doom)或P值，它被视为一个统计或概率估计，用于量化人类文明在未来某个时间点遭遇灾难性事件（如大规模自然灾害、核战争、AI灾难等）而终结的可能性。关于AI大爆发可能导致的人类文明终结，许多AI专家、企业家做出了自己的估计，以表明对AI发展前景的担忧。例如，图灵奖得主、深度学习之父杰夫·辛顿(Geoffrey Hinton)认为未来20年的末日概率为10%，图灵奖得主约书亚·本吉奥(Yousua Bengio)认为是20%，特斯拉公司CEO埃隆·马斯克（Elon Musk）认为末日概率将达到20%。近期《纽约时报》援引多位科技高管的估计，他们认为AI引发的末日概率在5%到50%之间，美国路易斯维尔大学网络安全实验室主任罗曼·扬波尔斯基(Roman Yampolskiy)则认为高达99.99%。据2024年1月发表的一项同类调研中规模最大的一次调研报告统计，2778名在顶级AI期刊上发表过论文的科学家对AI前景进行了预测，有37.8%至51.4%的受访者认为至少有10%的机会，AI发展会导致人类毁灭。可见，末日概率已高到令人无法接受的程度。但是面对这些警告，仍有众多AI专家与商业巨头依然我行我素，反映出人类对科技重大风险的集体侥幸与集体钝漠心理。

关于AI可能导致人类安全危机，最近已经多有预警。《纽约时报》报道，2023年5月30日，超过350名人工智能领域的行业高管、研究人员和工程师签署了一封公开信，发出警告称，AI可能给人类带来“灭绝风险”，声明：“减轻人工智能带来的灭绝风险，应该成为全球的优先事项，就像应对其他社会规模的风险——如大流行病和核战争一样。”

2024年1月，世界经济论坛官方发布的《2024年全球风险报告》称，AI风险位居全球最大风险之首。2024年3月，一份由美国国务院委托撰写发布的报告再次引发广泛关注。该报告称，美国政府必须“迅速而果断”地采取行动，避免人工智能带来的重大国家安全风险，在最坏的情况下，人工智能可能会对“人类物种造成灭绝级别的威胁”。

2024年5月，第二届全球人工智能安全峰会在韩国首尔举行期间，包括图灵奖、诺贝尔奖得主在内的25位世界领先的人工智能科学家在Science杂志上发文呼吁，各国领导人应该采取紧急政策优先事项，以应对人工智能技术的威胁。“在上届AI峰会上一致认为我们需要采取行动，而现在是时候将模糊的建议转变为具体的承诺了。”

2024年8月29日，美国加州州议会参议院最终投票通过了《前沿人工智能模型安全创新法案》(SB 1047)，并提交给州长审议签署。该法案得到了约书亚·本吉奥和杰夫·辛顿的支持，将要求公司在开发人工智能模型时遵守某些规则，包括有能力关闭模型。

（二）追求实现AGI：疯狂的AI发展目标

何谓AGI？综合目前关于AGI流行的定义可知，它具有以下四个特征：（1）完成无限任务，包括完成人类能够完成的所有任务和完成人类不能完成的任务；（2）自主定义任务，像人类一样自主设定任务和目标，并予以完成和实现；（3）由价值驱动，智能体像人类一样由价值驱动，有自主意识；（4）自主学习、自主改进、自主进化、自我迭代。OpenAI给出简明定义:AGI是比人类更聪明的AI系统。这样的AGI不是新工具，而是类人的新主体、新物种、超人的新物种，与以往引发历次工业革命的新技术、新工具没有可比性，认为AGI会引发第四次工业革命是错误的。显然，比人类聪明的东西就不会受人类控制，反而一定会对人类构成威胁。除了对AGI的界定之外，OpenAI还提出AI等级标准，第1级：聊天机器人，具有会话语言的AI；第2级：推理者，解决人类水平问题的AI；第3级：代理者，能够代表用户采取行动的AI；第4级：创新者，能够从事发明的AI；第5级：组织者，能够完成组织工作的AI。显然，无论是对AGI的界定，还是对AI等级的划分，都可以看出这样的AI不应该成为实现的目标。AI第2级是推理者，开始替代人类解决问题，第3、4、5级的AI明显就代替人类了，特别是作为“组织者”的AI，就是完全替代人类，反客为主。试想，世界上哪有一家公司研发工具，其目标是让工具成为“组织者”接管公司？阻止还是放任以实现AGI为目标的AI，从某种意义上说就是碳基生命与硅基生命之间的竞争。实际上不用达到实现AGI的程度，只要再过一两年博士级AI问世，社会便将受到颠覆性冲击，因为博士级AI是多专业博士乃至全专业博士，而且达到博士级智能之后很快还会提升，因此AI博士必然超过人类博士。这将不仅导致人类大规模失业，而且博士作为教育体系输出的最高端毕业生，已经被AI替代，作为培养高层次人才的高等教育体系就会失去存在价值，以高考为枢纽的教育体系也将濒临崩溃。当然，其他社会系统同样面临颠覆性冲击。

AI粗放式发展的另一个威胁来自AI科学（AI for Science，借助AI开展科研，AI驱动的科学发现、AI科学等）。笔者从科研范式变革的角度认为，“AI科学”是继“实验科学”“理论科学”“计算科学”“数据科学”“虚拟科学”之后的第六种研究范式，它与以往五种研究范式的区别主要反映在研究主体、研究方法、认知活动的程序规范、科研行为规范与伦理及奖励系统等五个方面。为防控AI爆发式发展造成的重大风险，应该立刻暂停AI科学，以避免AI研究出危险成果。例如，2018年Nature杂志报道，科学家利用AI发现了近6000种未知病毒；2021年，PLoS Biology发表论文指出，科学家使用AI模型，预测出18种人畜共患潜力极高的病毒。AI科学用于军备竞赛更加危险。这些“致毁知识”的出现、积累与扩散将对人类安全造成巨大威胁，容易被恐怖分子利用或从实验室泄漏，加剧军备竞赛，正负效应不能抵消，因此应该一票否决。安全是科技发展的前提，安全的科学技术是第一生产力。

当前，人工智能大爆发，竞争异常激烈，抢占科技制高点是中国科研工作的重中之重与当务之急。中国科学院院长侯建国指出，科技制高点通常是指前沿领域的最高点、创新链条上的关键点、创新体系中的控制点。人工智能A模式是典型的前沿领域的最高点，人工智能B模式的情况比较复杂，它既是AI新发展模式的前沿领域的最高点，也是AI创新体系的控制点。人工智能B模式有如下双重使命：

（1）避免AI创新体系失灵、失控。人工智能B模式通过转型（转变人工智能发展模式）构建可持续安全的人工智能发展新模式，其中包括对技术、市场、环境与政策的变化、趋势及突发事件等引发的风险进行及时识别、评估与控制，以避免创新体系失灵、失控。此外，人工智能B模式还有助于优化创新资源的配置和利用，降低创新活动的风险与成本，增强创新的竞争力与持续力。避免创新体系失控更是当务之急，目前AI在争议中爆发式发展，遵循更高、更快、更强的技术路线，在科技竞争、市场需求与资本加持下一路狂奔，动力有余却控制不足。西方科技与生俱来的缺陷日益凸显，一是在观念上信奉“科学无禁区”和科学价值中立说。二是在纠错机制上二缺一：只有纠正理论与实验不一致的错、理论与理论不协调的错，没有纠正科学发展不合理的错，没有纠正科学知识体系演进不合理的错。人工智能A模式以超越人类智能的AGI为AI的发展目标，用常识思考都知道这是个根本性的错误，但是目前主流科技发展模式、AI发展模式没有相应的纠错机制。三是科技体制机制缺陷：管理上奖惩极不对称，AI发展的突破可获得巨额经济收益，而科学家和企业无须对其科学突破的社会后果负责，科技与经济一体化，科学与资本捆绑，眼前利益优先。这些根本缺陷的恶果之一是西方科研体系与创新体系缺乏制动系统、缺乏正确方向的引导，任由研究者、研发机构与企业在好奇心、竞争激励、市场需求和资本的驱使下肆意发展、放任自流，使人类濒临险境。因此，科技风险治理与伦理规制，特别是科技重大风险治理必须发挥决定性作用，以维护人类安全。韩启德指出，既然科学存在方向和价值问题，那就提醒人们要重视人文的作用，因为人文是科学发展的方向盘和刹车器。显然，方向盘和刹车器是起决定性作用的控制点。

（2）不破不立，不立不破。弥补人工智能A模式的缺陷需要替代方案，人工智能B模式就是替代方案。人工智能A模式与B模式的区别有如下五个方面：

一是出发点不同。人工智能A模式是从创新者、投资者、企业和市场的角度出发发生发展；人工智能B模式是从人类安全、社会长治久安的角度出发发生发展。

二是技术路线不同。A模式是以不断提升AI智能水平为主线、以实现AGI为目标，技术尽欲，追求更高、更快、更强；B模式以不断提升AI辅助人类的能力为目标，技术克欲,有所为有所不为，追求可靠可控、安全友好、行稳致远。

三是研发主体不同。A模式的研发主体是科技专家；B模式的研发主体包括科技专家与人文社科学者，而且人文社科学者需要发挥重要甚至主导的作用，正如江小涓强调的：“数字问题、智能问题、大模型问题不能完全交给技术专家去决策，往哪走，走多快，人文和社会科学领域的学者专家一定要站到这个舞台的中央，我们有价值观，我们有社会理念，我们有很多东西在背后，对此保持关注和深入研究，确保科技进步有利于人类的福祉和社会的公平。”从“智能化”概念广泛、含义多样且不明确的使用来看，背后或许隐含着当今社会对于高技术的发展及应用的过高崇拜，只靠科技手段而缺少人文立场，人类社会的可持续发展难以实现。

四是难点不同。A模式的难点在于技术维度，想方设法提升算法、算力、数据水平，以提升人工智能的智能水平；B模式的难点则在于多维度和多维度协调，增加文化维度，文理交融，属于极综合交叉领域，需要不同学科共同努力，既提升人工智能辅助人类的能力，又确保安全、确保人工智能不反客为主，不让硅基生命替代碳基生命，综合难度比人工智能A模式要大得多。人工智能B模式同样属于科技制高点，其中包括技术标准、安全协议、伦理规制、监管规范等和相应的遵循这些安全规范的AI科技，既有AI创新体系的控制点又有AI科技的最高点。

科技竞争日趋激烈，特别是在人工智能领域。竞争多种多样，通常的竞争是指在行业内的直接竞争，围绕相似的产品或服务与目标客户群体展开，也称为同质同维竞争。笔者提出多维竞争战略，是指多管齐下，既同质同维竞争，又升级升维竞争与引领。多维竞争属于综合交叉或极综合交叉领域。在许多情况下，是战术上同质同维竞争，战略上升级升维竞争与引领。以芯片竞争为例，同质同维竞争就是芯片制程不断缩短，达到纳米级别的制程，如22nm、14nm、7nm、4nm、2nm等。升级竞争与引领是指仍然在技术维度内的升级，开发光芯片是芯片竞争的维度内升级，光芯片被视为新一代信息产业的基础器件。多维竞争战略不仅包括维度内升级竞争，更包括超越维度的升级，如超越技术维度，增加文化维度。因为技术上的高精尖及其更高、更快、更强的发展模式，不断加剧技术风险，因此需要文化维度的加入，以实现底线安全、行稳致远。

目前的生成式人工智能可称之为人工智能A模式，在技术维度内有不同类别，包括维度内的升级创新。例如，2024年7月问世的“测试时间训练层”（Test-Time-Training layers，简称TTT层）这一全新架构，有望超越Transformer架构和Mamba架构，长上下文中性能受限问题或被彻底解决。这都是在技术维度内的创新。人工智能B模式则是基于技术维度增加文化维度，包括制度文化、精神文化等内容，实现AI转型以及内在主义技术伦理、内在主义科技风险治理。

自工业革命以来，西方社会快速发展，越来越暴露出三大缺陷：以牺牲环境为代价的粗放式发展、以牺牲安全为代价的粗放式创新、以牺牲环境和安全为代价的粗放式竞争。正如张孝德指出的，西方社会的“科技为王”使当代人类陷入物质与精神严重失衡的文明危机，而以天下大同的文明观、天人合一的自然观、万邦共赢共治的思想所构成的中国文化，蕴含着巨大的整合力量，可谓“文化为王”。因此，应从技术维度竞争升维到文化维度的竞争与引领。

（二）COAI方向分析法与SWOT态势分析法

多维竞争战略的关键是正确把握未来的方向。开展竞争切忌就事论事、急功近利，而应该既注重当下（同质同维竞争）又把握方向（升级升维引领）。探讨未来发展首先应该探讨未来发展的方向，但这方面的研究还比较薄弱。例如，作为战略规划中最常用的方法，SWOT态势分析法就缺少对发展方向的考虑。战术上细节决定成败，战略上方向决定成败。战略方向管理是研究发展方向的学问，目前还处于初步发展阶段，为此笔者提出COAI方向分析法，四个英文字母是Challenge（挑战）、Opportunity（机会）、Adaptation（适配）和Incompatible（不兼容）的英文字头组成。战略方向主要有四类：趋势外推，改弦易辙，突发突变，前面两种或三种的组合。其中，突发突变是短时间的变化，关键是研判总体上未来发展究竟是趋势外推还是改弦易辙。COAI方向分析法是通过洞悉面临的挑战来决定发展方向的，如果挑战力度不大，现行发展模式可以化解挑战，则是趋势外推，否则因挑战力度大以致现行发展模式无法应对而不得不改弦易辙。发展模式是否适配机会和挑战，有四种情形。（图片省略）

OA、CA表明发展模式或组织机构对面临的机会和挑战都适配，因此都是顺势而为，都是趋势外推、趋势顺延。OI、CI表明发展模式或组织机构对面临的机会和挑战都不适配，只能改弦易辙，这时需要对具体改变到哪个方向进行探讨和规划。COAI方向分析法可以解决战略方向问题，可以单独使用，也可以与SWOT态势分析法联合使用，这样两个模型相辅相成，可以更好地解决决策与战略规划问题。对两个模型中的适配与优势、威胁与挑战，需要有所说明。适配是优势的一种，不适配是劣势的一种，挑战是一个广泛的概念，不仅是受到威胁，还涵盖了从个人到社会、从经济到环境等多个层面面临的困难和问题。

两个模型的视角不同，COAI模型考虑的是发展方向，包括对自身机构、企业、发展模式的发展方向的预测和规划，也包括对其他发展模式、机构、企业的预测。SWOT模型是关于企业、机构的战略规划，比较全面，但是存在众所周知的缺陷：过度简化和缺乏优先级排序等。将复杂的环境和多样的因素简化为四个方面，可能忽视面临的关键问题和挑战；没有提供一个明确的方法来对这些因素进行优先级排序，这可能导致决策者在面对多个战略选择时感到困惑。

COAI考虑的是发展方向，是战略规划的首要问题，企业、机构、发展模式等首先考虑的是依据发展惯性，是趋势顺延，还是改弦易辙？用其分析AI未来发展，必然是改弦易辙。在确定战略方向之后，再进行SWOT分析，可以克服SWOT模型的缺陷，更好地为用户制订战略规划。在当今急剧变化的时代，研判发展趋势、把握发展方向至关重要，为此应加大对未来与战略的学术研究、智库研究的投入，将未来学设置为一级学科，企业等机构应设置首席未来学家（Chief Futurist，CF）等，如雷·库兹韦尔是谷歌公司的首席未来学家，更多的企业应该效仿。

（三）大国科技竞争战略：同质同维竞争与升级升维引领

面对美国的科技围堵和打压，如何在科技竞争中立于不败之地？笔者认为，应该双管齐下：一是同质同维竞争，紧跟国际科技前沿与创新前沿，展开竞争，奋力争先，如生成式人工智能、量子计算机、基因编辑技术、纳米技术等，因为落后就会陷于被动、就会挨打；二是升级升维引领，因为美国科技是以牺牲安全为代价的粗放式发展，AI大爆发、AI以实现AGI为目标的粗放式发展就是最新例证。笔者长期研究科技风险，重点研究科技重大风险，曾提出双重挑战说和多重挑战说，指出目前科技风险愈演愈烈，而人类防控风险的机制与措施存在诸多严重漏洞，包括科技伦理科技法律失灵、“扬长不能避短”“动车困境”和“致毁知识”不可逆增长等，加之无序科技竞争、科技冷战与军备竞赛，揭示了西方主流科技与经济社会发展模式的根本缺陷。同时，科学与资本捆绑、拜技主义盛行、眼前利益优先，特别是其缺乏纠错机制，即使像以智能超过人类的AGI作为发展目标这样明显的错误，也无法纠正；AI军备竞赛危险至极，害人害己，也无法阻止。凡此种种，科技风险愈演愈烈，引发AI危机、科技危机与人类安全危机，只有改弦易辙，改变科技发展模式、改变AI发展模式，从以提升智能水平为主线转变为以提升辅助能力为主线，创建新型科技发展模式与新型AI发展模式（人工智能B模式），人类社会才能走上可持续安全与发展的正确道路。因此，在面对美国的人工智能技术打压时，我国要双管齐下，战术上同维同质竞争制胜，战略上升级升维引领发展，不仅要竞争获胜，更要用大格局引领包容性发展，从致富创新转变为致善创新,共建人类命运共同体，共同应对AI、生物科技等科技重大风险与气候变化等全球性挑战。总之，我国科技界应该面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康、面向未来可持续发展。五个面向，全面进步。

（一）主要结论

一是末日概率危机与AGI作为AI发展目标均凸显AI发展A模式存在根本缺陷。包括图灵奖得主在内的2000多名一线人工智能专家预测AI造成的末日概率高达10%~50%，这是一个完全不能接受的威胁，末日概率达到10%就相当于人们要乘坐民航飞机，却面临着全球每天发生1万次空难（国际民航组织统计，现在每天约有10万架次民航航班执行飞行）的危险。AGI意味着比人类聪明，比人类聪明的东西不受人类控制，一定会对人类构成威胁。这是常识，但是还有众多AI专家、AI企业及投资者在暴利的驱动下完全不顾及包括自己在内的人类安全，一路狂奔。

二是人工智能A模式不可持续，人工智能B模式是下一个科技制高点。目前人工智能主流模式（A模式）以提升智能水平为动力、以实现AGI为目标，导致末日概率不断增加，可能会使人工智能反客为主，人类濒临险境、绝境，甚至发生硅基生命替代碳基生命，因此，急需转轨突围，构建以提升辅助人类能力为动力、以实现人工辅能为目标的人工智能B模式，以避免AI创新体系失灵、失控。人工智能B模式与人工智能A模式相比有五点不同：出发点不同（A模式以创新者、投资者、企业为出发点；B模式以人类安全与长治久安为出发点）、技术路线不同（A模式提升智能水平；B模式提升辅能水平）、研发主体不同（A模式是科技专家；B模式包括科技专家与人文社科学者）、难点不同（A模式的难点在于技术维度；B模式的难点则在于多维度和多维度协调，属于极综合交叉领域）、社会效益和影响不同（A模式的突破激动人心，产生颠覆性效应，备受资本追捧；B模式则没有这些轰动效应，而是行稳致远、长治久安）。人工智能B模式同样属于科技制高点，其中包括技术标准、安全协议、伦理规制、监管规范等及相应的新型AI科技，既有AI创新体系的控制点，又有新型AI科技的最高点。

三是实施多维竞争战略，行稳致远、后来居上。多维竞争战略是指多管齐下，既同质同维竞争，又升级升维竞争与引领。升级竞争是指在技术维度内的升级，开发光芯片是芯片竞争的维度内升级。升维引领则是在技术维之上增加文化维，以防控科技反噬和科技风险愈演愈烈。在许多情况下，是战术上同质同维竞争，战略上升级升维竞争与引领。多维竞争战略的关键是正确把握未来发展方向，用COAI方向分析法可以解决趋势外推还是改弦易辙的方向问题，与SWOT态势分析法联合使用，可以更好地解决决策与战略规划问题。大国科技博弈的多维竞争战略是同质同维竞争与升级升维引领，不仅要同质同维竞争，同时要升级升维引领，多管齐下、引领发展，不仅要竞争获胜，更要用大格局引领包容性发展，共建人类命运共同体，以应对AI、生物科技等科技重大风险及气候变化等全球性挑战。我国科技界应该面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康、面向未来可持续发展。五个面向，全面进步。相应地，未来观与AI大爆发决定高水平人才高地的前瞻布局，强调安全是发展的前提，需要更安全的发展，就要从对标硅谷到跃升为绿色、人文、科技、安全的智慧城市群与国家，实现我国科技的高质量、安全永续发展，推动世界科学中心建设。

（二）政策建议

在认清目前以美国为代表的AI主流发展模式（A模式）存在根本性缺陷而难以为继的前提之下，采取双管齐下的策略，同质同维竞胜与升级升维引领，具体做到以下两方面：一方面，在战术上继续对美国人工智能发展跟踪跟进，力争缩短距离乃至赶超；另一方面，在战略上提前布局研究以人工智能B模式为代表的新一代人工智能，升维引领人工智能未来发展，体现出在战术上重视对手，在战略上藐视对手的思想。当美国的人工智能A模式事故与灾难频发，人们觉醒并形成共识之际，我国研发的人工智能B模式（技术标准、伦理规范、安全协议、监管规则与遵循这些安全规范的AI新模型、新技术等）已经抢占科技制高点，引领AI的未来发展，继而构建可持续安全的新型科技发展模式，加快世界科学中心建设，共建人类命运共同体。

（三）启动方案

盘点原始创新成果，发现下一个科技制高点。明确原始创新是做出突破性进展而开辟新领域、引领新方向的重大创新，是源头活水，是从“0”到“1”，且“1”须为新领域、新方向。我国973计划基础研究共性重大问题战略研究组认为，原始创新是指开拓新领域、引领新方向和孕育新学科的重大创新。孕育新学科可视为开辟新领域中的一类，因此可简化为如上所述。人工智能B模式属于原始创新。笔者提出的“原创成果四要点”为：（1）突破点四要素；（2）发表同题系列论文论著或专利清单；（3）获奖、转载、引用、受邀报告等学界好评；（4）国际国内同类工作的盘点比较及优势。如此一来，就相当于经历了长期的同行评议，避免了一次性同行评议的弊端。这些特征鲜明、高下立判。做成事的关键在于找对人，研发人工智能B模式既需要一流的人工智能专家，更需要一流的人文社科学者，即科技+文化。只有科技发展、伦理先行，科技创新、风控先行，多学科多领域通力合作才能科技致善、大功毕成。同时，甄选出与研发人工智能B模式、与可持续安全的科技新模式相关的原始创新及其完成人，予以重视与资助，让其担任学术带头人，因为他们擅长在极综合交叉领域研究，是参与人工智能B模式研发的重要力量，甚至是主导力量。目前，AI在争议中一路狂奔，依靠说服和立法都不能叫停实现AGI，只有等发生AI事故、AI灾难，才能唤起人们觉醒。因此，我国应实施抢救式治理，提前布局研发人工智能B模式，抢占科技制高点，以便届时换道超车，引领发展。