近日,知名投资人Cathie Wood(木头姐)携旗下Ark Invest(方舟投资)的高管与AI界杰出人物吴恩达教授进行了一场深入对话,探讨了人工智能的演变。作为Google 、百度等多家知名机构的前高管,以及目前AI基金的掌舵人,吴恩达分享了他对AI行业的独家看法。
技术进步与应用前景:AI作为通用技术已取得巨大进展,未来还有更多新技术将在现有基础上推动更广泛的应用。
行业瓶颈与解决方案:目前AI项目部署面临的主要障碍包括GPU供应不足、代币成本高昂等。这些瓶颈预计将随时间得到解决,如GPU产能提升、token生成技术的优化等。
AI Fund的策略:专注于成为AI技术专家,确保技术构建质量。与具有深厚行业知识的企业合作,结合AI专业知识和行业经验,打造独特解决方案。
通过这次对话,我们得以一窥AI技术的现状和未来发展方向,为技术爱好者和业内人士提供了宝贵的意见参考。
Brett Winton：你好，欢迎来到FYI四年创新播客。我是Brett Winton，Ark Invest的主持人兼首席未来学家。我也是风投投资委员会的成员。今天和我一起的还有Charlie Roberts，他也是风投投资委员会的成员。Charlie，你好，最近怎么样？
Brett Winton：Charlie，我们等一下要与吴恩达教授展开了一场非常有趣的对话。你能为我们介绍一下吴恩达吗？他在AI领域的角色是什么，为什么他如此重要？
Charlie Roberts：当然可以，谢谢Brett。吴教授是一位非常出色的老师，也是多个组织的联合创始人。他曾在斯坦福大学任教，奠定了许多机器学习的基础原理，并意识到这些原理如何帮助学习者加速创新。他共同创立了Coursera，并在上面教授了许多非常受欢迎的课程，这些课程为许多学习者开启了AI和数据科学的新职业生涯。他还是Google Brain的联合创始人和前负责人，曾担任百度的首席科学家。此外，他还创立了AI Fund，这是一家专注于AI的孵化器和加速器，特别是与大公司合作。因此，他在这个平台下共同创办了如Landing AI等公司，致力于与大公司合作，解决大量问题。因此，他在公众和私人领域都非常出名，最终可能对公共市场也产生重要影响。更重要的是，他是一位出色的AI教育者。
Brett Winton：我非常欣赏与他的对话，因为他对人们在公司中实际部署人工智能系统有非常切实的经验。你从我们的对话中学到了什么，让你最感到惊讶的收获是什么？
Charlie Roberts：我认为对我来说，最大的两个收获是，首先，吴教授对智能系统取得巨大进展感到非常放心。我想我们可能没有追问他具体预计哪一年或多远会实现AGI（人工智能的通用性），因为关于AGI的定义可能有许多不同的版本，且这些AGI还不存在来解释这些定义。但可以肯定的是，他对智能系统非常有信心，认为它们真的已经在这里，并且即将到来，几乎没有太多的技术风险，更多的是执行上的问题。这很有趣，而且与我最近与他人进行的对话有些一致，这似乎是一个非常近期的转变，可能就在过去的一年或更短的时间内。其次，他对开源的强烈看法也让我印象深刻。我之前大致认为他可能会倾向于开源，但他表达得非常清晰，并且非常坚定地认为，关于开源的安全性问题主要是由游说团体推动的，甚至可能有些虚伪，而不是出于实际的安全考量。
确实如此。我们并没有太多时间深入探讨，但如果我们能够扩展这部分对话，探讨他是否认为在某些领域确实存在实际的安全风险，比如生物安全或其他问题，那将会很有趣。从他的言辞来看，似乎没有特别明显的安全风险，但这确实是一个值得深入探讨的话题。他确实提出了一个非常有趣的观点，即如果你认为开源的一个主要安全问题是它会为坏人提供一个非常有价值且耗时的资源，比如一百亿美元的训练成本，而你通过开源让他们可以利用这个资源，从而制造出一种非对称的威胁，比如恐怖组织。那么，考虑到他所说的，以及你们团队在研究成本下降方面所取得的成果，他提出了一个很好的观点。如果这些成本继续下降，并且持续降低，实际上你可能并没有那么显著地削弱竞争力。也就是说，训练成本的下降可能会使这个最初看似不可逾越的障碍变得不那么重要。
Brett Winton：他提到了一个例子，人们常常说某个系统非常危险，然后几年后它就开源了，结果并没有带来明显的危险，反而带来了很多好处。我记得当时大家都说GPT-2太危险了，不能发布一段时间，但是现在你几乎可以在手机上运行比GPT-2更强大的GPT-3类系统。所以，对我来说，他提出了一个有趣的观点，就是在这里，创新的速度在某种程度上取决于评估模型输出的能力，这表明实际上掌握分发渠道变得更加重要。因为虽然你可以非常快速地启动一个系统，但你仍然需要确定它是否有效，考虑到在自动驾驶中可能遇到的各种极端情况。拥有一个庞大的分发网络可以让你在发布前对系统进行自动化评估，而没有分发渠道就无法做到这一点。
他确实认为开源可能会逐渐削弱Anthropic和OpenAI的竞争优势，不过我想知道他们是否能够拥有足够大的商业化网络，从而使他们的系统比那些分布非常分散的系统能够更快地进行评估。
Charlie Roberts：你提出了关于分发的一个重要观点，这也与Andrew所说的一个问题有关，即如今巨大的计算需求主要是因为现在大家不断运行大规模语言模型的推理，这些模型更大，推理时需要更多的计算资源。分发和数据生成紧密结合。如果采用主动学习的方式，机器会设计实验来请求数据，然后将这些数据反馈给自己。所以分发网络和数据生成网络结合得非常紧密，这也是我们在硅谷经常听到的网络效应和飞轮效应的一个真正例子。正如我们在Venture Fund中的例子，Tex Generation系统被实时测试，实际上是在真实的系统中获得人类反馈，然后将其反馈给系统。所以我认为这种方式确实带来了巨大的力量，也与吴教授所说的内容相呼应。还有一点让我印象深刻的是，当他们与大公司进行探索时，试图理解哪些问题需要解决，以及这些问题有多大，什么样的AI工具可以解决这些问题。很多时候他们发现，AI在许多他们原本想象不到的领域中可能发挥作用。
这确实支持了我们在Ark内部讨论的方向，即那些能够提供高度定制化AI解决方案的公司更具优势。这些公司提供的更多是平台即服务（PaaS），而不是点对点的SaaS解决方案。一个很明显的例子就是Palantir，AI极大地提升了他们服务客户的能力，我们也看到了这种潜力的成果。在很多大型机器学习或AI项目中，真正有趣的建模代码通常只占不到5%的代码量。大部分代码是基础设施的搭建，比如从一个地方获取数据、确保库文件对齐等。而像Palantir这样的公司正在构建的定制化解决方案，把这些基础设施的工作抽象化，转而提供更加可靠的路径，避免从头开始构建或高维护的方式。随着这些AI解决方案的大规模推广，这种模式看起来相对于固定的SaaS解决方案或试图逆转的公司更具优势。
Brett Winton：正如你所说，这正在推动他们的业务发展。我认为你可以说，投资于这些底层基础设施对于公司来说是必要的，这样他们才能成功部署AI解决方案。这不仅让你可以更快速、无摩擦地部署解决方案，还能让它们持续运行。
Charlie Roberts：确实如此。另一个来自吴教授观点中的有趣点是，如果我们真的这么接近实现智能代理解决方案，而他作为一个保守且数据驱动的人却对这一点如此自信，这说明这些解决方案已经非常接近实现。当前或在不久的将来，这些解决方案极有可能在没有技术风险的情况下实现，主要是交付风险。当人类作为决策者可能会攀升至更高的层次，并做出更有影响力的决策时，许多目前经济上有意义的解决方案或决策也可能会逐渐从人类的控制中移除。这可能会从根本上改变许多SaaS提供商的市场进入策略。我怀疑，目前很多需要人类做决策的工作，甚至是会计部门的工作，可能最终会被交给智能系统。那些能最好地完成任务交接，或与其他智能系统进行最有效交接的系统，将在市场中越来越占据优势。我认为这将带来一种根本性的变革，这种变革可能还没有被充分认识到或纳入长期预测。
Brett Winton：是的，就像你说的，你的API和SDK必须深度嵌入到模型中，否则模型在需要某种服务时就不会调用你。换句话说，嵌入模型中，成为模型训练的一部分，就像在Google搜索中自然排名靠前一样重要，尤其是在B2B领域。
Charlie Roberts：如果智能模型是像蜜蜂一样寻找花朵进行授粉和决策，那么这些花朵就必须非常诱人且吸引模型的API调用。我认为我们还不知道这会对现有的世界秩序产生什么影响，但可以想象，它可能对某些行业非常具有破坏性。
Brett Winton：是的。那么各位，我希望你们享受接下来的采访。为了让大家对我们认为市场机会的规模有个大致了解，我们认为到2030年，AI软件市场的总收入将达到13万亿美元。相比之下，当前全球IT支出总额大约在四到五万亿美元之间。所以我们对这一领域的高度兴趣是有原因的，因为我们认为这些AI系统将创造出巨大的商业价值。因此，能够与那些正在与企业合作，试图创造这种价值，并在AI系统构建上有着丰富历史经验的人交流，真是太好了。所以，请大家好好享受接下来的采访。
Charlie Roberts：你好，吴教授，欢迎来到Ark四年创新播客。我们非常期待这次讨论。吴教授一直是人工智能领域最有影响力的研究者和教育者之一，担任过许多重要角色，比如Google Brain的联合创始人和领导者之一，百度的首席科学家，以及Coursera的联合创始人，并教授了许多非常受欢迎的课程。此外，他还是AI Fund和Landing AI的联合创始人，并在多家公司担任董事职务。不过，我最喜欢的一个关于你的数据是，你告诉我，目前全世界可能有多达千分之一的人参加过你的AI课程，这对整个社区和生态系统来说是巨大的贡献，真是太鼓舞人心了。我们非常期待与你展开关于人工智能及其未来的广泛讨论。
Brett Winton：吴教授，也许你可以先谈谈你对我们当前所处的AI发展的看法。我知道已经有很多关于人工智能的发展的讨论，实际上这种讨论已经持续了一段时间。有人说AI已经达到了瓶颈，或者说我们正在取得的性能进展不会带来实际的生产力提升。你认为我们目前在AI能力方面处于什么阶段？未来AI能力的发展轨迹如何？你是如何评估这一点的？
吴恩达：在过去的10到15年里，始终有少数声音在说AI已经达到了瓶颈。我认为这些说法一次次被证明是错误的。我认为我们离瓶颈还很远，现在居然还有人认真地这样说，真是让我感到惊讶。AI技术作为一种通用技术，已经取得了巨大的进展，现在即将出现的进展甚至在短期内就能实现。我们能够通过AI完成的任务集合正在迅速增长。目前，很多注意力集中在生成式AI和大型语言模型上，我们能够让它们完成的任务集合，坦白说，远远超过了目前已经部署的内容。实际上，很明显的是，更多的推理能力，比如更多的GPU或其他类型的硬件，是将更多AI应用推向世界的瓶颈。而这是一个我们知道会被解决的问题，因为解决供应链问题，比如GPU或其他类型硬件的强大财务动力非常明确。所以，即使AI不再发明任何新技术，在未来几年内，我们仍然会看到更多AI的部署。当然，更好的消息是，还有新的技术正在酝酿之中，这些技术将叠加在现有技术之上，推动未来更多的应用。
Brett Winton：所以，综合来看，你的意思是我们现在拥有的能力实际上还没有完全部署到商业市场中？仅仅通过部署这些能力就可以带来很多生产力的提升。而在这个过程中，还会有一些底层架构的改进，这些改进将带来更多的能力提升。这样理解对吗？
吴恩达：事实上，我经常遇到一些人，他们有一些很好的想法，甚至是能够显著提高ROI的AI原型，但由于种种原因，比如他们还没有足够的GPU，或者代币成本仍然有点高，或者他们还没有软件工程师有足够的精力去实现这些想法，所以这些项目还没有完成。我认为这些已经被验证过的想法在未来一两年内肯定会因为这些瓶颈问题的解决而得到部署。因此，我对未来会有更多有价值的AI项目充满信心，因为这些项目的部署瓶颈，比如GPU供应链问题，最终会得到解决。GPU会被制造出来，更多的AI项目也会因此而被部署。作为即将到来的技术的一个例子，我对AI代理或者我们称之为代理工作流（agentic workflows）感到非常兴奋。现在我们使用大语言模型的方式大多是你给它一个提示，它就会输出一个结果。这有点像让一个人写一篇文章，但要求他从头到尾一气呵成，中间不能使用退格键。虽然人们可以这样写作，但我们通常不是这样做的。我们最好的思考和写作是通过一种更迭代的工作流程来完成的，比如先写大纲，然后编辑大纲，写第一稿，进行批评，做一些网络研究，这样的迭代过程让我们能够交付更好的作品。代理工作流或者AI代理工作流也是如此，我们已经看到许多AI应用在代理工作流中的准确性有了显著的提升。
但其中一个瓶颈是我们需要更快的推理能力，因为在代理工作流中，你需要反复调用大语言模型，不断迭代工作产品。但是，很多人在致力于解决这个问题，我非常有信心，随着供应链的改善以及更好的芯片上线，不仅是AI训练，还有AI推理的改进，会释放出更多的这些工作流。顺便说一下，我受到了你们Ark报告的很大影响，你们在报告中估计训练成本每年下降75%，推理成本每年可能下降86%。我不知道这些确切数字是否会最终证明正确，但我确实看到成本在迅速下降，我认为这是非常棒的，因为这种成本的下降将进一步推动创新。
Brett Winton：对于我们来说，基本想法是，你不仅会看到成本的下降，还会看到大量投资资金涌入AI领域。所以，当你把成本下降和投资资金结合起来，你会期待在两到三年内实现100倍甚至更多的能力提升。你是否同意Yann LeCun的观点，他认为即使是智能系统，随着时间的推移，错误率也会累积，所以当工作流越长时，生产力就会崩溃，因为错误是累积的。你认为在现有架构下，这个问题是可以克服的吗？还是我们需要新的架构来让代理工作流真正稳定地运行？
吴恩达：对于非常简单的开环工作流来说，确实是这样，你需要每一步都完美无误。但一旦你实现了代理工作流，它可以回顾步骤并修复自己的错误，那么这个问题就会得到很大的改善。我举个例子，这对我来说也是个惊喜。我曾经设置了一个非常简单的代理，让它进行在线研究并撰写报告。有一次我在斯坦福大学做演示，那个时候进行网络搜索的调用失败了，可能是API的一个限制错误。当时我在想，这次演示可能要失败了。但让我惊讶的是，代理居然说“网络搜索失败了，那我使用维基百科搜索代替”。我完全忘记了我给它设置了网络搜索和维基百科搜索两种选项。于是，这个代理在Python中能够聪明地在网络搜索失败时，自动切换到维基百科搜索，最终成功完成了演示。
所以，代理工作流并不是万能的，它们会犯错误，有很大的缺陷，但当代理工作流能够在步骤中出错时，回顾并反思自己的工作，然后进行修复，这让它们变得更加健壮。我不想过分夸大AI与人类的类比，它们非常不同，但就像人类一样，我们在做很多事情时，第一次尝试往往不成功，但我们有能力反思、批评并修正，这使得人类在执行任务时更加健壮。我看到AI代理也能够做到这一点。
Charlie Roberts：吴教授，你认为我们是否需要一个像Transformer那样规模的架构改进，才能真正实现“代理性”（agenticity）？还是说现有的大语言模型结合强化学习，可能再加上或减去扩散模型或其他技术，已经足够了？你觉得现在这些工具箱中的技术已经足够实现这个目标了吗？
吴恩达：我认为代理工作流在现有的Transformer神经网络架构下运行得非常好。我知道现在有一些关于MBER、SSRM等替代Transformer模型的研究非常令人兴奋，这些模型看起来很有前景，值得进一步研究和测试。但我认为，即使我们有更好的模型，也不一定绝对需要它们，尽管有了它们当然会更好。还有一个被严重低估的问题是快速推理和快速生成tokens的重要性。直到最近，很多大公司都在花费大量预算购买GPU进行训练，这非常棒，给我们带来了大型的基础模型，无论是专有的还是开源的。但我发现，快速推理的能力正逐渐成为许多应用的瓶颈。当Meta发布Llama 3 70B这样一个非常出色的开源模型时，如果我们能够将它的推理速度提高10倍，我们就可以让这些代理工作流运行得更快。作为人类，我们的阅读速度大约是每秒6个tokens左右，因此生成速度超过这个值对我们来说并没有太大意义。
但是，对于代理工作流来说，AI可能会编写一份草稿，然后进行批评和修正，因此在人工介入之前，它会生成大量tokens并完成大量工作。有些团队在代理工作流中可能需要花费25分钟的时间来完成工作，如果我们能将这些时间缩短到2分钟，这将是一个游戏规则的改变，使用户体验发生巨大变化，能够在1分钟或2分钟内获得结果，而不是20或25分钟。所以，我认为在更快、更便宜的token生成方面进行更多的工作，将极大地推动下一波AI的发展。当然，训练上的持续投资也是非常重要的。
Brett Winton：两者是相关的。AI推理成本下降的一个有趣动态是，如果我在一个系统上投入更多的训练资金，这正是Meta在做的事情，你可以将更多的信息压缩到一个更小的参数模型中，这样既可以更快、更便宜地运行，同时减少了推理的延迟和成本。你不仅获得了性能的提升，同时也实现了成本的下降，这是一个非常有趣的动态，也是投入训练计算资源的一个结果。
吴恩达：即使你使用一个大型模型，对于许多商业网站类型的大型生成提供商来说，可能每秒生成大约10个tokens，这比我的阅读速度还要快。我个人每秒大约能读6个tokens，大多数人也是这个速度。但现在有一些公司，比如BRCK GROQ（作为一个例子），它们每秒可以生成300个tokens，虽然模型不同，但这个速度还是非常显著的。Samb Nova也有一个演示，显示它每秒可以生成数百个tokens。还有其他一些半导体制造商，他们也向我透露，正在致力于开发快速且便宜的token生成技术。我认为，这将解锁许多新的能力。
我将超级快速的token生成定义为每秒超过100个tokens，对于像Llama 3 70B这样的模型，这将让你做出非常复杂的事情。我很高兴看到更多的半导体制造商开始更认真地对待推理问题。还有一个有趣的现象是，我听到多次有大型公司，他们以前非常适当地在GPU基础设施上进行了投资，用于训练，然后这些公司有一个非常出色的GPU团队，他们建立了一个很棒的训练基础设施。这个团队可能会觉得，我们已经有了最好的基础设施，为什么不自己也构建推理基础设施呢？因为他们在训练基础设施上取得了巨大的成功。然后他们会进行推理，但是我在思考的问题是，训练和推理的基础设施是否应该使用相同的架构？我现在听到很多企业在讨论这个问题，它们在考虑训练和推理之间的差异是否足够大，以至于需要全新的架构，不仅是软件层面的改进，还有硬件层面的思考。
Brett Winton：确实，如果你在终端设备上，比如说在特斯拉车辆中安装一个芯片，那就是一个独立的体系架构。你可以说有很多令人信服的理由将部分或大部分推理转移到终端设备上，从消费者的实用性角度来看，这是有意义的。
吴恩达：在设备上的确如此。即使是在云端，我也认为训练和推理之间存在足够的差异，这需要我们从架构和软件类型的角度进行反思。但在设备端的终端设备上，我完全同意你的看法。
Charlie Roberts：吴教授，你在教学中一直强调的一个重要贡献是让人们了解机器学习操作（MLOps）在机器学习中的作用以及研究方面的需求。我想问一下，你是否认为MLOps未来可能会走向一个新的方向，比如在推理完成后再进行独立的训练，甚至是单独协调推理调用的路径？听起来你似乎在朝这个方向发展。
吴恩达：确实如此，因为许多基于大语言模型的应用还很新，我认为LLM Ops的领域也还在起步阶段。如何构建、部署和维护大语言模型是一个新的挑战。AI技术栈正在发生一些变化，我们现在有了云提供商的硬件层，还有新的编排层，比如Harrison Chase在LangChain上的工作，或者Jerry Le在LLM Indexes上的工作，这些都是编排层的创新。此外，还有建立在这些编排层之上的应用层，另外一个新兴的领域是代理框架（agentic framework），这可能是另一种类型的编排层。
AI技术栈本身正在发生变化，而我花费大部分时间在应用层。在AI Fund中，我发现应用层有很多机会，而基础模型层则竞争非常激烈。大家都在往训练模型中投入数亿美元甚至更多资金，这个领域竞争异常激烈。确实如此。我发现应用层的机会非常丰富，而竞争并没有基础模型层那么激烈。实际上，我们在AI Fund中与许多企业合作伙伴一起工作时，经常会发现一些非常有吸引力的用例，而几乎没有竞争者在研究这些领域，所以应用层存在大量的机会。
Brett Winton：对于那些专注于应用层的公司来说，他们如何选择下游的基础模型？他们是直接使用现成的GPT-4，还是会针对Llama进行微调？你怎么看应用层在选择基础模型方面的策略，以及这如何影响下游的竞争？
吴恩达：这个领域变化非常快。对于很多项目来说，大多数项目还是会使用像GPT-4这样的基础模型进行初步开发，然后再决定是否投入生产。对于大多数事情来说，在原型开发阶段（Proof of Concept）会有更多的项目，而真正进入生产的则较少，这是正常的现象。最近，越来越多的团队开始使用GPT-4，而Cloud 3的竞争力也在提升。甚至在过去几周，Llama 3也变得非常具有竞争力，当然，还有很多团队倾向于使用Google的产品，有些会使用Gemini 1.5 Pro。我听说现在大部分团队还是在使用GPT-4，远远超过其他模型。而在这个行业快速发展的瓶颈之一是评估过程。我认为一个很棒的地方在于，开发的成本比以前低得多，现在我们可以在一天之内构建出令人信服的应用。但是，问题在于，你可能一天就能做出一个不错的原型，但要收集数据并进行适当的评估，可能需要花费10天的时间，也就是说，评估可能需要10倍的时间。而这显然不太有趣。如果我花了一天时间构建了一个东西，现在却要花10天来评估它，或者我花了一周时间构建一个东西，但评估却要花两个月。
这确实会让人们不愿意更换模型，因为如果你一开始就使用了GPT-4，而你又没有其他模型的评估数据，你就会继续使用你最初选择的模型。但我看到，越来越多的人开始构建更好的评估工具，以便更有效地判断这些不同的模型是否在性能上难以区分。如果是这样的话，人们可能就会选择成本最低的提供商。毕竟，有些公司在代币上的花费已经达到了数百万美元，成本节省对于他们来说是非常重要的。对于那些每月花费10美元进行原型开发的公司来说，动力可能不大，但一旦规模扩大，我认为拥有更好的评估工具会让人们能够更有效地评估多个模型，并根据价格、性能和速度的权衡，选择最适合他们工作的模型。确实如此。在我的闲暇时间，我也在思考和研究评估工具。我认为，拥有更好的评估工具将使得人们在评估不同模型时更加高效，从而选择最适合的模型。这将极大地推动AI应用的发展。
Charlie Roberts：我们很高兴听到Claude的进展良好，这是我们从Arc Venture Fund早期投资的项目之一，我们一直密切关注这家公司，对其前景非常看好。显然，GPT家族的模型以及许多开源项目也都值得关注。吴教授，我很好奇你对当前开源模型的优劣势、风险和机遇的看法。这已经成为一个几乎极具争议的话题，尤其是在数据科学和机器学习领域，很少有其他话题能引发如此极化的观点分歧。
吴恩达：我认为开源非常重要，我们应该尽一切努力去推广它。我相信，更多的开源将使世界变得更好，使更多的人受益。令我感到惊讶的是，去年有人进行了一些非常激烈的游说，试图停止开源，这实际上会扼杀美国的创新，也会扼杀全球的创新。可以想象，如果你投入了数十亿美元去训练和发布基础模型，然后有人开源了类似的东西，稀释了你那笔巨额投资的价值，这当然会让一些公司感到不满。
那些游说的力量非常强大。最初的游说是基于“AI可能接管世界并造成灾难”的论调。但我最近在华盛顿与一些立法者交流时发现，这种说法已经失去了很多可信度。不过，这些游说者并没有放弃，他们将论调从“AI可能接管世界并造成灾难”转向了“AI可能会制造生物武器”。然而，已经有足够多的报告显示，电子表格也可以被用于制造生物武器，但我们并不因此而害怕电子表格。同样，AI似乎也不是制造生物武器的理想工具。实际上，我们发布了一份报告，基本上说明了AI与生物武器之间并没有多少关联，很多人试图夸大这种威胁的严重性，但这个论点也失去了相当多的可信度。不过，这些游说者依然没有放弃，最近的论点是，认为如果我们开源，竞争对手国家就能获得我们的技术。我认为这些游说活动的强度，以及他们每隔几个月就愿意更换论点以继续推动关闭开源的议程，这真是令人感到惊讶。
也许我对一些领导者的知识诚信期望过高了。我想解释一下为什么我会有这样的想法。一个有趣的现象是，开源显然是全球AI技术栈的供应链的一部分。我发现，技术往往反映了一个国家或开发者的价值观。比如，许多国家都在使用Google Docs，而Google Docs的设计使得文档共享非常容易，但要将其完全锁定则相对困难。这在我看来，反映了Google内部非常开放的文化。而如果你看一下iMessage，它的端到端加密反映了对隐私的重视。这与一些其他国家的价值观完全不同，这些国家可能更倾向于开发不具备端到端加密的通讯应用，以便政府能够在维护和平的名义下监控通信。如果有些国家不参与AI供应链的建设，那么其他国家就会填补这一空白。当有人在某个国家使用这些AI模型时，我们希望这些模型能够反映价值观。但我认为，试图关闭开源的举措非常危险，这不仅对创新有害，显然这对创新是毁灭性的，对美国、英国或欧盟的利益也没有好处。我真的很惊讶，游说者们竟然成功地说服了一些欧洲立法者，制定了明显不符合欧洲利益的法律。
Brett Winton：是的，除了对开源的监管压力之外，你是否认为未来Meta公司投入数十亿美元训练这些模型并将其发布到市场上的努力，正在削弱封闭式LLM基础模型玩家的经济效益？这是否会导致像OpenAI和Anthropic这样的公司在最终实现商业盈利方面面临更大的挑战？
吴恩达：目前来看，纯粹的基础模型层确实面临挑战。正如你在报告中提到的那样，成本每年下降75%，这让建立护城河变得非常困难。比如，你花费1亿美元训练了一个模型，而一年后，竞争对手可能只需2500万美元就能做到同样的事情，再过一年，成本可能又会减少到四分之一。那么护城河在哪里呢？确实如此，但我认为护城河不仅仅在基础模型层面，还存在于其他层面。对于消费者来说，情况可能有所不同。今天看来，LLM的切换成本其实很低，可能只需要做一些轻微的提示词调整，但我们将拭目以待这一领域的进一步发展。我认为未来可能会有其他技术组件来增强护城河的强度，但如果只是基础模型本身，尽管它很重要，我不确定这是否足够强大。
Brett Winton：你认为Meta能够进入这一领域，是否与早期的GPT模型尚未显现出巨大的商业化机会有关？当时，团队们非常乐于分享他们的研究成果，比如“这是我们的配方，我们是这样构建的”。即使模型是封闭的，但它们封闭的理由主要是出于安全考虑，研究人员仍在分享其架构和方法。然而，现在随着GPT-4等模型的出现，大家都不再愿意公开他们的配方了。
吴恩达：是的，我认为各公司之间的人才和想法流动足够多，想要长时间保密这些“配方”其实非常困难。也许你能在短期内保持技术优势，但长期来看，这种优势可能并不那么牢固。而且，Meta发布Llama 3也是一个有趣的例子。你提到出于安全考虑而保密技术，但如果回顾过去十年，每当有人说“我的技术太危险了，不能公开”时，通常一年或两年后，就会有类似的技术被开源。结果表明，开源带来的好处远远大于可能造成的危害。当然，我不是说没有危害，因为确实有不法分子利用开源技术，但每次当有人说“我的技术太危险”时，一两年后开源的版本通常带来了更多的好处。我觉得，就拿Llama 3来说，有很多人正在基于它进行开发。比如，Llama 3的原始版本有一定的上下文窗口长度限制，但因为它是开源的，现在开发者们可以修改Llama 3，使其支持更长的输入上下文长度。如果它是一个封闭的模型，他们就不可能做到这一点。因此，我认为开源的创新力量非常强大。而且，现在有提供商实际上在广泛地基于每个token为单位提供Llama，这种开源正在创造大量的创新。
Meta发布Llama时，我看到有人在社交媒体上说，马克扎克伯格究竟在玩什么样的七维象棋呢？但我觉得，Llama开源的商业逻辑对我来说并不神秘。坦白说，我看到Meta在PyTorch上也做了非常类似的操作。Meta非常敏感地意识到，建立在他人专有平台上的风险。比如，iOS改变了隐私规则，这对Meta的业务产生了影响，因为iOS是一个专有平台。因此，当我的团队在Google Brain开发TensorFlow时，我实际上聘请了Rajat Monga领导这个项目，他是一位出色的工程师，后来带领TensorFlow取得了成功。
然而，当你担心主导深度学习开发平台的是一个竞争对手或专有平台时，Meta实际上打了一手漂亮的牌，创造了开源的PyTorch，迅速获得了大量支持。坦白说，这可能分散了他人控制深度学习平台的风险，而Meta不运营大型云计算业务，只需要一个自由的平台来构建其社交网络、通信和广告业务。因此，从商业角度来看，Meta确保生态系统中有一个开源的基础模型是非常合理的，因为这样Meta就可以在这个基础上进行开发，而不用担心像iOS这样的封闭平台可能会在某个时候改变规则。而且，由于Meta没有运营大型云计算业务，所以它没有太大的动力去保留一个专有平台或者通过API调用来盈利。所以，这看起来是一个非常理性的商业决策。但这并不减少我对Meta开源这一宝贵资源的感激之情，我认为我们AI领域的许多人都应该对Meta的开源表示感谢，尽管这也是一个非常理性的商业决策。
Brett Winton：对于AI应用公司来说，Sam Altman曾说，如果你在为GPT-4的能力设计，那么你实际上是在犯一个巨大的错误，因为我们在今年或者明年会有更强大的能力。那么，你是否预计这种战略格局会发展为，OpenAI率先推出一个非常有意义的进展，然后其他公司可能会在六个月后跟随？同时，对于AI应用公司来说，这是否会改变你们对AI应用程序的思考方式，这些应用程序可能因为基础技术的快速发展而具有重要的商业化潜力？
吴恩达：Sam是一位伟大的领导者，我从他还是斯坦福的本科生时就认识他了，那时候他在我的实验室工作。对于OpenAI，我非常尊重他们的进取精神，他们非常积极进取。我不知道OpenAI是否会用“战时状态”这个词来形容自己，但我非常尊重Sam和他的团队，他们果断下注，做出各种尝试。虽然并不是每个赌注都会成功，但只要有几个能获得丰厚的回报，他们就能取得出色的成果。OpenAI似乎在尝试许多不同的事情，我不想对他们正在做的所有事情进行猜测。我觉得训练基础模型非常重要，我也期待着GP5或者其他版本的发布，我相信它们肯定会比GPT4更强大。但我也非常确定，仍然有很多GP5做不到的事情，还有许多其他应用可以基于这些模型之上构建。我的团队做了一项小研究，显示在编程问题上，使用GPT3.5结合代理工作流（agentic workflow）的表现实际上优于GPT4。所以，虽然从GPT3.5到GP4的进步非常令人兴奋，但相比之下，使用代理工作流所带来的提升更加显著，哪怕是基于GP3.5的工作流。因此，我对GPT5或者其他模型的未来非常乐观，但我也非常看好即使是在现有模型基础上，通过代理工作流等技术，仍然能够解决许多非常有价值的商业问题和应用场景。
Charlie Roberts：你多年来一直对医疗保健领域非常感兴趣。我记得Mustafa Suleyman的书《The Coming Wave》中提到的一个现代图灵测试的例子，他的设想是给一个代理系统10万美元，然后让它生成每年100万美元的业务，比如在亚马逊上开设公司、编写营销计划等。这种场景是否也在你的脑海中，你是否也有类似的测试希望看到代理系统能够在某个领域内实现？
吴恩达：我觉得人工智能（AI）与人类智能（生物智能）是非常不同的，两者都非常有价值。我们总是在试图将AI与人类的能力进行比较，这并没有什么坏处，但由于人类智能与AI的不同，要让AI做所有人类能够做的事情实际上非常困难。当然，我们希望AI能够在某个时候达到这个目标，但即使在试图匹配人类智能之前，AI已经能够在许多狭窄领域超越任何人类的能力，这已经创造了巨大的价值。我更关注的是这种逐步的、快速推进的进展，而不是尝试去完成某些“现代化图灵测试”之类的挑战。
Brett Winton：确实如此，基准测试之所以有用，是因为它们表明了一些可以商业化应用的潜力，能够扩展并成为真正有形的现实。你非常专注于将AI带入市场的实际应用，那么在语言生成之外的领域，比如机器人、自动驾驶出租车、医疗保健等方面，你怎么看这些领域的应用前景？你对这些领域的进展速度感到兴奋吗？
吴恩达：我认为我们正在逐渐接近这些目标。文本最早从大型语言模型开始，但我也看到图像处理的正在逐渐到来，我不仅指生成图像，还包括图像分析。Landing AI正致力于大型视觉模型的开发，我认为在接下来的几年内，我们将看到AI在分析图像方面取得显著进展。AI在多个领域的快速推进，显示了它的广泛应用潜力。
在AI Fund，我们尝试保持领域的中立性。我们的策略是成为AI技术的专家，确保AI技术的构建质量，了解AI的能力和局限性。因为AI是一种通用技术，可以应用于医疗、金融服务、物流、教育等众多领域，但我们无法在所有这些领域中同时成为专家。因此，我们的做法是与拥有深厚行业知识的企业合作伙伴合作，这些企业通常是我们的投资者，但也可以是其他非投资者企业。通过结合我们的AI专业知识和他们的行业专业知识，我们能够共同打造出非常独特的解决方案。我们确实在医疗领域有一些工作，比如在我们最近的一个医疗项目中，我们与一个在某个特定地区拥有深厚专业知识的海外团队合作。他们在市场和市场进入策略上有深刻的了解，这与我们的技术知识相辅相成，使我们能够在美国以外的地方尝试构建一些非常独特的医疗保健解决方案。我们认为，这个特定的市场和地区可能是更容易首先进入的领域。因此，我发现选择是非常多的。有趣的是，每次我们和大公司一起头脑风暴时，每次都会产生比他们或我们，甚至是任何人实际上有资源实施的点子多得多的想法。这些有前途的想法数量总是多得让人高兴但也让人有点烦恼，因为我们没有足够的资源来处理它们。
Charlie Roberts：是的，我也有同感。在AI Fund与大公司交流的过程中，了解AI如何以及将如何应用，并且对业务案例有深刻的技术理解，你是否认为在未来五年内，市场认为会被AI解决的大问题其实仍然存在？反之，有没有一个大问题，你认为AI将完全解决，而市场或人们并没有意识到这一点？
吴恩达：我认为需要时间。虽然说AI能够迅速改变很多行业很诱人，但实际上，这些转变可能需要时间。以深度学习和AI为例，我们正在做很多工业自动化的重复性任务，而我们知道，物理世界中的变化速度是很慢的。因此，当我们涉及改变生产流程时，虽然我们最终会实现目标，但这往往需要一段时间。即使在涉及知识和文化变革、内部变革管理时，改变“比特”也可能出乎意料地缓慢。因此，我们将看看我们能够多快帮助许多企业重新思考他们的工作流程。我对“比特”的变化速度持乐观态度，认为它比“原子”的变化更快。但事实证明，当需要变更管理流程时，即使是在“比特”领域，有时仍需要几年时间。我认为，AI确实在改变大量的知识工作，并且我相信今天每个知识工作者都可以通过使用大语言模型获得效率提升，这非常令人兴奋。随着更好的工具的出现，选择将会更加广泛。
吴恩达：感谢你，每次和你们聊天都非常有趣，你们真的对这个领域有深刻的理解，恭喜你们在研究工作上取得的成就。我非常喜欢阅读你们的研究报告，所以请继续保持出色的教育和工作，我们期待继续合作。
