深圳掘金AI Talk沙龙成功举办，网易伏羲分享AI Agent技术突破与应用实践

沙龙上，网易伏羲AOP框架技术负责人Joysy分享了“AOP框架在手游中的应用实践”的主题。 Joysy围绕《永劫》手游中游戏的具体应用实践，介绍了AOP框架如何帮助游戏。智能展示了如何通过AI技术提升玩家体验、优化游戏性能。

以下为演讲实录：

大家下午好，我是网易伏羲的Joysy。很高兴在这里与大家分享和交流。今天我分享的主题是《AOP框架在手游中的应用实践》。

第1部分：AOP框架的起源

首先我简单介绍一下网易伏羲。网易伏羲成立于2017年9月，是网易旗下人工智能研究机构。自成立以来，我们一直致力于利用前沿的人工智能技术释放工人的生产力，探索人机协作的新时代。

我们坚信，未来人类与人工智能的关系应该是协作而不是替代。在“人机协作，万物有灵”的愿景下，网易伏羲正在探索如何将AI技术应用到更多实体行业。网易通过创新研发AOP框架（Agent——面向代理编程），搭建了一个可以直接网易伏羲有灵的AOP平台，为智能代理发布和运行各种任务，希望实现其使命： “让每个人都能从事自由、有趣的工作。”

作为中国首个游戏人工智能实验室，网易伏羲在游戏AI领域取得了诸多创新成果。我们在行业内率先实现了AI拍照捏脸功能，首创了智能育儿系统、AI故事接龙玩法、文字捏脸等前沿玩法，并陆续开发了AI游戏剧情动画、 AI游戏匹配、AI反作弊等一系列创新应用帮助手游《泥水寒》实现了文字捏脸、智能NPC、船员模式等突破性的AI应用。可以说，网易伏羲通过不断的实践创新，持续引领游戏AI的发展方向，进一步丰富玩家的游戏体验。近日，网易伏羲幽灵AOP平台助力手游《永恒之劫》打造了全球首个游戏AI队友，一经推出就广受好评。

PART 2：游戏应用实践

接下来我会详细介绍一下我们在手游《天长地久》中实现的队友。

以往游戏的人机设计，机器人都比较死板。他们基本上是按照设定的目标或者自己的想法来比赛，不太善于与玩家沟通和互动。此外，一些“社交恐惧”玩家不想通过麦克风与真人聊天，但他们仍然想要社交互动和多人战斗；而且在玩游戏的时候，玩家经常会遇到一些作弊的队友，比如实力比较差或者在战斗中配合不好的队友，这让整个游戏相当压抑，甚至让我想摔手机。在这些情况下，玩家可能会去一些陪伴平台寻找一个可以和自己聊天并且也很熟练的同伴来满足玩家的情感价值。

为了满足这些需求，网易伏羲帮助手游《永恒之劫》推出了全球首款游戏——多模态实时交互语音AI队友，可以自主跑地图、战斗、听指令、报告战况，并且可以与玩家自由对话，给玩家带来极高的情感价值。对于新手玩家来说，语音AI队友还可以提供教学指导。

以下是一些展示 AI 队友在游戏中行动的视频。可以看到，AI队友不仅可以指挥战斗、跑地图、搜索物资、报告战况，还可以与玩家自由交流，赋予玩家很高的情感价值。

为了达到这个效果，我们为AI队友设计了丰富的性格选项，比如彩虹皮肤的可爱女孩、温柔体贴的女士、温暖深情的男士等等。这些个性鲜明的AI队友可以不仅与玩家建立复杂的互动关系，还能根据不同的游戏情境展现出独特的个性特征，进一步增强游戏的沉浸感和互动体验。

以Agent教学问答功能为例，我们构建了强大的知识库，包含静态游戏知识（如规则、机制）和动态知识（如事件信息）。当玩家提出问题时，AI首先会通过模型将问题转化为向量，然后搜索知识向量化库，寻找最匹配的答案。如果答案不清楚，则会利用RAG、LLM等先进模型进行深入检索和推理，最终给出准确答案。

那么，我们如何实现多Agent协作呢？为了实现这一目标，我们在多智能体代理的设计中借鉴了人脑的运行机制。就像大脑的不同区域负责视觉、味觉、触觉、行走和平衡等功能一样，我们给每个代理明确的职责，并确保他们能够高效地协同工作。这种设计理念不仅提高了系统的整体性能，也使得智能体之间的交互更加自然、流畅。

在这种场景下，Agent不仅可以感知游戏战场环境的状态变化，还可以通过移动硬件传感器接收并理解玩家的语音命令。 Agent收到这些状态信息后，会利用自身的认知和决策能力，结合游戏领域的相关知识库和战斗记忆，根据环境状态和语音输入做出合理的行动决策和相应的语音反馈。

在实现AI队友的过程中，我们首先需要解决的问题是让Agent能够听懂玩家所说的话，并保证AI能够准确捕捉并理解玩家的意图。为此，我们采用了完全开麦、无需唤醒的实时语音通信模式。这种模式虽然极大提升了用户体验，但也带来了一些挑战，比如环境噪音、不同移动设备的兼容性、玩家方言差异、专业术语等。

为了解决这些问题，我们基于AOP框架的核心能力构建了自主的数据闭环训练模型，使Agent具备自主进化的能力，包括构建标准的测试集以及有效利用测试和在线data不断扩大数据集，从而推动模型迭代。

PART 3：AOP框架的核心能力

最后我想和大家谈谈AOP框架的核心能力。在介绍AOP框架的核心能力之前，我们需要先明确AOP的概念。 AOP（Agent——面向代理编程）是网易伏羲设计的一种新的编程范式，它接近自然语言编程，可以快速定义任务。其核心价值在于为开发者连接代理（具有人工智能和人类能力）。它提供统一范式的接口和服务，自动构建数据闭环，让智能体自主进化。开发者可以通过AOP使用伏羲有灵机器人平台预设的公共代理能力（包括预训练模型、数据标注、美术制作、工程机械控制等众包能力），并可以还针对行业细分场景进行定制。构建智能应用程序。

AOP的设计思想是基于马尔可夫决策过程（MDP）的定义对任务进行建模，即当一个Agent（代理，包括人或机器）执行任务时，它首先会与环境进行交互并生成新的状态（State），以及环境都会给予相应的奖励（）。这个过程不断重复，Agent与环境的交互产生大量的数据。 Agent利用这些新数据不断调整其行为策略。经过多次迭代，Agent 可以学习完成特定任务所需的最佳行动策略。

那么，AOP框架在手游《天长地久》中的具体应用是什么呢？基于网易伏羲有灵AOP平台构建的多模态实时交互语音AI队友代理，可集成语音识别、语义理解、人类对话模型、语音生成、强化学习、模仿学习等多种智能代理能力。

基于Agent的记忆能力，AI队友和玩家可以实现超越单一游戏的情感社交，以及跨多种类型游戏角色的社交关系。同时，在战斗过程中，语音AI队友可以实时感知战场环境的状态变化，做出合理的拟人行为决策。是真正能“感知”、“表达”、“懂执行”的可靠AI队友。

在构建语音AI队友代理的过程中，悠灵AOP平台不仅大大提升了研发效率，而且可以借助人类智能轻松实现数据闭环，充分利用研发中的数据和日常测试过程进行闭环训练，并自动更新模型。为了实现玩家与AI队友之间流畅的语音交互，我们利用游灵AOP平台的模型量化、推理加速、逻辑优化等多项工程技术，将端到端交互响应时间控制在800ms以内，比业界声音更大的模型在单模型推理速度上具有显着优势。

目前，网易伏羲AOP框架已经在很多案例中得到成功使用。例如，我们基于网易伏羲AOP人机协作的闭环数据，改进了基于文本的捏脸效果。我们在手游《逆水寒》中首创了基于文字的捏脸，并在手游《长劫》中进一步发展，创造了首个交互捏脸玩法。 ;基于AOP人机协作的数据闭环完善了AI绘画效果，成功打造了《永恒之劫》的“AI智能绘画时尚共创”玩法；此外，AOP框架在人物对话RLHF方面也取得了显着的成绩。通过网易伏羲幽灵众包平台，我们有效提升了对话系统的质量。在这个过程中，我们通过实时对话、对比、修改创作等方法来优化AI对话表现。这种人机协作让我们的人工智能角色能够更自然、更真实地与玩家互动，创造更有吸引力的游戏体验。

最后跟大家分享一下网易伏羲的最新消息：网易伏羲AOP SDK即将进入第一个内测阶段。在此，诚挚邀请各位对此技术感兴趣的朋友扫描二维码参与。我们也欢迎全球的开发者和合作伙伴加入我们，共同探索智能代理技术的新边界。我们相信，网易伏羲AOP SDK将成为开发者的得力助手，帮助大家简化复杂功能的实现流程，打造更智能、响应速度更快的游戏世界，为玩家带来前所未有的沉浸感和交互体验。

展望未来，我们期待这项技术能够激发更广泛领域的创新，触及更多行业，影响更广泛的领域。网易伏羲也将继续秉持“人机协同，万物动画，让每个人都能从事自由有趣的工作”的愿景，与合作伙伴共同推动智能互联世界的建设，加速AI技术与实体产业的深度融合，将助力未来社会的数字化转型。