1、京东联盟是什么？

《京东联盟》是联合媒体合作伙伴帮助京东推广产品、扩大品牌知名度的合作平台。任何经京东认可的个人或公司加入京东联盟后，即可获得相应的促销代码或链接进行促销。当用户完成有效购买时，京东联盟成员可以获得佣金。

2、为什么要做京粉智能推广助手？

从业务上来说，京分App是京东联盟的客户端产品。平均每天有数以百万计的合作媒体和个人推手每次在精粉上推广产品赚取佣金。在推广助手推出之前，联盟业务已经近几年的发展，增加了越来越多的功能和玩法活动。泰克如何选品、推广产品、参与活动、分析业务数据，都分散在各个功能模块中。用户学习和操作的成本越来越高。问题越来越多，人力维护的成本也会越来越高。如果有一个助手可以帮助推送客户，随时回答用户问题，通过数据分析指导用户如何选择产品和推广，什么时候参加什么类型的促销活动，那么更多的用户就会愿意加入并帮助京东推广。

从技术上来说，随着大语言模型技术的不断成熟，辅助应用变得更容易实现。凭借AIGC大语言模型卓越的理解、推理、规划能力，可以通过自然语言交互形式充分理解泰克的个性化管理。诉求深度结合广大推手的实际推广环节，从智能选品、推广建议、素材生成、业务引导等方面为推手带来业务升级，解决传统被动交互形式中巨大的需求差异和获取问题。信息效率低等问题。

二、如何做？

精粉智能推广助手集成了知识问答、素材创作、产品选品与推广、业务数据分析等一系列功能。几乎涵盖了辅助应用的所有应用场景。仅仅依靠通用大型模型的能力是不够的。这里需要一个强大的代理来进行规划、决策和执行。同时，智能体具有记忆和使用工具的能力。用户通过多轮自然语言对话进行交互。重点分以下三部分进行介绍：

•Agent架构：分为两部分。一方面是通过模型训练来提高Agent核心大模型识别工具的准确率，另一方面是设计可扩展、安全可控的Agent架构来填充和拓展业务能力。

•记忆：如何在多轮对话应用中组织、存储和检索记忆，以提高用户对大型模型的理解。

•快速回复：利用快速回复规划用户意图路径，实现业务目标。

三、实战1-AI Agent

1、为什么要用Agent？

联盟场景有很多自己的知识、活动和数据。他们中的大多数都有现成的接口来提供这些数据。由于大模型本身缺乏垂直场景的专业知识，知识的时效性较差，很容易出现这种情况。幻觉等因素，直接使用大模型与用户交互很容易出现问题。需要大模型能够理解用户意图，能够利用联盟现有的工具更准确地回答用户问题，但大模型本身无法与外部环境进行交互，所以必须使用Agent来解决。

2、挑战

•工具识别：通过实验发现，市面上大型开源模型使用外部工具只有Chat GPT-3.5/4以上的准确率才能满足要求，但成本很高。在企业应用中，你需要训练自己的大型模型来学习如何更准确地识别工具。

•Agent架构：目前，Agent还处于初级开发阶段。从应用场景来看，从智能客服-智能创意-推荐系统-自动驾驶-智能机器人到复杂的城市智能规划系统，需要感知和交互的环境因素越来越复杂，需要决定的事情变得越来越困难，面临的风险级别和安全级别也有很大差异。因此，目前还没有一个适合所有场景使用的通用Agent，每个应用场景都需要根据其特点、成本、效率、风险来设计Agent架构。

3、技术方案

工具标识

有两种方法可以识别大型模型的工具。一是利用系统提示的方法。该方法具有较好的可扩展性，但要求模型具有较强的遵循指令的能力。一旦工具选择或者参数输入出现错误，就会导致Agent调用工具失败，我们在开发初期就使用这种方法，但是提示调优的过程就像魔术一样，有时好有时坏。第二种方式是将工具训练到模型中，这样可以大大提高使用工具的准确性，而且使用起来也很方便。我们利用ToolLLM框架提供的数据构建、模型微调和评估框架来增强大型模型的工具使用能力。结果证明使用LLama-6B sft的效果已经达到了Chat GPT的水平。

代理实施

关于Agent的实现，最初的方案是基于langchain的Agent来制定和实现的。但在实施过程中，发现langchain存在诸多问题，如过度封装、异步并发效率低、版本间不兼容、核心功能难以实现等。对照一下，由于langchain是用Python实现的，解释型语言运行缓慢，并发处理能力较弱。虽然它高度灵活，但也会带来性能低下的问题，所以比较适合实验或者小型应用，但是企业级高并发应用就不适合了，所以我们基于ReAct范式，结合京东内部公共组件和自研组件，集成工具/接口接入，自定义工具排列，内存模块，vearch向量检索，提示引擎，Streaming回调函数，各个模块的监控，重写golang中Agent的主要架构，提高了稳定、高并发系统整体性能提升50%以上。

我们主要将Agent的核心部分分为两个阶段，初始化阶段和迭代执行阶段。初始化阶段是环境信息的收集，包括用户输入、历史内存加载、工具访问、提示访问、模型访问等。流式/非流式回调访问，这部分langchain中的agent启动阶段比较耗时。每一轮用户交互，Agent都需要重新初始化。我们使用Agent重用来预加载。除了用户输入和历史记忆外，所有其他模块都是提前加载的。提高效率。另一个阶段是迭代执行阶段，由预处理模块、规划、后处理模块、执行四个部分组成。预处理模块需要维护一个阶段状态（哪次迭代迭代）和数据拼接处理（用户输入+大Model回复+执行结果）。规划阶段主要是通过大模型推理阶段，这里需要为工具预留分析模块，因为不同的模型对工具的输入是不同的。后处理模块分析模型规划的结果。某些情况下，需要注意区分模型规划、结束或调用工具的结果。流式和非流式结果需要在这里存储和返回。如果需要调用工具，只需进入执行模块，将工具调用结果发送到预处理模块进行下一轮迭代。我们在模型的调用和工具的调用中都预设了自定义的hook。用户可以根据自己的需要执行自定义工具。任何阶段的流式输出。

合理的架构

从企业级应用的角度来看，是不是架构越智能越合理？这里最重要的问题其实是系统是否足够安全可靠。智能化是所有企业追求的目标，但智能化必须在可控的范围内。不受控制的智能对于任何企业来说都是不可接受的。因此，从安全边界的角度来看，应用架构可以分为以下两种类型：

完全智能架构：系统的运行完全依赖Agent自主执行

安全架构：系统运行依赖于预先编写的任务流程，Agent仅进行流程选择和判断。

这么多年的经验告诉我们，如果不谈业务就谈架构，是没有人会用的。如果我们完全按照生意去做，我们总会被推翻，重新开始。因此，架构的设计既要符合业务，又要具有前瞻性。

晶粉智能推广助手主要业务需求：

功能

描述及解决方案

依靠

琐事

京东联盟有很多关于泰克的介绍、规则、常见问题。可以通过插件知识库解决

知识库

业务分析

分析推送客户的业务状况，包括收入、客户群体画像、促销建议等。数据可以通过联盟现有的各种工具接口进行访问。

推广客户/用户画像/活动等的工具界面

促进产品选择

·目标明确（搜索iphone15 pro max） ·目标模糊（给长辈的新年礼物） ·没有目的推荐产品必须有推荐理由以及同/相似产品的多维度比较（佣金、价格、销量） 、评论）等）分为简单任务和复杂任务。复杂的任务可以通过特定的任务流程来实现

产品界面/历史数据/同类产品数据

复制生成

链接传输工具

.

从功能需求来看，既有简单的任务，也有复杂的任务，并且随着时间的推移，会添加越来越多的任务。同时，业务的定制内容也会越来越复杂，代理商的难度也会增加很多。为了平衡业务、安全、成本、效率的考虑，我们最终将定制化的任务流程与Agent自主决策相结合，兼容动态规划、自主决策执行任务的定制化和可扩展性流量、业务。

4、业务效果

四、实战2- 记忆

对于多轮对话形式的大型模型应用，上下文信息对于模型理解人类需求有很大帮助。如果没有记忆，大型模型的表现就会在多轮对话中支离破碎。内存还将使模型能够更好地了解用户的习惯和偏好。

1、挑战

1.1。由于大模型代币的限制和系统内存的限制，不可能将所有用户的历史信息存储并加载到模型中。

1.2.如何模拟人脑的记忆和检索方式，建立长/短期记忆。

1.3.多轮对话中垂直领域知识的结构化记忆。

2、技术方案

记忆的构建可以概括为理解、存储、删除和检索的过程。短期记忆、长期记忆和垂直领域知识通过以下方式存储和检索。

2.1.短期记忆的设计比较容易，包括短期滑动窗口多轮对话和固定时间内的多轮对话，都可以作为短期记忆。短期记忆应存储尽可能多的详细信息，但轮数应尽可能少。很少。

2.2.长期记忆：从短期详细记忆中提取实体信息。可以通过NER提取实体信息，也可以通过大模型对缓存进行汇总和压缩。可以基于内存片段和时间戳进行向量表示并存储在向量库中。

2.3.垂直领域知识，比如京东的skuid，是数字类型，不代表任何语义信息。在前面的对话中，可能会向用户输出某个skuid。如果短期记忆已经被压缩成长期记忆，那么它不会包含任何数值类型的语义信息消失，我们可以通过自定义的结构化信息存储方法，将此类信息的存储和检索与长/短时记忆，使得在多轮用户对话中，可以从记忆中获取结构化的skuid来搜索和检索分析该产品，而不必输入先前产品的“skuid”来识别它。

2.4.在检索过程中，同时检索短期缓存和向量库长期记忆检索（通过Veach实现）和垂直领域知识。将三部分整合后，作为一个整体的内存模块，以节省内存空间。

五、实战3-快捷回复

从线上实践的数据分析来看，快速回复功能是整个系统或者用户交互中使用频率最高的。所有用户都会有选择困难，尤其是在一个新的应用场景下，当用户第一次使用时，用户喜欢使用一些给定的功能，那么如何利用好快速回复的能力，引导用户走向业务通过快速回复的目标路径也是一个有趣的点。

快捷回复的三种实现方案

1、通过历史信息和用户当前的输入，利用大模型进行总结和续写能力，生成一些用户可能会继续输入的内容。

2.根据应用的功能预设一些常见问题。

3、要点：我们可以根据应用的业务目标来规划用户使用路径图，让用户根据快速回复路径最终达到我们需要的业务目标。在实际业务中，我们可以结合第1点和第2点来包含用户想要输入的内容。还有一些我们希望用户看到的功能。

六、总结与展望：

1、垂直领域用户意图理解：结合垂直业务特点，利用自然语言沟通，更准确、更快速地识别用户意图。该模型需要大量真实可靠的业务数据。训练，机制需要升级Agent，多个更专业的助手进行协作，比如多Agent应用。

2、生成式推荐技术：对现有的推荐系统进行技术变革，从召回、排序、重新排列固有的推荐链接演变为直接生成用户所需的内容或产品。

3.成本效率：虽然大型语言模型非常强大，但其应用也带来了巨大的成本和效率考验。如何在垂直品类领域用更小的模型达到大模型的效果，如何加速模型推理，提高计算利用效率，降低机器成本，也是我们长期需要考虑和优化的领域。

用户评论

微信名字

哇，这个LLM的精粉智能推广助手听起来好厉害啊！我一直在寻找提高广告效果的工具，这简直就是福音！期待看到它的实际应用效果。

    有16位网友表示赞同！

绝版女子

标题里提到的“Agent在联盟广告中的应用”，听起来好专业，我虽然不是业内人士，但这个技术发展真是让人激动。

    有16位网友表示赞同！

浅笑√倾城

看了这个标题，我有点好奇，这个智能推广助手Agent是如何实现精准推广的呢？能详细介绍一下吗？

    有14位网友表示赞同！

长裙绿衣

联盟广告一直是电商推广的重要手段，有了这个智能助手，是不是能大大提高广告转化率呢？太期待了！

    有9位网友表示赞同！

空巷

哈哈，标题里提到的“实现”，看来这已经是一个成熟的技术了，那它的操作难度大不大呢？

    有6位网友表示赞同！

_心抽搐到严重畸形っ°

我之前用过一些广告推广工具，但效果都不太理想。这个基于LLM的智能推广助手听起来挺有潜力的，希望能试试。

    有11位网友表示赞同！

别悲哀

联盟广告市场竞争激烈，有了这个智能助手，企业是不是能节省不少推广成本？期待看到实际效果。

    有19位网友表示赞同！

。婞褔ｖīｐ

这个精粉智能推广助手Agent，听起来像是结合了人工智能和大数据，那它对用户数据的保护措施做得怎么样呢？

    有16位网友表示赞同！

浅巷°

之前看过一些关于LLM的介绍，但具体到广告推广的应用，还是第一次听说。这个标题让我对这个领域产生了浓厚的兴趣。

    有12位网友表示赞同！

無極卍盜

智能助手在广告中的应用，真的能解决广告投放中的一些痛点吗？期待看到案例分析和实际效果。

    有16位网友表示赞同！

北朽暖栀

LLM的应用越来越广泛，这次看到它在联盟广告中的应用，让我对人工智能有了新的认识。

    有10位网友表示赞同！

墨染殇雪

这个标题让我想起了之前的一个项目，我们也在尝试用人工智能来优化广告推广，但效果并不理想。这个智能助手能帮我们解决哪些问题呢？

    有20位网友表示赞同！

鹿叹

联盟广告的精准度一直是个难题，这个智能推广助手如果能解决这个问题，那对行业来说绝对是革命性的进步。

    有10位网友表示赞同！

酒笙倾凉

我一直觉得广告投放应该更加个性化，这个智能助手如果真的能实现这一点，那对消费者来说也是一大福音。

    有5位网友表示赞同！

抚涟i

标题里提到的“实现”，让人好奇它的技术壁垒在哪里？能分享一下开发过程中的难点和挑战吗？

    有12位网友表示赞同！

心贝

我对这个智能推广助手Agent的算法很感兴趣，能详细介绍一下它是如何工作的吗？

    有20位网友表示赞同！

半世晨晓。

作为广告从业者，我非常期待看到这个智能助手在实际应用中的表现，希望能带来一些新的思路和方法。

    有14位网友表示赞同！

莫名的青春

这个智能推广助手Agent听起来很有前景，但我担心它的成本会不会很高？对中小企业来说，是否能负担得起呢？

    有20位网友表示赞同！

话扎心

联盟广告行业需要这样的创新技术，希望这个智能助手能够引领行业走向一个新的高度。

    有14位网友表示赞同！