安全行业大模型的来龙去脉
颁布功夫 2024-04-23将知识注入到大模型中
大模型鄙人游安全领域工作中阐发往往欠佳，，，，，，通常被以为不足领域知识和利用领域知识的方式。。。。。。。。下图列举了目前主流的大模型调优技术：
对于L1安全行业大模型，，，，，，重要使用右半图的技术（增量预训练、有监督微调、人类反馈强化进建），，，，，，通过更新模型参数，，，，，，来获得一个具备更强安全知识的大模型；； ； ；；；对于L2利用场景层，，，，，，则会使用左半图的技术（检索加强天生、高低文进建），，，，，，使大模型在现实场景中无需更新参数即可急剧落地。。。。。。。。
此表，，，，，，将这些技术分辨为“注入知识”和“注入利用知识的方式”两种。。。。。。。。注入知识（上半图）重要主张是让大模型获得安全领域知识，，，，，，可能在回覆时有理有据而不是凭空凭空；； ； ；；；而注入利用知识的方式（下半图）重要主张是教会大模型利用知识，，，，，，但愿大模型的回覆可能依循特定体式或特定思路。。。。。。。。
尤其是人类反馈强化进建技术，，，，，，是但愿大模型可能对齐人类认知，，，，，，在合理当用知识的同时，，，，，，提升回覆的可用性和安全性。。。。。。。。
接下来，，，，，，将别离介绍这些技术的利用方式和优弊端。。。。。。。。
增量预训练
增量预训练（Continuous Pre-train，，，，，，CPT）是一种常见的知识注入方式。。。。。。。。大模型重要是依附进建大量通用知识得到，，，，，，通过将领域知识与通用知识混合，，，，，，而后使用这些数据持续训练原有L0基础大模型，，，，，，增长了领域知识在训练数据中的比沉，，，，，，即增长了原有模型的领域知识。。。。。。。。这种思路显然是合理且有效的。。。。。。。。
利益：注入模型的数据不必要人为打标，，，，，，算法人员只必要对数据做去沉、去告白等洗濯工作，，，，，，不必要逐条对数据做精密处置。。。。。。。。
弊端：重要在于数据和算力成本高。。。。。。。。它不仅对算力的要求相对偏高，，，，，，也必要大量精心洗濯的领域知识数据。。。。。。。。
因而，，，，，，增量预训练所获取的数据通常� ？？？Ｄ芄挥薪洗罅考�，，，，，，注入的知识也较为全面。。。。。。。。
有监督微调
有监督微调（Supervised Fine-tuning，，，，，，SFT）是指基于已有的大模型，，，，，，在有标注数据上进行模型训练。。。。。。。。现有的SFT技术通常无需微调模型的所有参数，，，，，，仅微调少量（或额表）模型参数，，，，，，显著降低推算和部署成本，，，，，，同时产生与全量微调模型相当的机能。。。。。。。。通过这种方式，，，，，，能够在消费级硬件上训练和存储大模型，，，，，，让大模型适应各类下游利用。。。。。。。。
利益：需要的数据量并不大，，，，，，使用最低百条数据微调往往就能让大模型学会一些单一的思路与体式。。。。。。。。
弊端：用于微调大模型的数据通常必要极其精密化的洗濯和逐条的人为打标。。。。。。。。
举例来更好地诠释上文提及的技术概想：在安全运营场景中，，，，，，用户但愿大模型对已知的安全事务进行解读，，，，，，蕴含告警内容、事务类型、攻击手法、资产属性等。。。。。。。。这样的利用场景必要这样实现：
首先，，，，，，使用大量公开的网络安全与主机安全有关知识对大模型做增量预训练；； ； ；；；
其次，，，，，，使用安全专家标注后的如下问答对，，，，，，对8827太阳集团安全大模型进行有监督微调；； ； ；；；
最后，，，，，，就得到了能够在现实场景中使用的模型。。。。。。。。
但是，，，，，，对每一个下游工作我们都必要做微调吗？ ？？？？对于一些单一的工作，，，，，，这样的利用方式是否过于复杂和冗余了呢？ ？？？？因而，，，，，，我们引入了一些不必要更新模型参数的技术，，，，，，它们同样能有优良的使用成效。。。。。。。。
检索加强天生
检索加强天生（Retrieval Augmented Generation，，，，，，RAG）是时下热点的大模型利用解决规划。。。。。。。。它的重要道理是由用户提出问题，，，，，，通过类似搜索引擎的方式，，，，，，从知识库中找到有关的知识片段，，，，，，随后将用户的问题与搜索的了局一起输入给大模型，，，，，，让大模型对着∥拷寮答案”天生回覆。。。。。。。。
利益：相迸宗增量预训练，，，，，，检索加强天生的成本更低，，，，，，且知识更新更快。。。。。。。。
弊端：检索加强天生对知识库的质量要求较高，，，，，，要求最后得到的有关知识片段的确提供了回覆用户问题所必要的知识，，，，，，且可能被大模型顺利理解。。。。。。。。
但在实际中，，，，，，使用增量预训练还是检索加强天生并不是单选题，，，，，，能够选择“全都要”，，，，，，同时享受两种技术的利益。。。。。。。。
高低文进建
高低文进建（In-context Learning，，，，，，ICL）即提醒进建，，，，，，也叫语境进建、工作有关的类比样本中进建等。。。。。。。。当输入问题时，，，，，，只需给大模型出一些“示范”性质的提醒，，，，，，即可让大模型依照示范来天生回覆。。。。。。。。通常使用高低文进建的用户问题体式如下所示。。。。。。。。
利益：是一种极度方便的步骤，，，，，，对于分歧的下游工作，，，，，，不必要调整模型参数，，，，，，只必要凭据提醒，，，，，，就可能实现特定的工作。。。。。。。。
弊端：对于复杂的问题，，，，，，单一的提醒往往很难起到优良的成效。。。。。。。。
我们似乎能够不再对每一个下游工作都进行有监督微调，，，，，，而是用越发矫捷的方式实现上面的安全运营场景（对于和之前步骤分歧的处所，，，，，，我们做了加粗标注）：
首先，，，，，，我们使用大量公开的网络安全与主机安全有关知识对大模型做增量预训练；； ； ；；；
其次，，，，，，我们使用安全专家标注后的多个分歧安全工作场景下的问答对，，，，，，对8827太阳集团安全大模型进行有监督微调；； ； ；；；
再次，，，，，，我们对每个单独的下游工作，，，，，，使用检索加强天生和高低文进建来进行单独的工作提醒；； ； ；；；
最后，，，，，，得到最平天生的了局。。。。。。。。
在现实利用场景中，，，，，，大模型还必要通过人类反馈强化进建获得更好的安全性和可用性；； ； ；；；也必要借助智能体系统，，，，，，使用一些类似于搜索引擎、数据库查问、推算器一类的工具来辅助实现工作。。。。。。。。接下来别离介绍这两项技术。。。。。。。。
人类反馈强化进建
人类反馈强化进建（Reinforcement Learning from Human Feedback，，，，，，RLHF）技术，，，，，，重要主张是通过将人类的反馈纳入训练过程，，，，，，为机械提供天然的、人道化的互动进建过程。。。。。。。。
在实际中，，，，，，人类反馈强化进建往往被用于提升大模型的安全性和可用性，，，，，，安全性通常指用户询问不合法内容时大模型能够给出回绝回覆，，，，，，可用性则指大模型给出的回覆可能切实援手到用户。。。。。。。。
值妥贴心的是，，，，，，安全性和可用性也会相互影响，，，，，，必要不休进行强化进建，，，，，，预防顾此失彼。。。。。。。。
智能体
智能体（Agent）是一个较复杂的概想，，，，，，也是一种新鲜的大模型利用方式。。。。。。。。它重要思想是通过大模型构建一个智能体，，，，，，让大模型通过逐步思虑来规划整个指标工作。。。。。。。。
在智能体中，，，，，，一个问题会被拆解为多个子模� ？？？？�，，，，，，而后通过从大模型天生的了局中解析出其中挪用工具的内容，，，，，，使用多种工具来逐步实现指标。。。。。。。。每获得一次工具挪用了局，，，，，，必要通过规定或大模型对得到的了局进行观察验证，，，，，，确定这是否是用户想要的最终答案。。。。。。。。若是不是，，，，，，则持续循环，，，，，，将汗青的所有了局进行总结并输入大模型，，，，，，让大模型规划下一步骤的行动。。。。。。。。
总得来说，，，，，，智能体是让大模型解决复杂问题的综合模� ？？？？槔孟低�，，，，，，通常与用户交互的智能对话机械人就是以这种方式实现的。。。。。。。。
数据与算力——大模型的机能壁垒
综上所述，，，，，，能够看出，，，，，，大模型的利用如今重要受限于两风雅面：
一是数据。。。。。。。。更多的安全领域数据和实际运营数据对安全大模型是至关沉要的。。。。。。。。占有足够优质的数据，，，，，，意味着增量预训练中更多的安全知识，，，，，，有监督微调中更专业的问答对，，，，，，加强检索天生中更详实的知识库，，，，，，“更多的人为，，，，，，更多的智能”就体现于此。。。。。。。。
二是算力。。。。。。。。我们必要足够的算力维持大模型的训练和日常推算（推理），，，，，，更大的参数量、更多的训练数据这些都必要有足够的算力支持，，，，，，才可能拿到了局。。。。。。。。
明显数据和算力的沉要性，，，，，，我们也着手为安全大模型提供了丰硕的资源。。。。。。。。8827太阳集团依附中国移动算网资源优势，，，，，，解决了模型训练和推理当用中的资源问题，，，，，，基于自身沉淀的丰硕的安全知识库、样本库、谍报库，，，，，，天生了安全领域的高质量语料库。。。。。。。。
在日常安全运营中，，，，，，能够实现自有安全产品到自有安全服务的关环，，，，，，也就是AI利用飞轮效应（用户越多，，，，，，反馈越多，，，，，，AI能力越强），，，，，，并通过元数据数字治理模式，，，，，，实现数据到知识的转换，，，，，，将自由安全产品和领域专家经验持续沉淀，，，，，，美满和丰硕安全领域大模型系统。。。。。。。。
京公网安备11010802024551号