ModelOps在AI安全运营中的工程化实际

颁布功夫 2022-03-23

随着AI技术的逐步成熟，，，，，各行各业都起头引入AI技术来解决业务出产中的现实问题，，，，，其中，，，，，安全运营对AI技术的利用也提出火急的需要。。。。 。。


然而，，，，，由于用户业务场景和数据复杂多样，，，，，若何在安全运营过程中利用AI技术进行数据建模和分析也成为一项难题。。。。 。。而ModelOps所提供的模型建模能力和模型性命周期治理能力，，，，，正是解决此难题的关键。。。。 。。


ModelOps与AI安全运营结合 - 实现AI安全分析模型开发实现即上线


相较于其它业务场景，，，，，在安全运营中使用AI技术来提升安全分析和检测能力，，，，，拥有更高难度。。。。 。。AI模型的创建必要使用数据进行训练，，，，，数据安全又对于企业极度沉要，，，，，因而，，，，，企业很难直接把数据交给安全厂商做AI建模，，，，，这就使得AI模型往往只能使用非企业真实出产环境的数据进行训练。。。。 。。


倒剽种“假数据”模型被部署到企业真实出产环境中，，，，，由于和真实数据差距很大，，，，，使得模型的正确率大幅度降落，，，，，并且由于不能提供持续的模型优化能力，，，，，使得随着业务数据的变动AI模型的能力也会逐步降低。。。。 。。


ModelOps提供的模型建模能力和模型性命周期治理能力可能很好地解决这一问题。。。。 。。通过在用户环境中部署ModelOps平台，，，，，就有了在用户环境中进行模型训练和模型持续优化集成的能力，，，，，也就把AI安全模型的训练和迭代更新过程“右移”到用户的真实出产环境中，，，，，因而，，，，，模型训练使用的不再是尝试室机关的“假数据”，，，，，而能够使用用户出产环境现场产生的真实数据，，，，，大大提升AI安全模型的正确性。。。。 。。


举例来说，，，，，部署用于鉴别加密恶意流量的AI模型，，，，，由于该模型的特点工程将提取大量网络会话中的通讯特点信息，，，，，好比网络抖动、会话中的帧间距以及TCP会话窗口大幼等，，，，，显然这些特点在尝试室环境和用户真实环境下是分歧的，，，，，若是直接使用尝试室环境下机关出的布景流量作为负样本训练出来的模型在用户真实环境下就可能出现较大的正确性降落，，，，，而若是模型就是在用户真实环境中训练的，，，，，真实的负样本数据可能有效保障模型的正确性。。。。 。。


ModelOps解决的另一个重要问题是模型能力衰退的问题。。。。 。。由于AI模型的泛化能力有限，，，，，AI算法性质也是进建训练数据中所隐含的统计法规，，，，，而无论当用户的业务数据（负样本）产生变动还是出现了新的攻击步骤（正样本），，，，，都有可能无法被现有的AI模型鉴别。。。。 。。


因而，，，，，一方面必要有对现有AI模型的自动化评估步骤来发现这种模型能力的衰退，，，，，另一方面必要可能自动化和急剧高效地使用蕴含新类型数据的数据集对AI模型进行沉新训练，，，，，让AI模型可能意识这些新出现的数据上的变动，，，，，并沉新将AI模型集成到运行环境中去。。。。 。。


ModelOps对模型的全性命周期治理蕴含了对模型的实时监测评估、对机能衰退模型的自动化守护和迭代更新。。。。 。。XOps（如DevOps、DataOps、ModelOps）其主题理想都是萦绕急剧迭代和持续集成。。。。 。。在安全运营过程中，，，，，若何把AI模型急剧和自动化地集成到必要使用该模型的安全产品中是能否真正实现所谓Ops的关键。。。。 。。


在安全分析中所使用的AI模型重要分析的对象是网络流量和各类日志，，，，，此类数据拥有多种不确定的表征步骤，，，，，这就提高了对数据治理要求的复杂性，，，，，也使得在尝试室中天生的AI安全模型难以直接部署使用，，，，，而必要沉新编写代码。。。。 。。


ModelOps则解决了从模型开发到部署间最后一公里的数据治理问题，，，，，其要求的持续集成在安全运营场景下，，，，，能够通过三种方式来实现：模型即服务的SaaS模式、模型赋能模式和分析推理了局赋能模式。。。。 。。


1、模型即服务的SaaS模式必要用户提交要分析的数据、选择使用的模型，，，，，并通过尺度接口获得返回的分析了局；；；； ；；；；


2、模型赋能模式必要用户拥有可运行模型的平台或容器，，，，，并自己处置数据ETL过程，，，，，用户能够通过ModelOps提供的模型训练职能训练出模型并将其下载到自己的环境中运行；；；； ；；；；


3、分析推理了局赋能模式必要散布式的部署可运行AI模型的探针到用户环境，，，，，通过直接接入数据提供齐全的从ETL到模型推理的数据处置过程，，，，，并将模型的分析推理了局以尺度化的体式返回给用户。。。。 。。


对于必要使用AI安全分析模型的安全产品和系统来说，，，，，只有对接了AI模型持续集成的三种模式之一的配置和了局返回的API就能够实现将AI安全分析能力急剧集成到自身系统中，，，，，并依附ModelOps提供的持续迭代能力实现对AI模型的更新迭代，，，，，实现AI安全分析模型开发实现即上线。。。。 。。


泰合AI安全建模和赋能平台 - 面向AI安全分析模型全性命周期治理和持续集成


ModelOps所提倡的急剧迭代持续集成就是为高效运营而生，，，，，模型则是场景化安全分析的主题能力，，，，，8827太阳集团泰合本部成立了专一于AI技术钻研的北冥尝试室，，，，，已经全面实现ModelOps的工程化落地，，，，，近期颁布的AI安全建模和赋能平台，，，，，是一个集成多种Al安全分析模型，，，，，可提供全性命周期Al模型治理的平台。。。。 。。


AI安全建模和赋能平台通过将AI建模全流程解耦合实现了AI模型的流水线化出产，，，，，通过安全分析场景数据ETL引擎、模型建模和推理引擎、安全场景编排引擎实现了让数据工程师只关注数据治理，，，，，算法工程师只关注模型算法，，，，，安全分析师只关注安全场景化的多工种协同作业。。。。 。。


同时，，，，，AI安全建模和赋能平台可能提供一个盛开的生态系统，，，，，支持用户通过自界说数据源和ETL步骤，，，，，自界说特点工程算子和算法算子来堆集和强化平台的建模能力，，，，，并将AI安全建模过程从安全厂商端“右移”到了用户出产环境中，，，，，可能直接接入用户的真实出产环境数据，，，，，并让熟悉用户业务的业务专家使用此平台来构建越发切合用户业务需要和拥有更高正确性的AI模型。。。。 。。


AI安全建模和赋能平台通过尺度的API接口和SYSLOG日志接口向其它安整系统和平台提供AI模型的下载服务和AI模型推理了局服务，，，，，使得其它无AI能力或无AI建模能力的系统，，，，，可能借助AI安全建模和赋能平台向其输出的模型或推理了局实现急剧AI化和智能化落地。。。。 。。


下面事俘展示AI安全建模和赋能平台通过对表赋能实现AI模型开发实现即上线的过程：


步骤一：在AI安全建模和赋能平台侧通过建模流水线执行数据集创建、算子上传、模型训练尝试创建，，，，，实现训练模型，，，，，并颁布模型。。。。 。。


步骤二：在AI探针侧下载颁布的模型。。。。 。。


步骤三：创建推理工作，，，，，选择下载的模型并执行该推理工作。。。。 。。


步骤四：在泰合安全治理与态势感知平台对应的页面可能直接看到模型的检测了局。。。。 。。


AI安全建模和赋能平台在ModelOps上迈出了工程化实际的第一步。。。。 。。随着越来越多AI技术的利用，，，，，更多的AI模型必要可能在安全运营中被治理，，，，，AI安全建模和赋能平台也将在结合用户业务的模型持续评估，，，，，自动化进建更新等职能方面不休优化和美满。。。。 。。


在数据安病愈发沉要的今天，，，，，一些利用场景下必必要实现结合多地的数据，，，，，进行模型训练和分析推理，，，，，通过基于联国进建实现支持多方推算的模型训练和模型推理，，，，，也将是AI安全建模和赋能平台的发展方向，，，，，能够预期其将作为安全运营的基础设施和技术底座为安全运营提供最有力支持。。。。 。。




文章起源：北冥尝试室