数据治理与大模型一体化实践

  大模型落地到当前这个阶段
，，，，核心关注点还是领域大模型
，，而领域大模型落地的前提在于两点：需求端，，，，对当前应用的降本增效以及新应用的探索
；供给端，，，训练技术已经有较高的成熟度。
。。。

  降本增效方面，，，
，以机器学习团队的构成为例，
，滴普科技Deepexi产品线总裁柏海峰介绍道
：“传统机器学习或者说小模型的技术落地，，对人才的要求很高，
，，，但企业往往没有意识到这个问题。
。具体来说，，，一般需要构建一个综合性的团队即数据科学团队，，团队中需要数据开发工程师
、、、BI工程师、、、、商业分析师
、、、数据科学家、、、算法工程师等岗位，，人力成本很高，，，，除了互联网、、金融行业的大型企业，，，传统企业或中小型企业很难组建这样的团队
。。。。”

  人才要求高的原因在于，，不同岗位的技能差异非常大，，，
，相关工具和技术栈也比较分散，，比如在某个具体应用领域的AI模型也是采用不同的算法，，，数据处理层面的pipeline
，，很多时候自动化的实现也不够完善。。
。。总之，，不同的钉子只能用不同的锤子，，而每一把锤子都不便宜。
。。
。

  因此，，，尽管小模型对算力、、、、数据要求没有那么高，，，，但要调出好的效果，
，复杂度还是很高的。。。除了技术因素，，，在团队协作和业务适配方面，
，，，也还有很多难题
。。。

  “大模型带来的首要好处就是，，，它一下子把技术门槛拉低了
，，，把整个技术栈从输入到输出的链条变得很短，，，原本需要很多人的数据科学团队
，，变成只需要一个人加多个Copilot就可以完成，，，
，这个人甚至可以是业务部门的，，这是非常有想象力的。。”

  训练技术方面，，，大模型一般都是先进行self supervised learning，
，，构建通用大模型，，然后经过supervised fine-tuning训练，，，针对特定任务
，
，，构建领域大模型初版，，，最后通过RLHF训练
，，
，对齐人类价值，，，，完成类似于人类学习成长的解题
、、、实习、、
、社会工作三步曲。。

  其中后两步是大模型微调并构建领域大模型的主要步骤，，，
，可以把训练前回答问题很散漫的通用大模型Llama 2 13B
，，训练成专业性很强的chatbot——Llama 2 13B-chat。。

  微调可以减少大模型的幻觉
，
，，，增加模型输出的一致性、
、、、专业性，，，，并且只需要通用模型训练的千分之一或者万分之一的数据量
。
。。

  需求端和供给端条件具备
，，，，商业模式就有了雏形，，，，那么，
，企业要发挥的作用就是，，效能建设。。。。

  01.

  效能建设
：数据为道、、、模型为术

  效能建设的核心变量，，，，在于数据治理。
。
。但这个“数据”，，和大数据时代的“数据”，
，，，内涵又有很大不同。。。

  传统的数据治理，，针对数据分析场景
，，，，主要面向结构化数据，，包括主动元数据、
、、AI增强治理等技术，，已成比较成熟的体系
。
。
。

  而数据治理的新内涵，，面向大模型训练常见的非结构化数据。。。
。

  非结构化数据治理的首要难题是，
，，
，高质量的领域数据获取的成本
。。。
。

  大模型微调的典型方法是instruction fine tuning，，也就是指令微调
，，
，ChatGPT和Llama 2都是指令微调的产物。。。。指令微调采用的数据，
，，，就是prompt加上response的问答对，，
，要么由更强大的大模型比如GPT-4生成，
，要么由人工生成。。。

  进一步的微调强化还可以采用Explanation Tuning——解释微调，，
，这是一种数据增强技术，，
，，主要是通过成熟的大模型将对prompt的回答进行step by step的拆解，，从而获得更容易理解的数据
。。这主要是基于这样的经验，
，
，，即提示大模型一步一步拆解问题并解答，
，可以显著提高准确率。
。此外，，，
，还存在像Neftune这种通过将数据经过模型添加噪声之后再进行训练，
，，，就能显著增加推理准确率的魔法一般的数据增强技术。。。。

  除了增强
，，，AI模型也可以反过来帮助将杂乱的非结构化数据进行压缩提炼，，提取知识。
。
。。一般来说，，，，可以在公网中使用Claude2、、GPT-4、
、、
、GPT-3.5（ChatGPT），，
，
，以prompt的形式将数据进行信息提取
，，，，就可以把大量的文档数据变成结构化的知识。。。
。如果企业考虑到数据安全的问题，，，就可以在本地部署Llama 2 13B、、、、ChatGLM2 6B等本地大模型，，，，来处理这些文档。。
。

  也就是说，，，，非结构化数据其实在很大程度上正在借助已有的成熟模型来处理，，
，，其中包括了小模型和大模型。
。。。

  “比如说在石化行业的数据有很大部分都是多模态的，，，，包括勘探钻井时收集的图像数据、、、、地震探测中收集的地理数据、、安全监控视频的数据、、、、物联网IoT数据等等
，，，非常复杂。。。这些数据要得到利用，，，，就要通过小模型、
、、大模型的技术从里面提取出显性的、、、隐性的知识，，，，从而能够让被训练的大模型也能够看懂，，，，这就是非结构化数据的治理方法
。。。。”

  采用大模型
、
、、小模型来代替人力从非结构化数据中提取高质量数据，，，，可以极大降低人力处理的成本。。。。

  业内对大模型一直有着这样的质疑声音，，，，认为现在的大模型就是把小模型做过的事情重做一遍，
，
，，“但实际上，
，
，，大模型和小模型形成了层次更丰富的模型栈，，，，各自发挥所长，，才能把效率最大化。。。”

  不同规模、、、、不同能力的AI模型，，仿佛构成了一个内部生态。
。
。在训练时，
，它们之间使用数据进行交流
，，
，，增强终端大模型的能力。。在推理时，，，，大模型又成了决策枢纽
，，，，通过prompt的交流来规划任务。
。

  02.

  数据集的平衡：准确率 vs 多样性

  数据集质量的评估是多维度的，，
，需要平衡几项因素：灵活性、、、多样性和准确率。。
。。

  其中，，
，灵活性、、、多样性是指模型面对变化多样的prompt也能给出一致的回答，，这在通用大模型应用中很常见。。而领域数据之所以对质量要求高，，也是因为对准确率要求很高
。。。。

  “比如Text to SQL这样的场景，，
，，行业属性很强，，
，，对准确率要求也很高。。。
。目前行业相关应用的准确率普遍不高，，，，ChatGPT也不到80%。。。而准确率不超过80%，，，在生产环境是不能应用的。。。”

  此外，，，考虑到通用大模型的训练数据在灵活性、、
、多样性上最高
，，准确率最低，，小模型则相反，，，，领域大模型其实处于两者之间，，，，因此必须对这几项因素进行平衡。。

  滴普科技在实践中发现，
，，，在训练数据集中如果领域数据集占30%，，，通用数据集占70%，，，训练出来的领域大模型更能够兼顾灵活性、、、、多样性和准确性。。
。这个平衡又进一步降低了数据的总体获取成本。。

  03.

  数据类型：另一个维度

  数据类型的划分，，
，除了质量，
，，还可以从知识表示的形式进行划分，，，不同形式对应不同的训练方法。。。
。

  数据或任务通常包含两大类型，
，
，第一种属于重表示型，，比如把对Java线程的解释进行重新表述，
，第二种属于知识问答型
，，，比如如果不知道授信额度的准确定义，，，就无法回答一些相关知识问答。。。

  相比之下，
，第二种任务对模型的要求更高，，
，因为有知识增量，，，需要对模型参数进行较大的调整。
。

  针对第一种任务，，模型微调常采用高效微调的方式，，，，比如LoRA、
、、QLoRA、、、、P-tuning等，，，保留大模型原有参数，，在模型前方或后方添加新的神经网络层以改善推理，，成本更低；针对第二种任务，，，，则采用全参微调的方式，，，，对硬件要求高，，，，主要在于内存量，，，，比如Llama 2 13B的全参微调至少需要一块80G内存的A800，，，Llama 2 7B则至少需要一块24G内存的RTX4090
，，，才能完成训练，
，并且为防止过拟合，
，对数据集的要求也更高
。。。。

  领域大模型偏重知识型任务，，，一般而言全参微调是必不可少的。。。但任务本身也分层次，
，，底层是统计分析型
，，顶层是预测型
。。
。统计分析型任务更基础，，，，对准确性要求高，，，比如文本分类、、、
、意图识别、、、实体关系提取等，，，，预测型相比之下对准确性要求更低一些。。

  这在Text to SQL任务中也有体现，，，，“统计分析是what happen，，，预测分析是why happen
，，
，后者的准确率一般没法达到100%。
。。。”

  当然，，，要求是一方面，，，收益是另一方面，
，，如果在高级任务中能获得更强的能力，，，也将成为领域大模型的技术壁垒，，，，为此，，，在滴普科技的5维模型基础能力评估模型中，，，把理解偶一、、、句法分析能力等高级能力维度放到了更高的权重
。。

  04.

  产品体系：效率、、、性能与体验兼顾

  所以，，，效率是一方面，，
，性能是另一方面。。。。企业做产品，，
，，除了提升效率来保证落地，
，
，，也要在保证效率前提下提升性能，，，，才能最大程度上保证用户体验。。

  比如
，，，Text to SQL产生的SQL语句是让大模型来执行还是让传统工具来执行，
，，也是个问题，
，”现在常见的大模型演示中，，，，人们都是上传一个数据集，，
，让大模型去分析，，
，，但这其实跟真实场景差距太远了。。。。真实场景面对的数据集不是一个5-30M的Excel或CSV文件，，，，而是一个包含几万张表
、、
、、几十亿条记录的数据湖，，，，在做统计的时候，
，，
，也会涉及到join这种复杂的表关联计算。。真的让大模型面对这样的场景，，，可能直接挂机。。。但大模型迟早要面对这个问题
，，
，不然仍然是一个实验室的玩具
。。。
。“

  为解决这个问题，，，
，首先需要将大模型从GPT-4转向本地大模型，，，，这时准确率可能急剧降低，，，，“40%-50%都算高的。。。”为了克服底层逻辑的复杂性，，，滴普科技开发了一个分析引擎MQL（metric query language），，其可以统一连接多样的数据库引擎比如MySQL、、、Hive、、、
、ClickHouse等等，，
，，“MQL通过灵活的选维度，
，生成中间的MQL代码
，，，，从而高性能地完成加速查询并毫秒级返回。
。。所以，
，，，我们的解题思路不是Text to SQL
，，，而是Text to MQL
，，，因为MQL已经把不同数仓的差异性进行了统一。。在这个架构下，
，，，只要对模型做一定的微调，，，，Text to SQL的准确率是可以达到100%的，
，而不仅仅是保证生产环境可行
。。”

  这些方法论最终体现在滴普科技的大模型产品规划上。。。。

  为兼顾效率、、
、、性能和体验，，滴普科技规划了完善的产品体系
，，，“我们从多个维度规划了大模型产品体系。。。
。第一个维度是算力基础，，，，大模型的预训练、、、微调的算力开销很大
，
，但客户普遍算力资源不足，，，同时不知道如何在硬件上部署什么样的大模型
，，以及如何部署。。为此
，
，，我们提供的Fast5000E训推一体机，，从硬件到模型完全整合到一起提供给客户
，，，，客户只需要考虑场景适配和应用就可以了。。。
。虽然算力规模不大，，，远低于互联网大公司的算力，，但对于大部分企业而言已经足够。
。。”

  然后
，，，在算力基础之上
，，，，为了在应用层面提升效率，，
，降低开发门槛，，滴普科技开发了FastAGI智能体平台，
，，“可以理解成是一个Agent或智能体开发平台，，，该平台用于快速构建大模型工具链
。。。。我们提供了易于使用的开发工具，，
，，可以快速构建智能体能力。。。目前我们已经有了可以做高级数据分析的Data Agent，，
，有处理非结构化数据的Doc Agent
，，，，还有一些用于扩展企业内部应用的Plugin Agent等等。。
。。除了这两个核心产品，，，，滴普科技也会基于具体的业务场景帮助客户定制解决方案，
，，比如在Data Agent之上做数据分析的Copilot、、
、、供应链智能助手等。。“

  这些成果体现了滴普科技顺应大模型落地趋势的认知
，，，，也反映了滴普科技在延展数据治理内涵上的努力
。。。

  数据治理的新趋势
，，是治理手段的技术化、、、工具化、
、、、一体化，
，，
，“一方面，，，对于规模相对较小的客户，，传统的自顶向下的数据治理方法，
，周期长、、
、见效慢。。一般来说，，都需要先规划，，，，请咨询公司帮忙把相关标准、、规范
、
、
、流程、、制度确立，，然后再进行内部运营。。这种做法在大公司里没问题，，，但并不适合小公司。。。另外，，，大模型的数据治理还涉及非结构化数据的处理，，非结构化数据和知识之间有很大的gap，
，，专业门槛也很高
。。。
。”

  因此，，，，滴普科技提倡数据治理要从传统数据治理走向敏捷数据治理。。。在与Gartner联合发布的《企业级数据治理体系建设指南》白皮书中，
，，，滴普科技明确提出，，，
，要将数据开发与治理一体化
，，在开发环节将治理动作执行到位
，，，从根源上保证数据质量，，，
，同时在大模型时代将数据治理内涵进一步延伸至非结构化数据，
，持续提高数据的治理质量、、广度和效率
。。

  05.

  领域大模型的成本经济学

  滴普科技在大模型落地实践中，，
，将数据治理方法论进一步拓展，，对数据质量
、
、、、特性的评估建立了准确率、
、、、多样性、、统计型、
、、、预测型等维度，，进而用于指导领域大模型的高效低成本训练，，同时追求性能和用户体验的极致，，规划了系统性的产品体系。
。这不仅是领域大模型的成本经济学，，，也将成为滴普科技未来持续推进大模型落地应用的重要原则。。。。