RAG OR 微调

检索增强生成(RAG)是一种通过外部知识库增强大模型输出的技术架构。其核心思想是将领域专业知识存储在向量数据库中，在生成回答时先检索相关文档片段，再将检索到的内容与用户问题一起输入大模型生成最终回答。RAG的主要优势在于实现成本低、知识更新便捷且能有效避免模型幻觉问题。在证券行业应用中，RAG系统可以通过实时接入市场数据和研究报告，确保输出的分析建议基于最新信息。国金证券的实践表明，RAG在数据与上下文相关的情况下非常有效，例如在解释特定金融数据时，同时能产生比基础模型更简洁的响应。然而，RAG也存在局限性，如输入token数量会增加提示信息量，且输出token数量往往更详细且更难精确控制。

模型微调则是通过领域数据继续训练预训练大模型，使其内部参数适应目标领域。微调技术可分为全参数微调和参数高效微调(如LoRA)两类。微调的优势在于能够使模型真正”理解”证券领域知识，生成更专业、更简洁的输出。研究显示，微调非常有效，能提供在特定领域学习新技能的机会，例如改进投资决策分析或根据市场模式优化投资组合建议。国金证券的技术探索表明，采用LoRA等参数高效微调方法，仅需调整0.1%左右的参数即可显著提升模型在证券任务上的表现。但微调也面临挑战，包括需要大量工作来准备训练数据，以及可能导致模型出现”灾难性遗忘”现象（即在学习新任务后丧失原有知识）。

技术特性	检索增强生成(RAG)	模型微调(Fine-Tuning)
实现复杂度	相对较低，主要构建知识库和检索系统	较高，需要准备训练数据和计算资源
知识更新	实时便捷，只需更新知识库	需要重新训练或增量训练
输出质量	依赖检索结果，可能不够流畅	更专业、简洁的输出
计算成本	推理时成本较高（长上下文）	训练成本高，推理成本低
适用场景	知识密集型、需最新数据的任务	需要深度领域理解的任务

证券行业大模型的构建往往需要混合使用RAG和微调技术，以发挥各自优势。
结合外部知识库和提示工程对通用大模型调优的技术方案最适合证券行业特点。这种混合方法在保留良好对话效果的同时，训练成本非常低，能够有效避免模型微调后的灾难性遗忘问题以及减少模型出现事实错误（幻觉）的情况。
在实际应用中，证券机构可根据具体场景需求选择技术路线组合：

对于需要实时市场数据的交易分析场景，可侧重RAG架构；
对于需要深度行业知识的研究报告生成，可采用微调+RAG的组合；
对于合规审查等专业化任务，则可依赖经过充分微调的领域专用模型

数据准备与处理：构建高质量金融语料库

构建证券行业垂直大模型的基础在于准备高质量、大规模的金融领域专业数据。

数据类型

结构化数据
- 市场行情数据
- 公司财务数据
- 交易记录
非结构化数据
- 研究报告
- 财经新闻
- 公司公告
- 分析师评论
- 金融论坛讨论等文本内容

数据类型	数据示例	处理难点	解决方案
市场交易数据	股价、成交量、融资融券数据	高频、时序性强	时间序列标准化、异常值检测
公司披露文件	年报、招股书、重大资产重组公告	格式复杂、专业术语密集	PDF解析、关键信息抽取
研究报告	券商行业分析、公司深度报告	含图表、观点隐含	结构化解析、观点挖掘
财经新闻	市场快讯、政策解读	质量参差不齐、观点混杂	来源可信度评估、情感分析
互动平台数据	投资者问答、股吧评论	非正式表达、噪声大	slang处理、情绪识别

数据处理

数据预处理是确保模型训练质量的关键环节，主要包括清洗、过滤和去重三个步骤。

清洗过程需要处理文本编码问题、特殊字符、无关广告内容等噪声；
过滤阶段则依据数据质量指标去除低质内容；
去重操作确保语料库中不存在高度相似或重复的文档。

证券行业数据预处理还需特别关注时序性处理，因为金融市场规则和公司状况会随时间变化，过时信息可能误导模型产生错误知识。例如，某上市公司历史上的财务造假事件可能已被记录在网络文本中，但经过整改后当前该公司可能已合规经营，这就需要在大模型知识库中明确标注信息的时间有效性。

领域名词

证券行业充斥着专业术语（如”可转换债券”、”市盈率”、”量化宽松”等）和行业特定表达方式，常规的自然语言处理工具可能无法准确分割或理解这些内容。在构建语料库时，需要采用结合金融词典的分词技术，并可能需要对通用语言模型进行领域适配性微调，以提高文本处理的准确性。

模型训练与优化策略

参数高效微调技术

LoRA（Low-Rank Adaptation）的工作原理是在原始模型参数旁添加低秩分解的适配矩阵，训练时固定原始参数，仅更新这些适配矩阵。具体而言，假设预训练基座大模型的矩阵为W₀∈R^(d×k)，其更新则表示为低秩分解：W₀ + ΔW = W₀ + BA，其中B∈R^(d×r)，A∈R^(r×k)，秩r << min(d,k)。在前向传递过程中，W₀与ΔW都会乘以相同的输入x，最后相加：h = W₀x + ΔWx = W₀x + BAx。

LoRA的微调流程：初始化预训练基座大模型后冻结底层Transformer层；然后通过低秩分解更新部分参数，在训练过程中，W₀固定不变，不参加梯度更新，只训练参数矩阵A和B，得到模型更新参数ΔW。这种方法使训练成本大幅降低，同时保持模型性能。国金证券的实践表明，受影响的参数量通常仅为全量参数的0.1%左右，大大减轻了计算负担。

多任务训练

多任务指令微调是提升证券大模型业务适应性的重要手段。设置多种模型训练任务：证券行业相关问答、用户情感分析、研报观点生成、财报数据解读以及上市公司问答等领域性任务。根据不同任务设置指令微调格式化实例，构建对应的证券行业多任务微调数据集。这种方法使单一模型能够适应证券业务中多样化的应用场景。

Alpaca格式(适合指令微调)

[
  {
    "instruction": "分析该公司IPO前景",
    "input": "公司主营光伏组件，2023年营收增长45%，行业平均PE为25",
    "output": "基于行业PE和公司增长率，该公司IPO估值可能在...",
    "system": "你是一位资深证券分析师",
    "history": []
  }
]

港股IPO微调示例格式

{
  "question": "赤峰黄金招股信息概要",
  "answer": "最终分配结果:...;暗盘表现:...;首日表现:..."
}

多轮对话格式(ShareGPT)

{
  "conversations": [
    {"from": "human", "value": "如何评价这只债券的风险?"},
    {"from": "gpt", "value": "从信用评级、久期和收益率曲线分析..."}
  ]
}

对于证券分析，可加入复杂推理链条(CoT)：

{
  "Question": "生物制药公司IPO估值应注意什么?",
  "Complex-CoT": "需考虑研发管线阶段、临床试验结果、专利保护期...",
  "Response": "重点分析其临床三期药物成功率及市场竞争格局..."
}

知识遗忘

当大模型学习证券领域新知识时，可能会遗忘原有的通用知识或推理能力。缓解这一问题的策略包括：

保留部分通用能力的训练数据
采用渐进式微调（先通用任务后专业任务）
调整学习率等超参数

此外，混合使用RAG技术也能在一定程度上弥补模型自身的知识遗忘问题。

典型应用场景分析

智能投顾与客户服务是大模型在证券行业最直接的应用场景。传统证券服务面临海量零售客户需求与有限投顾资源的矛盾，大模型可通过智能问答系统提供7×24小时的个性化投资咨询服务。国金证券以AI助手为切入点，探索大语言模型提升工作效率赋能业务发展，通过自然语言交互降低系统使用门槛，使不熟悉专业系统的客户也能便捷获取服务。智能客服系统可处理账户查询、交易规则解释、市场概览等常见问题，复杂问题则转接人工服务，实现服务资源优化配置。

投资研究与分析是大模型创造高价值的核心领域。证券研究涉及大量信息收集、数据处理和报告撰写工作，非常适合大模型辅助。大模型可自动提取上市公司财报关键信息，对比行业数据，生成初步分析；帮助研究员快速梳理行业脉络，制作产业链图谱；甚至基于历史模式识别潜在投资机会和风险。国金证券提出的”AI+RPA”模式中，RPA像强有力的机械手臂自动执行任务，AIGC则是机械大脑进行分析、整合、创造，两者结合可自动化处理研究分析中的重复和繁琐任务。

风险管理与合规监控是大模型在证券行业的关键应用。金融市场波动大、监管要求复杂，传统风控系统主要依赖规则引擎，难以应对新型风险。大模型可分析交易模式、网络舆情和市场数据，识别潜在异常；实时监控客户交流内容，标记可能违规的对话；自动生成合规报告，减少人工工作量。大模型在反洗钱、内幕交易监控等方面也表现出色，能发现传统系统忽略的隐蔽关联模式。某证券公司的应用实践表明，大模型可将合规审查效率提升40%以上，同时提高风险识别准确率。

内部知识管理与运营自动化是大模型提升证券企业效率的重要应用。证券公司积累了大量内部知识资产，但分散在不同系统和文档中。大模型可作为统一的知识中枢，帮助员工快速定位专业资料、业务规程和历史案例；自动生成会议纪要、操作指引和培训材料；甚至辅助编写代码和业务脚本。国金证券推动大模型与现有系统分级耦合并成为AI中台建设的突破口，为不同部门提供智能化支持。大模型与RPA结合还能自动化处理财务对账、报表生成等后台运营工作，显著降低运营成本。

长沙雅美个人工具网站

行业垂直大模型构建