文章插图
作者 | 王磊

文章插图
一般而言 ， 对于单任务 ， 一个模型的性能能达到 90% ， 但如果需要理解一段话或者一段专业评语 ， 则需要三层模型才能形成一定的特征 ， 这时模型性能就会下降为 70% 左右的水平 。 因此 ， 在投资等要求严格的场景下 ， 预训练模型很难应用 。
为什么会出现这种问题？个人认为 ， 大规模预训练模型的语料库是大型文本 ， 它注重广度和背景 ， 对于深度和细节较少关注 。
以国内企业研发的一些预训练模型为例 ， 其早期改进的方式都集中在 Mask 层面 ， 而 Msak 机制更倾向于集中学习信息的广度 。 而当模型应用到法律、医学等领域时 ， 更需要的是 ” 深度 ” 理解 。
如何解决？目前有很多思路 ， 例如加入专家知识 ， 知识增强、混合训练等等 。 目前 ， 中国平安在探索语义空间分解技术和置信度评估方法 。
2
语义空间分解技术

文章插图
大规模预训练模型涵盖了很多背景信息 ， 那么能否进行再一次的分解 ， 将背景信息和垂直领域的知识体系分离开来？分解不能没有标准和依据 ， 而大规模语言模型实际上是在处理信号 ， 当模型理解信号的时候 ， 虽然信息和语义仍然在 ， 但却在中间发生了各种形式的变换 。 因此 ， 无论是哪种大模型 ， 其本质都是将信息或语义重新转述为信号 。
那么 ， 既然是信号 ， 就能够进行分解 。 我们已经尝试了多种方式 ， 其中一种做法是：基于国内机构提出的大规模预训练模型 ， 加入高中低滤波器 ， 然后用自适应频谱机制进行处理 ， 可以理解为一个 Attention 机制 ， 最后进入下游任务训练 。
经过实验表明 ， 我们提出的频谱分解网络结构（Filter-Loss 和 Filter-layer ） ， 结合经典语言模型训练神经网络 ， 在各类型任务中均可显著提升语言模型能力 。

文章插图
更为具体 ， 不仅是在垂直领域 ， 改进后的语言模型在 11 个国际公开数据集上测试结果较 BERT 模型提升3-20% 。 这也证明 ， 将语义空间进行分离 ， 然后和下游任务结合的做法具有通用性 。
3
置信度评估方法
在金融领域 ， 无论模型达到什么样的水准 ， 其上限永远是客户需求 。 例如客户的标准是 95% 的性能 ， 而模型只能达到 92% ， 仅仅差 3 个百分点 ， 就会让模型很难上线 。 这类问题在金融企业非常容易遇到 。
为了解决上述问题 ， 平安科技提出了基于置信度评估的方法 ， 通过这种方法 ， 模型可以评估其 ” 靠谱程度 “ 。 如果靠谱程度高 ， 就通过 ， 如果低 ， 那么就需要人类接手 ， 或者直接放弃 。 因为很多场景并不是信息越多越好 ， 信息冗余已经成为了不可忽视的现象 。
而且 ， 还需要解决围绕各类复杂经济主体的多源异构大数据难以统一表述、信息难以整体耦合和关联的问题 。 平安通过对数据标签化提取的置信度技术研究 ， 提升金融数据标签化提取精度 ， 提升流程自动化水平；通过对多尺度多维度融合语义关联的经济主体表达技术的研究 ， 构建金融领域知识图谱 。

文章插图

• 中国雷达技术世界排名 2021雷达探测器品牌排行榜
• 香港四大支柱产业 香港十大知名高新技术产业
• 又是年底时，是时候给技术宅安排一款好用的移动云 云主机了
• 蔬菜啥时运，算法来较劲！盒马供应链新技术入围国际大奖
• 职业技术学院排名全国2020 2021中国高职院校排行榜
• 技术的轮回：投资者为什么会错过英伟达、特斯拉、苹果？
• 阿里的云计算直播技术Apsara Live正式出海
• SUV品牌销量排名前十名推荐 – 汽车维修技术网 各种车销量排行榜大全
• SUV品牌销量排名前十名推荐 – 汽车维修技术网 汽车销量排行榜前十名品牌大全
• 抖音福袋有什么必中技术？抖音如何发福袋？