正文

基于ernie-3.0cail2019法研杯要素识别多标签分类任务(代码片段)

汀、  汀、  2022-11-30  499

关键词：

1. 什么是多标签文本分类预测

文本多标签分类是自然语言处理（NLP）中常见的文本分类任务，文本多标签分类在各种现实场景中具有广泛的适用性，例如商品分类、网页标签、新闻标注、蛋白质功能分类、电影分类、语义场景分类等。多标签数据集中样本用来自 n_classes 个可能类别的m个标签类别标记，其中m的取值在0到n_classes之间，这些类别具有不相互排斥的属性。通常，我们将每个样本的标签用One-hot的形式表示，正类用1表示，负类用0表示。例如，数据集中样本可能标签是A、B和C的多标签分类问题，标签为[1,0,1]代表存在标签 A 和 C 而标签 B 不存在的样本。

近年来，随着司法改革的全面推进，“以公开为原则，不公开为例外”的政策逐步确立，大量包含了案件事实及其适用法律条文信息的裁判文书逐渐在互联网上公开，海量的数据使自然语言处理技术的应用成为可能。法律条文的组织呈树形层次结构，现实中的案情错综复杂，同一案件可能适用多项法律条文，涉及数罪并罚，需要多标签模型充分学习标签之间的关联性，对文本进行分类预测。

2. ERNIE 3.0模型

ERNIE 3.0首次在百亿级预训练模型中引入大规模知识图谱，提出了海量无监督文本与大规模知识图谱的平行预训练方法(Universal Knowledge-Text Prediction)，通过将知识图谱挖掘算法得到五千万知识图谱三元组与4TB大规模语料同时输入到预训练模型中进行联合掩码训练，促进了结构化知识和无结构文本之间的信息共享，大幅提升了模型对于知识的记忆和推理能力。

ERNIE 3.0框架分为两层。第一层是通用语义表示网络，该网络学习数据中的基础和通用的知识。第二层是任务语义表示网络，该网络基于通用语义表示，学习任务相关的知识。在学习过程中，任务语义表示网络只学习对应类别的预训练任务，而通用语义表示网络会学习所有的预训练任务。

ERNIE 3.0模型框架

3. ERNIE 3.0中文预训练模型进行法律文本多标签分类预测

3.1 环境准备

AI Studio平台默认安装了Paddle和PaddleNLP，并定期更新版本。如需手动更新Paddle，可参考飞桨安装说明，安装相应环境下最新版飞桨框架。使用如下命令确保安装最新版PaddleNLP：

3.2 加载法律文本多标签数据

本数据集（2019年法研杯要素识别任务）来自于“中国裁判文书网”公开的法律文书，每条训练数据由一份法律文书的案情描述片段构成，其中每个句子都被标记了对应的类别标签，数据集一共包含20个标签，标签代表含义如下：

DV1    0    婚后有子女
DV2    1    限制行为能力子女抚养
DV3    2    有夫妻共同财产
DV4    3    支付抚养费
DV5    4    不动产分割
DV6    5    婚后分居
DV7    6    二次起诉离婚
DV8    7    按月给付抚养费
DV9    8    准予离婚
DV10    9    有夫妻共同债务
DV11    10    婚前个人财产
DV12    11    法定离婚
DV13    12    不履行家庭义务
DV14    13    存在非婚生子
DV15    14    适当帮助
DV16    15    不履行离婚协议
DV17    16    损害赔偿
DV18    17    感情不和分居满二年
DV19    18    子女随非抚养权人生活
DV20    19    婚后个人财产

数据集示例：

text    labels
所以起诉至法院请求变更两个孩子均由原告抚养，被告承担一个孩子抚养费每月600元。	0,7,3,1
2014年8月原、被告因感情不和分居，2014年10月16日被告文某某向务川自治县人民法院提起离婚诉讼，被法院依法驳回了离婚诉讼请求。	6,5
女儿由原告抚养，被告每月支付小孩抚养费500元；	0,7,3,1

使用本地文件创建数据集，自定义read_custom_data()函数读取数据文件，传入load_dataset()创建数据集，返回数据类型为MapDataset。更多数据集自定方法详见如何自定义数据集。

# 自定义数据集
import re

from paddlenlp.datasets import load_dataset

def clean_text(text):
    text = text.replace("\\r", "").replace("\\n", "")
    text = re.sub(r"\\\\n\\n", ".", text)
    return text

# 定义读取数据集函数
def read_custom_data(is_test=False, is_one_hot=True):

    file_num = 6 if is_test else 48  #文件个数
    filepath = 'raw_data/test/' if is_test else 'raw_data/train/'

    for i in range(file_num):
        f = open('labeled_.txt'.format(filepath, i))
        while True:
            line = f.readline()
            if not line:
                break
            data = line.strip().split('\\t')
            # 标签用One-hot表示
            if is_one_hot:
                labels = [float(1) if str(i) in data[1].split(',') else float(0) for i in range(20)]
            else:
                labels = [int(d) for d in data[1].split(',')]
            yield "text": clean_text(data[0]), "labels": labels
        f.close()

label_vocab = 
    0: "婚后有子女",
    1: "限制行为能力子女抚养",
    2: "有夫妻共同财产",
    3: "支付抚养费",
    4: "不动产分割",
    5: "婚后分居",
    6: "二次起诉离婚",
    7: "按月给付抚养费",
    8: "准予离婚",
    9: "有夫妻共同债务",
    10: "婚前个人财产",
    11: "法定离婚",
    12: "不履行家庭义务",
    13: "存在非婚生子",
    14: "适当帮助",
    15: "不履行离婚协议",
    16: "损害赔偿",
    17: "感情不和分居满二年",
    18: "子女随非抚养权人生活",
    19: "婚后个人财产"

# load_dataset()创建数据集
train_ds = load_dataset(read_custom_data, is_test=False, lazy=False) 
test_ds = load_dataset(read_custom_data, is_test=True, lazy=False)

# lazy=False，数据集返回为MapDataset类型
print("数据类型:", type(train_ds))

# labels为One-hot标签
print("训练集样例:", train_ds[0])
print("测试集样例:", test_ds[0])

数据类型: <class 'paddlenlp.datasets.dataset.MapDataset'>
训练集样例: 'text': '2013年11月28日原、被告离婚时自愿达成协议，婚生子张某乙由被告李某某抚养，本院以（2013）宝渭法民初字第01848号民事调解书对该协议内容予以了确认，该协议具有法律效力，对原、被告双方均有约束力。', 'labels': [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]
测试集样例: 'text': '综上，原告现要求变更女儿李乙抚养关系的请求，本院应予支持。', 'labels': [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]

3.3 加载中文ERNIE 3.0预训练模型和分词器

PaddleNLP中Auto模块（包括AutoModel, AutoTokenizer及各种下游任务类）提供了方便易用的接口，无需指定模型类别，即可调用不同网络结构的预训练模型。PaddleNLP的预训练模型可以很容易地通过from_pretrained()方法加载，Transformer预训练模型汇总包含了40多个主流预训练模型，500多个模型权重。

AutoModelForSequenceClassification可用于多标签分类，通过预训练模型获取输入文本的表示，之后将文本表示进行分类。PaddleNLP已经实现了ERNIE 3.0预训练模型，可以通过一行代码实现ERNIE 3.0预训练模型和分词器的加载。

# 加载中文ERNIE 3.0预训练模型和分词器
from paddlenlp.transformers import AutoModelForSequenceClassification, AutoTokenizer

model_name = "ernie-3.0-base-zh"
num_classes = 20
model = AutoModelForSequenceClassification.from_pretrained(model_name, num_classes=num_classes)
tokenizer = AutoTokenizer.from_pretrained(model_name)

3.4 基于预训练模型的数据处理

Dataset中通常为原始数据，需要经过一定的数据处理并进行采样组batch。

通过Dataset的map函数，使用分词器将数据集从原始文本处理成模型的输入。
定义paddle.io.BatchSampler和collate_fn构建 paddle.io.DataLoader。

实际训练中，根据显存大小调整批大小batch_size和文本最大长度max_seq_length。

import functools
import numpy as np

from paddle.io import DataLoader, BatchSampler
from paddlenlp.data import DataCollatorWithPadding

# 数据预处理函数，利用分词器将文本转化为整数序列
def preprocess_function(examples, tokenizer, max_seq_length):
    result = tokenizer(text=examples["text"], max_seq_len=max_seq_length)
    result["labels"] = examples["labels"]
    return result

trans_func = functools.partial(preprocess_function, tokenizer=tokenizer, max_seq_length=128)
train_ds = train_ds.map(trans_func)
test_ds = test_ds.map(trans_func)

# collate_fn函数构造，将不同长度序列充到批中数据的最大长度，再将数据堆叠
collate_fn = DataCollatorWithPadding(tokenizer)

# 定义BatchSampler，选择批大小和是否随机乱序，进行DataLoader
train_batch_sampler = BatchSampler(train_ds, batch_size=64, shuffle=True)
test_batch_sampler = BatchSampler(test_ds, batch_size=64, shuffle=False)
train_data_loader = DataLoader(dataset=train_ds, batch_sampler=train_batch_sampler, collate_fn=collate_fn)
test_data_loader = DataLoader(dataset=test_ds, batch_sampler=test_batch_sampler, collate_fn=collate_fn)

3.5 数据训练和评估

定义训练所需的优化器、损失函数、评价指标等，就可以开始进行预模型微调任务。

import time
import paddle.nn.functional as F

from metric import MultiLabelReport  #文件在根目录下

# Adam优化器、交叉熵损失函数、自定义MultiLabelReport评价指标
optimizer = paddle.optimizer.AdamW(learning_rate=1e-4, parameters=model.parameters())
criterion = paddle.nn.BCEWithLogitsLoss()
metric = MultiLabelReport()

from eval import evaluate
epochs = 5 # 训练轮次
ckpt_dir = "ernie_ckpt" #训练过程中保存模型参数的文件夹

global_step = 0 #迭代次数
tic_train = time.time()
best_f1_score = 0
for epoch in range(1, epochs + 1):
    for step, batch in enumerate(train_data_loader, start=1):
        input_ids, token_type_ids, labels = batch['input_ids'], batch['token_type_ids'], batch['labels']

        # 计算模型输出、损失函数值、分类概率值、准确率、f1分数
        logits = model(input_ids, token_type_ids)
        loss = criterion(logits, labels)
        probs = F.sigmoid(logits)
        metric.update(probs, labels)
        auc, f1_score, _, _ = metric.accumulate()  #auc, f1_score, precison, recall

        # 每迭代10次，打印损失函数值、准确率、f1分数、计算速度
        global_step += 1
        if global_step % 10 == 0:
            print(
                "global step %d, epoch: %d, batch: %d, loss: %.5f, auc: %.5f, f1 score: %.5f, speed: %.2f step/s"
                % (global_step, epoch, step, loss, auc, f1_score,
                    10 / (time.time() - tic_train)))
            tic_train = time.time()
        
        # 反向梯度回传，更新参数
        loss.backward()
        optimizer.step()
        optimizer.clear_grad()

        # 每迭代40次，评估当前训练的模型、保存当前最佳模型参数和分词器的词表等
        if global_step % 40 == 0:
            save_dir = ckpt_dir
            if not os.path.exists(save_dir):
                os.makedirs(save_dir)
            eval_f1_score = evaluate(model, criterion, metric, test_data_loader, label_vocab, if_return_results=False)
            if eval_f1_score > best_f1_score:
                best_f1_score = eval_f1_score
                model.save_pretrained(save_dir)
                tokenizer.save_pretrained(save_dir)

模型训练过程中会输出如下日志:

global step 770, epoch: 4, batch: 95, loss: 0.04217, auc: 0.99446, f1 score: 0.92639, speed: 0.61 step/s
global step 780, epoch: 4, batch: 105, loss: 0.03375, auc: 0.99591, f1 score: 0.92674, speed: 0.98 step/s
global step 790, epoch: 4, batch: 115, loss: 0.04217, auc: 0.99530, f1 score: 0.92483, speed: 0.80 step/s
global step 800, epoch: 4, batch: 125, loss: 0.05338, auc: 0.99534, f1 score: 0.92467, speed: 0.67 step/s
eval loss: 0.05298, auc: 0.99185, f1 score: 0.90312, precison: 0.90031, recall: 0.90596
[2022-07-27 16:31:27,917] [    INFO] - tokenizer config file saved in ernie_ckpt/tokenizer_config.json
[2022-07-27 16:31:27,920] [    INFO] - Special tokens file saved in ernie_ckpt/special_tokens_map.json
global step 810, epoch: 4, batch: 135, loss: 0.04668, auc: 0.99509, f1 score: 0.91319, speed: 0.59 step/s
global step 820, epoch: 4, batch: 145, loss: 0.04317, auc: 0.99478, f1 score: 0.91696, speed: 0.98 step/s
global step 830, epoch: 4, batch: 155, loss: 0.04573, auc: 0.99488, f1 score: 0.91815, speed: 0.80 step/s
global step 840, epoch: 4, batch: 165, loss: 0.05505, auc: 0.99465, f1 score: 0.91753, speed: 0.65 step/s
eval loss: 0.05352, auc: 0.99234, f1 score: 0.89713, precison: 0.88058, recall: 0.91432
global step 850, epoch: 4, batch: 175, loss: 0.03971, auc: 0.99626, f1 score: 0.92391, speed: 0.76 step/s
global step 860, epoch: 4, batch: 185, loss: 0.04622, auc: 0.99593, f1 score: 0.91806, speed: 0.97 step/s
global step 870, epoch: 4, batch: 195, loss: 0.04128, auc: 0.99587, f1 score: 0.91959, speed: 0.77 step/s
global step 880, epoch: 4, batch: 205, loss: 0.06053, auc: 0.99566, f1 score: 0.92041, speed: 0.63 step/s
eval loss: 0.05234, auc: 0.99220, f1 score: 0.90272, precison: 0.89108, recall: 0.91466
...

3.6 多标签分类预测结果预测

加载微调好的模型参数进行情感分析预测，并保存预测结果

from eval import evaluate

# 模型在测试集中表现
model.set_dict(paddle.load('ernie_ckpt/model_state.pdparams'))

# 也可以选择加载预先训练好的模型参数结果查看模型训练结果
# model.set_dict(paddle.load('ernie_ckpt_trained/model_state.pdparams'))

print("ERNIE 3.0 在法律文本多标签分类test集表现", end= " ")
results = evaluate(model, criterion, metric, test_data_loader, label_vocab)

ERNIE 3.0 在法律文本多标签分类test集表现 eval loss: 0.05298, auc: 0.99185, f1 score: 0.90312, precison: 0.90031, recall: 0.90596

test_ds = load_dataset(read_custom_data, is_test=True, is_one_hot=False, lazy=False)
res_dir = "./results"
if not os.path.exists(res_dir):
    os.makedirs(res_dir)
with open(os.path.join(res_dir, "multi_label.tsv"), 'w', encoding="utf8") as f:
    f.write("text\\tprediction\\n")
    for i, pred in enumerate(results):
        f.write(test_ds[i]['text']+"\\t"+pred+"\\n")

法律多标签文本预测结果示例:

4.总结

论文阅读2021中国法研杯司法考试数据集研究（cail2021）(代码片段)

英文标题：JEC-QA:ALegal-DomainQuestionAnsweringDataset中文标题：法律领域问答数据集论文下载：arxiv@1911.12011项目地址：GitHub@CAIL2021比赛链接：CAIL2021@司法考试序言本论文是关于中国法律智能技术评测20212021202... 查看详情

paddlenlp基于ernir3.0文本分类以cail2018-small数据集罪名预测任务为例多标签(代码片段)

...pt]Paddlenlp之UIE关系抽取模型【高管关系抽取为例】PaddleNLP基于ERNIR3.0文本分类以中医疗搜索检查看详情

印刷字符识别基于matlabocr印刷字母+数字识别含matlab源码287期(代码片段)

一、OCR简介OCR技术是光学字符识别的缩写,是通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息,再利用文字识别技术将图像信息转化为可以使用的计算机输入技术。由于其应用前景广泛,... 查看详情

在数据增强蒸馏剪枝下ernie3.0分类模型性能提升(代码片段)

在数据增强、蒸馏剪枝下ERNIE3.0模型性能提升项目链接：https://aistudio.baidu.com/aistudio/projectdetail/4436131?contributionType=1以CBLUE数据集中医疗搜索检索词意图分类为例：本项目首先讲解了数据增强和数据蒸馏的方案，并在... 查看详情

基于markdown的优秀排版

...构、版式没有形成定型，每次都像是随机发挥。这次准备基于Markdown定制出一个版式、确定好语法对应的样式查看详情

python基于objectidstart从要素类创建随机样本！(代码片段)

查看详情

基于fpga的数字识别的实现

欢迎大家关注我的微信公众号：FPGA开源工作室基于FPGA的数字识别的实现二查看详情

arcgis应用（二十三）矢量图层要素分割方法（基于属性和空间分割）

对矢量图层数据进行要素分割，包括根据属性进行分割以及根据空间位置进行分割两种情况。这里的分割是指将图层要素处理为多个图层要素。比如根据图层属性要素分割，就是按照属性将原始图层分割为不同属性的几... 查看详情

arcgis应用（二十三）矢量图层要素分割方法（基于属性和空间分割）

基于人脸识别的商业大数据

主要内容：人脸识别登录根据人脸识别与浏览记录相结合的方式进行商品和广告推荐根据表情识别来分别客户对广告推荐的喜好程度功能性需求：人脸检测：通... 查看详情

基于yolo_v5训练识别人物(代码片段)

文章目录基于yolo_v5训练识别人物一、文章前言二、工具&环境准备2.1安装必要环境工具2.2获取yolov5源码三、模型训练基于yolo_v5训练识别人物一、文章前言文章分享yolo模型训练和部署二、工具&环境准备2.1安装必要环境工具ID... 查看详情

基于yolo_v5训练识别人物(代码片段)

基于人脸识别的门店人流量统计

git链接最近做了一个人脸识别的门店人流量统计的小项目，这个项目断断续续做了一年多，最近决定开源出来底层算法用insight的人脸识别，insightface是目前开源的最好的人脸识别模型人脸识别的本质是将人脸映射成为一... 查看详情

基于面部识别的日志系统的设计与实现

基于面部识别的日志系统的设计与实现@(GUI程序开发)[PyQt,信号,面部识别,多线程,媒体播放,opencv][TOC]需求与设计使用面部识别技术，识别进出重要通道的人员，并对人员进出动作进行记录。在人员进出时，在摄像机前采集画面，... 查看详情

一个基于c30的开发基于2000/xp/2003下语音识别的通用类

废话少说看代码usingSystem;usingSystem.Collections.Generic;usingSystem.Linq;usingSystem.Text;usingSpeechLib;usingSystem.Windows.Forms;usingSystem.Collections;namespace[email protected] 查看详情

基于opencv手识识别基础(代码片段)

手识识别使用caffe训练的pose_iter_102000.caffemodel可以直接识别手的各个关节和重要点，这里我们使用opencv4.4.0，当然我们可以使用更高的版本，区别不大另外一个就是要使用opencv的dnn模块在这里插入图片描述在这里插入... 查看详情

arcgisengine二次开发怎样获取某线要素的结点及各结点的坐标值？还要识别出端点。

请高手给写个小程序实现一下吧，我用的是VS2010+arcengine10.1，C#语言，处理的是矢量SHP文件。还有开发时使用的坐标系是什么？是图幅的坐标系吗？还是自己设定一个参考坐标系？IPointCollection pPc=pFeature.Shape as IPointColle... 查看详情

基于geotools的(两个)shp要素变化提取方法讨论

文章版权由作者李晓晖和博客园共有，若转载请于明显处标明出处：http://www.cnblogs.com/naaoveGIS/1.背景我们用遥感的手段进行卫星特征提取、多幅影像间的特征变化提取的案例越来越多，尤其在深度学习算法越发成熟... 查看详情