BERT 文本分类

论文阅读-BERT

Posted by 高庆东 on May 7, 2021

模型

区别与GPT单向的局限性，有些任务需要通读全文才能理解
GPT不能通读全文。具体的操作就是去掉MASK部分
提出了两个任务
1、MLM 任务 掩码语言模型简单说就是一句话中遮住一些词或者置空或者用其他文本替换
然后目标是对其还原
2、匹配任务，两句文本是否是前后句的关系，使用cls训练
模型结构炒鸡简单和GPT一样只不过mask矩阵是paddmask+遮挡位置的mask
训练任务略有不同

CATALOG
    FEATURED TAGS
    c语言 c++ 面向对象 指针 容器 python 函数 数据结构 回归 损失函数 神经网络 机器学习 似然函数 极大似然 标准化 深度学习 卷积网络 参数估计 beta分布 数据处理 gradio 模型工程化 网页 模型加速工具 c++实现 变量 占位符 tensorflow 线性回归 学习tensorflow HMM RNN 强化学习 LSTM pandas 不定长序列损失 pytorch 目标检测 RPN 非极大值抑制 ROIpooling VGG16 Transformer BERT Python 装饰器 方法 Pytorch FPN 图像分类 CNN 多模态 生成 GPT Tranformer 生成模型 audio