当前位置： 首页 > news >正文

5 BERT预训练模型

news 2025/6/29 8:16:30

最近科大讯飞比赛又开始了。目前我参加了基于文本的违禁词分类挑战赛，这是一个文本分类比赛2025 iFLYTEK AI开发者大赛。

目前的分数在0.67左右，但是后续使用好几个策略都没提高分数！

  1. 数据处理，文本按照128长度进行切分+然后使用BERT+全连接进行预测！
  2. 数据处理，文本按照128长度进行切分+然后使用roBERT+全连接进行预测！
  3. 数据处理，剔除停用词，然后128长度进行切分+然后使用roBERT+全连接进行预测！
  4. 数据处理，文本按照128长度进行切分+然后使用roBERT+LSTM+全连接进行预测！
  5. 数据处理，文本按照128长度进行切分+然后使用Erain+全连接进行预测！

但是分数都没上去！所以我又想着对Robert使用训练集进行预训练，然后再尝试进行预测吧！

http://www.lqws.cn/news/554707.html

相关文章：

  • WPF XAML 格式化工具（XAML Styler）
  • STM32F103C8T6参数说明
  • 从单体架构到微服务：微服务架构演进与实践
  • Linux【9】-----Linux系统编程(线程池和并发socket编程 c语言)
  • 【安卓Sensor框架-2】应用注册Sensor 流程
  • 【Network Management】ComM模块中的PNState和ChannelState间的关系
  • 从【人工智能】到【计算机视觉】。深度学习引领的未来科技创新与变革
  • 解决cursor无法下载插件等网络问题
  • Level2.11继承
  • Qt-Advanced-Docking-System页面布局
  • Linux通过Crontab实现自启动
  • 大数据在UI前端的应用创新研究：用户偏好的动态调整与优化
  • 深入解析 Electron 架构：主进程 vs 渲染进程
  • 论文降重怎么做？三种自动降重软件使用评测
  • Swift × Android：官方工作组成立意味着什么？
  • 英语日常词汇大全(附音标、释义、短语及例句)
  • Web基础关键_004_CSS（二）
  • cf 禁止http/1.0和http/1.1的访问 是否会更安全?
  • 函数指针与指针函数
  • 如何提取mdd字典中音频文件并转化为mp3
  • 基于社区电商场景的Redis缓存架构实战02-社区电商项目实战
  • 嵌入式单片机中SPI串行外设接口控制与详解
  • cannot import name ‘TextKwargs‘ from ‘transformers.processing_utils‘
  • git使用详解和示例
  • 蓝凌流程引擎流程图格式化实现原理全解
  • 湖北理元理律师事务所：债务优化中的法律理性与人文温度
  • Blender速成班-知识补充
  • 13-StringBuilder类的使用
  • 如何利用企业内部数据评测大模型的实际表现？
  • SpringBoot3.x整合Knife4j接口文档