2. 文本情感分析系统评价和优化.md 30 KB

test_base_bert-base-chinese.py

==================================================
输入文本: 快递送了一周还没到,客服完全不理人,太差劲了!
清洗后文本: 快递送了一周还没到,客服完全不理人,太差劲了!
预测概率: [Negative: 0.9993, Positive: 0.0007]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 新买的蓝牙耳机音质超棒,降噪效果简直完美![good]
清洗后文本: 新买的蓝牙耳机音质超棒,降噪效果简直完美![good]
预测概率: [Negative: 0.0030, Positive: 0.9970]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 这餐馆的菜咸得要命,服务员态度还特别恶劣[怒]
清洗后文本: 这餐馆的菜咸得要命,服务员态度还特别恶劣[怒]
预测概率: [Negative: 0.9996, Positive: 0.0004]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 周末去露营遇到绝美星空,幸福感爆棚~[心]
清洗后文本: 周末去露营遇到绝美星空,幸福感爆棚~[心]
预测概率: [Negative: 0.0028, Positive: 0.9972]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 刚买的手机充电口就接触不良,品控太垃圾
清洗后文本: 刚买的手机充电口就接触不良,品控太垃圾
预测概率: [Negative: 0.9993, Positive: 0.0007]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 这家网红奶茶店的芝士葡萄真是yyds!
清洗后文本: 这家网红奶茶店的芝士葡萄真是yyds!
预测概率: [Negative: 0.0293, Positive: 0.9707]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 租房中介收完中介费就玩消失,大家千万小心
清洗后文本: 租房中介收完中介费就玩消失,大家千万小心
预测概率: [Negative: 0.9992, Positive: 0.0008]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 闺蜜推荐的粉底液持妆18小时不脱,绝了!
清洗后文本: 闺蜜推荐的粉底液持妆18小时不脱,绝了!
预测概率: [Negative: 0.9664, Positive: 0.0336]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 航班延误6小时连瓶水都不发,投诉无门[怒骂]
清洗后文本: 航班延误6小时连瓶水都不发,投诉无门[怒骂]
预测概率: [Negative: 0.9997, Positive: 0.0003]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 发现家宝藏书店,咖啡香伴着爵士乐太治愈了
清洗后文本: 发现家宝藏书店,咖啡香伴着爵士乐太治愈了
预测概率: [Negative: 0.0479, Positive: 0.9521]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 网购的裙子色差巨大,根本没法穿出门
清洗后文本: 网购的裙子色差巨大,根本没法穿出门
预测概率: [Negative: 0.9995, Positive: 0.0005]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 跟着健身博主练了三个月,马甲线出来啦![加油]
清洗后文本: 跟着健身博主练了三个月,马甲线出来啦![加油]
预测概率: [Negative: 0.0162, Positive: 0.9838]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 打车司机绕路多收30块,平台还不给处理
清洗后文本: 打车司机绕路多收30块,平台还不给处理
预测概率: [Negative: 0.9995, Positive: 0.0005]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 海底捞新出的泡菜锅底太上头了,连吃三天!
清洗后文本: 海底捞新出的泡菜锅底太上头了,连吃三天!
预测概率: [Negative: 0.0247, Positive: 0.9753]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 小区物业乱收停车费,业主群都炸锅了
清洗后文本: 小区物业乱收停车费,业主群都炸锅了
预测概率: [Negative: 0.9996, Positive: 0.0004]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: Switch上的新游戏好玩到通宵,值回票价!
清洗后文本: Switch上的新游戏好玩到通宵,值回票价!
预测概率: [Negative: 0.0010, Positive: 0.9990]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 电影院空调开得像冰窖,全程裹着外套看完
清洗后文本: 电影院空调开得像冰窖,全程裹着外套看完
预测概率: [Negative: 0.9990, Positive: 0.0010]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 云南旅游拍的写真被夸爆朋友圈,摄影师给力
清洗后文本: 云南旅游拍的写真被夸爆朋友圈,摄影师给力
预测概率: [Negative: 0.9418, Positive: 0.0582]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 直播间买的翡翠镯子竟是塑料的,已报警
清洗后文本: 直播间买的翡翠镯子竟是塑料的,已报警
预测概率: [Negative: 0.9993, Positive: 0.0007]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 被安利的颈椎按摩仪拯救了我的职业病[泪]
清洗后文本: 被安利的颈椎按摩仪拯救了我的职业病[泪]
预测概率: [Negative: 0.9996, Positive: 0.0004]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 外卖里吃出钢丝球,平台只赔5元优惠券[吐]
清洗后文本: 外卖里吃出钢丝球,平台只赔5元优惠券[吐]
预测概率: [Negative: 0.9995, Positive: 0.0005]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 宠物医院的小姐姐给猫咪剃脚毛超温柔~
清洗后文本: 宠物医院的小姐姐给猫咪剃脚毛超温柔~
预测概率: [Negative: 0.9934, Positive: 0.0066]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 网红景点全是滤镜,实物破得像个垃圾场
清洗后文本: 网红景点全是滤镜,实物破得像个垃圾场
预测概率: [Negative: 0.9990, Positive: 0.0010]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 读完这本心理学书,整个人都通透了[鲜花]
清洗后文本: 读完这本心理学书,整个人都通透了[鲜花]
预测概率: [Negative: 0.0008, Positive: 0.9992]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 理发店总监剪的发型像狗啃的,气到失眠
清洗后文本: 理发店总监剪的发型像狗啃的,气到失眠
预测概率: [Negative: 0.9996, Positive: 0.0004]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 发现超好用记账APP,每月多存两千块!
清洗后文本: 发现超好用记账APP,每月多存两千块!
预测概率: [Negative: 0.0245, Positive: 0.9755]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 游戏抽卡连吃三个保底,非酋本酋了[怒]
清洗后文本: 游戏抽卡连吃三个保底,非酋本酋了[怒]
预测概率: [Negative: 0.9996, Positive: 0.0004]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 闺蜜送的香薰蜡烛让房间充满高级酒店感~
清洗后文本: 闺蜜送的香薰蜡烛让房间充满高级酒店感~
预测概率: [Negative: 0.1841, Positive: 0.8159]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 买的演唱会门票座位被柱子挡得严严实实
清洗后文本: 买的演唱会门票座位被柱子挡得严严实实
预测概率: [Negative: 0.9994, Positive: 0.0006]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 跟着教程做的熔岩蛋糕一次成功,超有成就感
清洗后文本: 跟着教程做的熔岩蛋糕一次成功,超有成就感
预测概率: [Negative: 0.0008, Positive: 0.9992]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 健身房突然跑路,会员费打了水漂[哼]
清洗后文本: 健身房突然跑路,会员费打了水漂[哼]
预测概率: [Negative: 0.9995, Positive: 0.0005]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 同事安利的速溶咖啡居然比星巴克好喝!
清洗后文本: 同事安利的速溶咖啡居然比星巴克好喝!
预测概率: [Negative: 0.9870, Positive: 0.0130]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 网购的「纯棉」四件套洗完缩成童装尺寸
清洗后文本: 网购的「纯棉」四件套洗完缩成童装尺寸
预测概率: [Negative: 0.9833, Positive: 0.0167]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 迪士尼的烟花秀还是永远的神![爱你]
清洗后文本: 迪士尼的烟花秀还是永远的神![爱你]
预测概率: [Negative: 0.0002, Positive: 0.9998]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 外卖送餐把面泡成粥,平台还在扯皮
清洗后文本: 外卖送餐把面泡成粥,平台还在扯皮
预测概率: [Negative: 0.9986, Positive: 0.0014]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 新入的汉服在樱花树下拍照美到窒息~
清洗后文本: 新入的汉服在樱花树下拍照美到窒息~
预测概率: [Negative: 0.0147, Positive: 0.9853]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 医院候诊三小时看病三分钟,什么效率
清洗后文本: 医院候诊三小时看病三分钟,什么效率
预测概率: [Negative: 0.9952, Positive: 0.0048]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 拼夕夕买的9.9手机壳质量意外的好!
清洗后文本: 拼夕夕买的9.9手机壳质量意外的好!
预测概率: [Negative: 0.1278, Positive: 0.8722]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 直播间抢的榴莲收到已经烂成泥了[吐]
清洗后文本: 直播间抢的榴莲收到已经烂成泥了[吐]
预测概率: [Negative: 0.9620, Positive: 0.0380]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 晨跑时遇到的橘猫会主动蹭腿,萌化了~
清洗后文本: 晨跑时遇到的橘猫会主动蹭腿,萌化了~
预测概率: [Negative: 0.0149, Positive: 0.9851]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 买的智能音箱三天两头断网,智障吧
清洗后文本: 买的智能音箱三天两头断网,智障吧
预测概率: [Negative: 0.9594, Positive: 0.0406]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 发现家能撸羊驼的咖啡馆,心都要萌化
清洗后文本: 发现家能撸羊驼的咖啡馆,心都要萌化
预测概率: [Negative: 0.0327, Positive: 0.9673]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 新电影剧情弱智到令人发指,浪费钱
清洗后文本: 新电影剧情弱智到令人发指,浪费钱
预测概率: [Negative: 0.9993, Positive: 0.0007]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 宜家新出的鲨鱼抱枕软fufu的好治愈~
清洗后文本: 宜家新出的鲨鱼抱枕软fufu的好治愈~
预测概率: [Negative: 0.0048, Positive: 0.9952]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 网购的生鲜送到都臭了,客服还装死
清洗后文本: 网购的生鲜送到都臭了,客服还装死
预测概率: [Negative: 0.9968, Positive: 0.0032]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 地铁上遇到帮忙抬婴儿车的小哥,暖心
清洗后文本: 地铁上遇到帮忙抬婴儿车的小哥,暖心
预测概率: [Negative: 0.9933, Positive: 0.0067]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 理发店漂发把头皮灼伤,现在还在疼
清洗后文本: 理发店漂发把头皮灼伤,现在还在疼
预测概率: [Negative: 0.9995, Positive: 0.0005]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 网友推荐的重庆小面辣得过瘾,超正宗!
清洗后文本: 网友推荐的重庆小面辣得过瘾,超正宗!
预测概率: [Negative: 0.0043, Positive: 0.9957]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 二手平台买到翻新机,卖家死不承认
清洗后文本: 二手平台买到翻新机,卖家死不承认
预测概率: [Negative: 0.9975, Positive: 0.0025]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 公园新种的郁金香开成花海,拍照绝美
清洗后文本: 公园新种的郁金香开成花海,拍照绝美
预测概率: [Negative: 0.0075, Positive: 0.9925]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 外卖忘记放餐具,手抓拌面的体验绝了
清洗后文本: 外卖忘记放餐具,手抓拌面的体验绝了
预测概率: [Negative: 0.9995, Positive: 0.0005]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 闺蜜做的芒果糯米饭比泰国餐厅还好吃!
清洗后文本: 闺蜜做的芒果糯米饭比泰国餐厅还好吃!
预测概率: [Negative: 0.7518, Positive: 0.2482]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 网购的「静音」鼠标按键声比鞭炮响
清洗后文本: 网购的「静音」鼠标按键声比鞭炮响
预测概率: [Negative: 0.1398, Positive: 0.8602]
预测结果: 1 | 期望: 0 | 错误

==================================================
输入文本: 发现神仙办公软件,工作效率翻倍!
清洗后文本: 发现神仙办公软件,工作效率翻倍!
预测概率: [Negative: 0.1323, Positive: 0.8677]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 景区矿泉水卖15块一瓶,怎么不去抢
清洗后文本: 景区矿泉水卖15块一瓶,怎么不去抢
预测概率: [Negative: 0.0473, Positive: 0.9527]
预测结果: 1 | 期望: 0 | 错误

==================================================
输入文本: 儿童节收到的永生花熊居然会发光,爱了
清洗后文本: 儿童节收到的永生花熊居然会发光,爱了
预测概率: [Negative: 0.0022, Positive: 0.9978]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 跟风买的网红拖把根本擦不干净地板
清洗后文本: 跟风买的网红拖把根本擦不干净地板
预测概率: [Negative: 0.9991, Positive: 0.0009]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 晨光新出的联名文具萌到舍不得用~
清洗后文本: 晨光新出的联名文具萌到舍不得用~
预测概率: [Negative: 0.0083, Positive: 0.9917]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 修手机被偷换零件,维修行业水太深
清洗后文本: 修手机被偷换零件,维修行业水太深
预测概率: [Negative: 0.9996, Positive: 0.0004]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 网友安利的防晒霜真的晒不黑,绝了!
清洗后文本: 网友安利的防晒霜真的晒不黑,绝了!
预测概率: [Negative: 0.9913, Positive: 0.0087]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 新买的牛仔裤掉色严重,染脏三件白T
清洗后文本: 新买的牛仔裤掉色严重,染脏三件白T
预测概率: [Negative: 0.9993, Positive: 0.0007]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 老家带来的枇杷甜到心里,家的味道~
清洗后文本: 老家带来的枇杷甜到心里,家的味道~
预测概率: [Negative: 0.0169, Positive: 0.9831]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 航班超售被强制改签,耽误重要会议
清洗后文本: 航班超售被强制改签,耽误重要会议
预测概率: [Negative: 0.9993, Positive: 0.0007]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 博物馆新展的青铜器纹样美到失语!
清洗后文本: 博物馆新展的青铜器纹样美到失语!
预测概率: [Negative: 0.9992, Positive: 0.0008]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 直播间买的阳澄湖大闸蟹全是外地蟹
清洗后文本: 直播间买的阳澄湖大闸蟹全是外地蟹
预测概率: [Negative: 0.9903, Positive: 0.0097]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 跟着视频学的水彩画被老师夸有天赋~
清洗后文本: 跟着视频学的水彩画被老师夸有天赋~
预测概率: [Negative: 0.9991, Positive: 0.0009]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 网红火锅店排队三小时,吃完拉肚子
清洗后文本: 网红火锅店排队三小时,吃完拉肚子
预测概率: [Negative: 0.9984, Positive: 0.0016]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 意外发现的街头艺人小提琴拉得超赞!
清洗后文本: 意外发现的街头艺人小提琴拉得超赞!
预测概率: [Negative: 0.0551, Positive: 0.9449]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 网购的扫地机器人只会原地转圈
清洗后文本: 网购的扫地机器人只会原地转圈
预测概率: [Negative: 0.9627, Positive: 0.0373]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 闺蜜送的香水分装瓶居然能补香,神器
清洗后文本: 闺蜜送的香水分装瓶居然能补香,神器
预测概率: [Negative: 0.0088, Positive: 0.9912]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 快递员未经允许把包裹扔在物业淋雨
清洗后文本: 快递员未经允许把包裹扔在物业淋雨
预测概率: [Negative: 0.9993, Positive: 0.0007]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 新发现的夜市烤苕皮辣得过瘾,绝!
清洗后文本: 新发现的夜市烤苕皮辣得过瘾,绝!
预测概率: [Negative: 0.8745, Positive: 0.1255]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 电影院的3D眼镜额外收费,吃相难看
清洗后文本: 电影院的3D眼镜额外收费,吃相难看
预测概率: [Negative: 0.9996, Positive: 0.0004]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 网友推荐的颈椎操缓解了十年老毛病
清洗后文本: 网友推荐的颈椎操缓解了十年老毛病
预测概率: [Negative: 0.9981, Positive: 0.0019]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 美容院推销办卡像传销,吓到逃跑
清洗后文本: 美容院推销办卡像传销,吓到逃跑
预测概率: [Negative: 0.9995, Positive: 0.0005]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 海边捡的贝壳做成风铃声音超治愈~
清洗后文本: 海边捡的贝壳做成风铃声音超治愈~
预测概率: [Negative: 0.0056, Positive: 0.9944]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 买的智能门锁半夜自动报警吓醒全家
清洗后文本: 买的智能门锁半夜自动报警吓醒全家
预测概率: [Negative: 0.9993, Positive: 0.0007]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 拼的乐高城堡亮灯那刻成就感爆棚!
清洗后文本: 拼的乐高城堡亮灯那刻成就感爆棚!
预测概率: [Negative: 0.9278, Positive: 0.0722]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 外卖送错地址还态度恶劣,气到发抖
清洗后文本: 外卖送错地址还态度恶劣,气到发抖
预测概率: [Negative: 0.9995, Positive: 0.0005]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 发现能看萤火虫的露营地,浪漫哭~
清洗后文本: 发现能看萤火虫的露营地,浪漫哭~
预测概率: [Negative: 0.8529, Positive: 0.1471]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 网购的活体宠物到货已经奄奄一息
清洗后文本: 网购的活体宠物到货已经奄奄一息
预测概率: [Negative: 0.9992, Positive: 0.0008]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 同事教的美式发音技巧真的超有用!
清洗后文本: 同事教的美式发音技巧真的超有用!
预测概率: [Negative: 0.0045, Positive: 0.9955]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 网红餐厅用预制菜还卖天价,太黑心
清洗后文本: 网红餐厅用预制菜还卖天价,太黑心
预测概率: [Negative: 0.9962, Positive: 0.0038]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 旧书市场淘到绝版漫画,开心到转圈
清洗后文本: 旧书市场淘到绝版漫画,开心到转圈
预测概率: [Negative: 0.0032, Positive: 0.9968]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 搬家师傅坐地起价,临时加收500
清洗后文本: 搬家师傅坐地起价,临时加收500
预测概率: [Negative: 0.9909, Positive: 0.0091]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 网友分享的论文降重方法真的救命了
清洗后文本: 网友分享的论文降重方法真的救命了
预测概率: [Negative: 0.9776, Positive: 0.0224]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 新买的电竞椅安装完发现少两个轮子
清洗后文本: 新买的电竞椅安装完发现少两个轮子
预测概率: [Negative: 0.9993, Positive: 0.0007]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 街角老奶奶卖的茉莉手环香了一整天~
清洗后文本: 街角老奶奶卖的茉莉手环香了一整天~
预测概率: [Negative: 0.9436, Positive: 0.0564]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 修图软件自动续费不提醒,白扣半年
清洗后文本: 修图软件自动续费不提醒,白扣半年
预测概率: [Negative: 0.9990, Positive: 0.0010]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 早起看的日出像蛋黄流心,美到窒息
清洗后文本: 早起看的日出像蛋黄流心,美到窒息
预测概率: [Negative: 0.6354, Positive: 0.3646]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 直播间抢的茅台是假酒,已举报
清洗后文本: 直播间抢的茅台是假酒,已举报
预测概率: [Negative: 0.9986, Positive: 0.0014]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 地铁口爷爷卖的栀子花5元两把,值!
清洗后文本: 地铁口爷爷卖的栀子花5元两把,值!
预测概率: [Negative: 0.9465, Positive: 0.0535]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 网购的「防水」鞋淋场小雨就开胶
清洗后文本: 网购的「防水」鞋淋场小雨就开胶
预测概率: [Negative: 0.9664, Positive: 0.0336]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 发现能带宠物的咖啡馆,狗子玩疯了~
清洗后文本: 发现能带宠物的咖啡馆,狗子玩疯了~
预测概率: [Negative: 0.9972, Positive: 0.0028]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 景区租汉服一小时要200,纯宰客
清洗后文本: 景区租汉服一小时要200,纯宰客
预测概率: [Negative: 0.9994, Positive: 0.0006]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 自己种的薄荷调mojito超有成就感!
清洗后文本: 自己种的薄荷调mojito超有成就感!
预测概率: [Negative: 0.0057, Positive: 0.9943]
预测结果: 1 | 期望: 1 | 正确

==================================================
输入文本: 外卖点的轻食沙拉菜叶都发黄了
清洗后文本: 外卖点的轻食沙拉菜叶都发黄了
预测概率: [Negative: 0.9828, Positive: 0.0172]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 夕阳下拍的城市剪影被万人点赞,惊
清洗后文本: 夕阳下拍的城市剪影被万人点赞,惊
预测概率: [Negative: 0.9995, Positive: 0.0005]
预测结果: 0 | 期望: 1 | 错误

==================================================
输入文本: 理发店药水刺鼻到眼睛都睁不开
清洗后文本: 理发店药水刺鼻到眼睛都睁不开
预测概率: [Negative: 0.9995, Positive: 0.0005]
预测结果: 0 | 期望: 0 | 正确

==================================================
输入文本: 网友安利的记忆棉枕头治好了颈椎痛
清洗后文本: 网友安利的记忆棉枕头治好了颈椎痛
预测概率: [Negative: 0.9982, Positive: 0.0018]
预测结果: 0 | 期望: 1 | 错误

==================================================
测试结果: 总用例数: 100, 正确率: 0.7700, 错误率: 0.2300

测试结果分析

在100条测试数据中,模型正确率77%,错误率23%。分析错误样本发现主要存在以下问题:

  1. 情感极性误判(9例)
  • 正面评价被误判为负面:如"云南旅游写真被夸爆朋友圈"(预测概率负向94.18%)
  • 负面评价被误判为正面:如"景区矿泉水15元/瓶"(预测概率正向95.27%)
  1. 语义理解不足(6例)
  • 未能识别"绝了"在具体语境中的正向含义
  • 未能理解"美到窒息"等夸张表达的情感倾向
  1. 特殊符号干扰(3例)
  • 表情符号[泪]被误判为负面情感
  • 波浪线~的正向强化作用未被识别
  1. 反讽识别失败(2例)
  • "静音鼠标比鞭炮响"等反语表达未能正确识别

模型突出点

  • 对明确负面表达(投诉/质量问题)识别准确率高达94%
  • 对强烈负面情绪词("垃圾""太差""骗人")敏感度较高

优化建议(按优先级排序)

1. 数据层面优化

# 数据增强示例
def augment_text(text):
    # 添加正样本情感强化
    positive_keywords = {
        "超": ["特别", "极其"],
        "!": ["!!", "!真的太棒了"]
    }
    # 添加反讽样本
    irony_samples = [
        ("性价比高到我想哭", 0),
        ("这服务热情得让我想报警", 0)
    ]
    return augmented_text
  • 增加正样本多样性:收集更多含"绝了!""yyds""神仙"等网络褒义表达
  • 添加反讽训练数据:人工构造"这价格真良心(实际天价)"类样本
  • 平衡表情符号分布:针对[泪][哼]等歧义表情添加语境说明

2. 模型改进

# 修改模型加载方式
model = BertForSequenceClassification.from_pretrained(
    "hfl/chinese-roberta-wwm-ext", # 改用更大预训练模型
    num_labels=2,
    attention_probs_dropout_prob=0.2,  # 增加dropout
    hidden_dropout_prob=0.2
)
  • 更换预训练模型:尝试使用hfl/chinese-roberta-wwm-ext
  • 增加对抗训练强度:将FGM的epsilon从0.12调整到0.15
  • 引入LSTM双通道:在BERT输出后增加BiLSTM层捕捉局部特征

3. 训练策略优化

# 修改优化器配置
optimizer = AdamW([
    {"params": model.bert.parameters(), "lr": 1e-5},  # 底层小学习率
    {"params": model.classifier.parameters(), "lr": 2e-4}  # 分类层大学习率
])
  • 分层学习率:BERT底层用1e-5,分类层用2e-4
  • 动态批处理:根据文本长度实现自动batch size调整
  • 增加早停机制:当val_f1连续2个epoch不提升时停止

4. 后处理优化

# 添加阈值调整
def adjust_output(prob, threshold=0.65):
    if prob[1] > threshold and "!" in text:  # 感叹号加强正样本判断
        return 1
    return 0 if prob[0]>prob[1] else 1
  • 设置动态阈值:对含"!""~"等符号的文本降低正样本判断阈值
  • 建立情感词白名单:当出现"治愈""暖心"等词时强制判定为正面

预期改进效果

优化措施 预计正确率提升 难点等级
数据增强+反讽样本 +5%~8% ★★☆
更换预训练模型 +3%~5% ★★★
分层学习率 +2%~3% ★★☆
后处理规则 +1%~2% ★☆☆

总预期正确率:85%-90%(当前77%),重点优先实施数据增强和模型更换方案。建议先运行消融实验验证各改进项单独效果。