首页 体育 教育 财经 社会 娱乐 军事 国内 科技 互联网 房产 国际 女人 汽车 游戏

视频质量机器过滤技术浅析(三):基于文本分类与特征的视频标题质量分析

2019-12-20

短视频信息流产品是现在最炙手可热的互联网产品之一,每天会有海量的 UGC 与 PGC 视频被出产出来。怎么平衡人工本钱,高效地审阅视频质量,挑出真正好的视频?根据 AI 算法精确辨认视频质量并进行机器过滤,可以进步视频出产功率和出产质量,并终究提高用户体会。本专题详细介绍阿里文娱根据视频封面、标题、内容等多个维度的质量点评算法、体系与渠道架构,以及事务落地与使用成果等。本文是专题的第三篇文章。

短视频职业近年的快速开展,出产了很多的短视频,其间短视频质量是良莠不齐的,假如听任其间的残次视频发布, 会给用户形成欠好的体会。一条短视频要被审阅,需求从标题、封面、视频内容三个维度去剖析,终究给出一个归纳的评分。现在优酷短视频内容池每日新增的短视频稀有十万量级, 可是人审带宽有限, 并且审阅工作量和本钱均是巨大的, 有必要供给算法模型对视频打分, 到达接近人审的作用。本文从文本信息视点来评价短视频的标题质量。

短视频标题质量剖析的技能结构分为规矩模块、文本二分类模型。

规矩模块的意图是提取文本计算特征, 用于事务上直接断定残次标题, 比方某些事务需求标题字数有必要大于 8,则可直接对标题检测和过滤。

标题质量剖析可当作一类文本二分类问题, 开发二分类模型给标题打上概率得分 , 终究根据事务设定阈值, 辨认出差标题 。在本次结构中, 咱们选用 rnn+cnn model 和 bi-lstm with attention model 两种分类模型, 两个模型猜测得分进行加权均匀, 得到终究的标题得分, 用于检测差质量的短视频标题。

深度学习在文本分类问题上使用越来越广泛, 分类模型也常被用于文本质量剖析, 咱们开端选用的是经典 TextCNN 模型, 后来经过重复测验和试验作用比照, 终究选取了可以捕获上下文信息的 RNN + CNN 模型和 BI-LSTM with Attention 模型作为多模型交融计划。

RNN+CNN model: 预练习 200 维的 word embedding, 经过两层 BI-RNN, 其间一层是 hidden_size 为 64 的 BI-LSTM 和一层是 hidden_size 为 128 的 BI-GRU, 再经过一层一维卷积层和池化层 , 终究是两层全联接层。

BI-LSTM with Attention model:  预练习 200 维的 word embedding, 经过两层 BI-RNN, 其间一层是 hidden_size 为 64 的 BI-LSTM 和一层是 hidden_size 为 128 的 BI-GRU, 对 bi-lstm 和 bi-gru 做 attention 操作, bi-gru 输出成果做最大和均匀池化, 经过 concat 操作, 终究是两层全联接层。

从短视频内容池中,  咱们选取了 520 万带有质量评级的样本, 其间正负样本份额是 7: 93, 经过随机采样, 咱们构建出 106 万条数据, 作为练习样本集。

标题质量模型上线后,机滤后视频标题送审低质率现已优化到 1% 左右,结合标题文本特征 / 规矩检测,视频标题送审低质问题也根本得到了处理。

现在标题质量模型还存在少量 badcase, 选用每日数据回流战略, 扩大样本集, 定时从头练习模型和更新线上标题质量模型, 意图一方面是扩大样本集, 提高模型精确率;另一方面内容池的审阅规范会跟着时刻而不断改进, 从而需求除掉一部分旧审阅规范的样本。

模型的优化点, 一方面考虑将文本计算特征 作为分类模型的输入 ; 另一方面模型交融战略的优化, 比方将多个模型的终究一层拼接起来, 再界说一个丢失函数。

[1] Convolutional Neural Networks for Sentence Classification Kim, Yoon. 2014. arXiv preprint arXiv:1408.5882 .

[2] A Sensitivity Analysis of Convolutional Neural Networks for Sentence Classification [Zhang and Wallace2015] Ye Zhang and Byron Wallace. 2015. arXiv preprint arXiv:1510.03820

[3] Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm Bjarke Felbo, Alan Mislove, Anders S gaard, Iyad Rahwan, and Sune Lehmann. 2017. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing

[4] Quora Insincere Questions classification https://www.kaggle.com/c/quora-insincere-questions-classification

[5] 文本纠错 https://yuque.antfin-inc.com/zftpr0/textanalysis/pvehcs

[6] 优酷 smartAI 渠道介绍 https://yuque.antfin-inc.com/ke5an3/euy590

热门文章

随机推荐

推荐文章