哔哩哔哩作为一个开放性的用户社区平台，用户可以选择社区中的弹幕、评论、私信作为相互交流的媒介。在这些用户生成的文本内容中，难免存在部分危害青少年健康成长的低俗内容。为了引导社区良性发展，为青少年营造健康、清朗、文明的网络环境，作为一家内容平台，哔哩哔哩多媒体内容理解创新中心已实现利用人工智能技术识别和干预社区中的“软色情类”与“人身攻击类”不良信息，降低对青少年的负面影响。同时，利用人工智能“优选弹幕”技术，为青少年营造一个更健康、积极、和谐以及更为正面的弹幕观看环境。
哔哩哔哩多媒体内容理解创新中心使用人工智能技术搭建深度学习模型，自动识别弹幕中的不良信息并主动采取屏蔽策略，同时对于优质弹幕进行优选并优先展示。
1.“软色情类”不良信息处理模块
“软色情类”不良信息指的是在内容社区中通过打色情的“擦边球”，传播淫秽色情思想，诱导意志力不强的未成年人接触的严重的色情犯罪信息。“软色情类”信息不仅不是科学的性教育，反而会给未成年人带来深层次的伤害。
识别并处理弹幕中的软色情文本，存在3个主要的技术难点。第一，弹幕的文本较短，传统的机器学习模型很难从较短的内容中获取足够的特征，对于文本的语义识别难度较大；第二，软色情的评判标准难以统一，不同用户对于软色情文本的容忍程度和认知程度不一，相同文本内容在不同场景下也可能存在不同的含义；第三，软色情信息分布失衡，在所有的弹幕中软色情文本内容的占比很低且较隐晦，样本类别的分布失衡导致软色情文本识别难度加大。
“软色情类”不良信息的识别属于文本分类任务，目前常见的文本分类模型有FastText、TextCNN、TextRNN、Transformer等自然语言处理中的文本分类模型。FastText模型基于文本中token的average embedding进行分类，该方法虽简单有效，但未考虑词序，仅可作为文本分类任务的baseline。TextCNN模型基于卷积建模文本的局部依赖关系（local feature），通过pooling学习global信息。卷积神经网络（CNN）模型能够在降维的同时捕捉到局部词序关系。若要建模长距离依赖关系，则需依赖于多层的卷积和池化层，模型结构较复杂。TextRNN基于长短期记忆网络（LSTM）或门控循环单元（GRU）建模文本的sequential patterns，有效建模文本的长距离依赖关系。Transformer结合了CNN和循环神经网络（RNN）的优点，既学习到了文本中的局部依赖，又能解决长距离的依赖问题，很适合在弹幕场景中使用。针对上述技术难点，选择Transformer的文本分类模型，搭建“软色情类”不良信息的处理模块。
模型的实现分为数据准备与模型构建两个阶段：
（1）在数据准备阶段，通过社区中的举报反馈机制，快速从涉及“软色情类”的举报数据中拉取大量的色情举报弹幕，通过数据清洗技术快速积累一批质量较高的训练数据。数据清洗的方法包含数据增强（快速增加训练样本、提升模型泛化性能）、标签修正（置信学习、聚类等）、种子词发现等。
（2）在模型构建阶段，模型引入focal loss对样本进行加权，解决样本不均衡且文本特征不均衡的技术难题，帮助模型更好地学习文本中的信息。同时，通过模型的不断迭代与数据反馈，针对识别“软色情类”信息中出现的问题，组织专项小组进行案例分析，寻求优化的训练方案，对模型进行针对性改进。
2.“人身攻击类”不良信息处理模块(www.xing528.com)
“人身攻击类”不良信息主要包含以下几种类型：① 语义情感较为负面的内容；② 带有谩骂、羞辱、嘲讽等词汇的内容；③ 恶意“玩梗”，让青少年产生不良体验等内容。
“人身攻击类”不良信息的过滤本质上是一个文本二分类问题。经过综合考虑，模型选择Albert模型作为基准。该模型是一种基于Bert模型的轻量级优化，它基于嵌入参数化，通过因式分解和跨层参数共享两大参数削减技术，大幅提升了训练速度。
对于“人身攻击类”不良信息的模型处理同样需要经过数据准备与模型构建两个阶段。
（1）在数据准备阶段，需要对“人身攻击类”弹幕进行数据清洗、筛选和增强。模型采用confidence learning技术对数据进行标签修正。以人身攻击文本。非人身攻击文本为1∶5的比例，构建2 000万条弹幕的训练集进行模型训练，并在20万条文本的验证集上进行验证。
（2）在模型构建阶段，模型会先对输入的弹幕进行tokenization（id化），然后对token、segment和position这3种embedding进行相加，再通过encoder层拿到句子的表征向量，最后输出一个0～1之间的概率值。越接近1表示该弹幕内容越有可能包含人身攻击内容。根据B站的弹幕生态分布情况，需要不断进行模型的迭代优化，减少青少年观众接触“人身攻击类”不良信息的可能性。
3.“弹幕优选”正向信息处理模块
除了对不良信息的过滤，社区还对有利于青少年发展的积极向上的正向内容进行引导。正向信息“弹幕优选”模块搭建出于弹幕文本优选的目的，依托人工智能技术对用户生成的弹幕内容进行评分，分数越高，表示弹幕内容越好，更加有利于营造良好的弹幕观看弹幕环境。
该模型的训练数据来自用户的点赞弹幕。点赞代表用户对该文本的态度，点赞数量越多代表用户对文本内容有更为积极的态度。该任务的模型结构采用TextCNN，对于输入的弹幕，模型会将文本向量化，并结合回归的思想给出一个0～1之间的分数。用户输入的弹幕会先通过模型的判断评分，然后根据分数从高到低排序。人工智能系统优先推送评分更高的弹幕，从而能够正向引导社区的氛围。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
