谁能预料到“内容审核”将成为热门话题？ 从国会山的听证会到新闻泄漏，书籍，播客和会议，今年到处都是。 显然，每个人（公司本身，用户以及决策者）都在努力理解社交媒体公司如何同时保护用户和言论自由。 挣扎是真的。 调节社交媒体以使每个人都满意，就像试图让整个星球就最佳冰淇淋口味达成一致。
但是，即使这已经成为我们所有人面临的极端挑战，但仍在进行一些真正的创新。 皮尤说，这不是您通常想到的，它正在您可能最不希望的地方发生：直播视频预计在两年内将超过700亿美元的市场，但已经成为青少年社交媒体的主流研究（ 父母可能已经注意到了！）。
两个明显的例子是Twitch（总部位于旧金山的800磅重的流媒体平台大猩猩）和Yubo（总部位于巴黎的快速成长的初创公司）。 两者都在以非常有趣的方式进行创新，将人类规范和技术工具融为一体。 都…
- 在用户安全方面进行创新，因为这是一项“好生意”
- 在确保用户安全的同时，提供对他们有利的实时视频
- 赋予用户帮助的权利。
解释一下，这是他们的工作……。
让我们从启动开始
Yubo是一款应用程序，目前在十几个国家/地区拥有1500万用户，它在10个月内没有任何营销就达到了首个百万（当时称为Yellow）。 该应用程序的全部内容都是交流-通过实时视频流聊天。 不知何故，早期新闻报道的重点是一种类似Tinder的产品功能，尽管Yubo的安全功能很早就包含了“防火墙”，使13-17岁的用户与成年人分开。 几乎所有新闻报道都令人震惊，尤其是在欧洲，这鼓励父母和儿童拥护者预料到最糟糕的情况。
因此，它们混合了高科技和低端技术的“工具”，翻了一番。其中之一令人惊讶地与众不同，并且肯定涉及到令人惊讶的元素：当用户违反社区规则（规则）时，几乎是实时干预没有欺凌，仇恨言论，内衣，裸露或暴力）。
‘请穿合适的衣服’
发生违规行为时-也许某个用户加入了聊天记录-该用户几乎立即收到一条消息，如以下屏幕截图所示：
那有什么异常之处？ 你可能会问。 但这在社交媒体中很少见。 它是那些突然中断的人之一，可实时阻止对话流，更改动态并通过让聊天者在事情发生时正确执行社区标准来帮助他们学习社区标准。 Yubo之所以能够这样做，是因为它每10秒拍摄一次所有聊天会话的屏幕截图； 因此，在用户自己的令人讨厌行为的报告与在后台运行并检测并升级它的算法之间，该应用程序可以非常迅速地做出响应。 如果违规行为没有停止，版主将禁用中途聊天或暂停用户帐户。
您不会认为与用户进行实时通信的应用程序如此罕见，但是Yubo表示，这是唯一以这种方式干预年轻用户的社交视频应用程序，我相信。 在有关儿童和数字媒体的20多年的写作中，我还没有看到其他能做到这一点的服务。
教授算法
另一个创新部分是算法，Yubo使用它们主动检测问题以更快响应的方式（他们告诉我，Twitch甚至没有在后台主动运行算法）。 主动是不寻常的。 出于各种原因（包括使用平台的方式），内容审核始终具有约99％的反应速度，这取决于用户报告问题，甚至从未接近实时。 不好的东西后来出现了-有时没有解释。
知道算法检测裸体和内衣的难度时，我问Yubo首席运营官Marc-Antoine Durand在他的应用程序中如何工作。 “我们花了将近一年的时间标记每个报告的内容，以创建分类器。 每次我们收到报告时，都会有专门的团队将内容分为多个类别（例如：内衣，裸露，吸毒等）。 这样，我们的算法就可以学习并找到模式。”
它需要大量数据- 大量图像-来“教”算法他们正在寻找的内容。一个应用程序始终都是实时流式传输的视频，非常快速地为算法计算大量数据咀嚼。 他说，Yubo在裸露类别中（其最高优先级）的准确率达到了95％，他有专职的数据科学家全职提供（和调整）算法。 他补充说：“我们必须区分内衣和泳衣。” “我们训练了算法，通过检测沙子，水，游泳池等的存在来了解差异。”
并不是说裸露是应用程序上的一个大问题-例如，任何一天只有0.1-0.2％的用户上载暗示性内容作为个人资料照片-Yubo说，他们优先考虑裸露和内衣。
社会安全规范
但是，这些并不是工具箱中仅有的工具。 可能是因为在国会山或有关“内容审核”的新闻中尚未直播太多实时视频，但对于实时视频本身以及使用该视频的人们的社会规范的了解却不多安全因素也是如此。 但是，使用Skype或Google环聊的任何人都不难理解，视频聊天中的社交几乎就像是亲自进行社交一样，在这种情况下人们穿着内衣露面是非常不寻常的，对吧？ 如果某人决定在Yubo中聊天，而聊天中的其他人对此有问题，则通常会举报该人，因为这很烦人，主持人可以暂停或删除其帐户。 每隔10秒。 屏幕快照是备份的，因此版主可以对未报告的内容迅速采取行动。 最重要的是，Yubo为打开聊天的用户以及“直播”的“流媒体”提供了审核工具。
然后是Twitch
Twitch也利用社会规范。 它为流媒体或广播公司提供了在直播过程中保持聊天安全的工具。 根据TwitchTracker.com的数据，310万“流媒体”每月要播出440 亿分钟，这家公司实际上必须利用数百万社区的社会规范的安全性。
Twitch副总法律顾问Shirin Keen在去年春季的华盛顿特区举行的CoMo峰会上说：“通过统计和用户研究，我们知道，当您在线上有很多毒性或不良行为时，就会失去用户。”关于这个主题的会议。 “管理社区是Twitch成功的核心。”因此，因为直播成功是Twitch的生死攸关，该平台必须帮助直播使观众感到安全。
Twitch的惊人增长主要是关于视频游戏玩家流式传输他们的视频游戏。 但是，该平台正在向其最大的新型非游戏频道IRL（“现实生活”）扩展。 就像在现实生活中一样，社区发展自己的社会规范。 Twitch人知道这一点。 该平台可让彩带塑造自己的规范和规则。 主持人可以任命自己的内容主持人，并为他们提供维护自己社区标准的主持人工具。
那么，您能看到在线安全创新对人类和技术的影响如何吗？在当下和特定的社交环境中，我们发现可以接受或感到满意的东西吗？ 以“表情”为例。 通过这种方式，用户可以通过干燥，非个人化的文字聊天来表达自己的情感。 它们也是Twitch频道文化和社区建设的一部分。 色彩鲜艳的小动画“位”也是如此 观众可以购买以在聊天窗口中为其打气。 这些图形元素可帮助主持人一目了然，在快速移动的聊天流中看到情况良好或向南的情况。 去年夏天，Twitch推出了“ Creator Camp”，以培训彩带及其“ mods”（频道主持人），以了解如何创建社区及其独特的文化，“全部没有虫子喷洒，晒伤和俗气的唱歌（当然，也许有人唱歌） ”，Twitch告诉其彩带。
因此，两家截然不同的现场视频公司正在尝试一种我们都开始看到的东西，那就是……
- 实时视频使社交媒体非常像面对面社交
- 社交媒体，就像任何社交内容一样，都受到社交规范的影响
- 社会规范有助于使社交更加安全
- 人们在感到安全时会四处逛逛，并获得更多乐趣。
最重要的是，在社交媒体极富参与性的业务中，安全就是好业务。
透明系数
这就是在行业内部进行的创新。 社会上正在发生这种事情。 如果可以将其简化为一个单词，那将是“透明性”。它可能永远不会是一个玻璃盒，但是黑盒正逐渐变得不透明。
尽管社交媒体公司必须围绕安全性不断创新，但他们还必须围绕如何使内容审核的挑战以及用户在内容审核中的角色更加透明进行创新。 我们在这里努力争取做到这一点很好，但我们也必须创新。 作为有关用户安全的公开讨论的参与者，我们都需要了解以下几点：有效的内容审核是公司必须在保护用户和保护他们的表达自由之间寻求平衡，并且如果平台也是如此透明，他们的系统可以更轻松地进行游戏或入侵，这使每个人的安全性降低。
因此，即使我们要求言论自由，更多保护和更大透明度，但公众讨论也必须不断创新。 安全是一件好事，并且是由内而外进行的。
披露：我是Yubo和其他社交媒体服务（包括Facebook，Twitter和Snapchat，但不包括Twitch）的互联网安全顾问。 我的简历在下面和 这里 。
进一步阅读和收听
- 实时流视频指标 ：“ 2018年6月的报告显示，“全球三分之二（67％）的消费者流了实时视频。”
- 都是负面的，一直都无济于事 ：在去年6月于拉脱维亚里加举行的一次研究研讨会上，青少年在线风险领域的领先研究者心理学教授Sonia Livingstone呼吁就当前有关“技术成瘾”和“放映时间”的辩论“不可能”是整体的。 她说，她不是技术的辩护律师，但她建议对我们在技术新闻中看到的统一否定性叙述采取“批判立场”的重要性。 。 甚至专业中立的研究人员也要求在有关在线健康的公开讨论中取得更大的平衡。
- 内容模块生命中的“一天” ：Twitch的志愿者内容主持人和研究生Claudia Lo在麻省理工学院的演讲，说明了它的积极性和反应性，并且远远超过了二进制文件（这表明透明对于任何谈论法规的人
- Yubo使用的其他工具和措施 ，一年前在我的博客上贴出该应用程序更名之前的帖子（最近，Yubo自己的观点）
- 关于Reddit上的内容审核 ：Nate Mathias博士的见解
- 2014年由Adrian Chen和Catherine Buni和Soraya Chemaly担任Wired的开创性新闻主题 ，于2016年获得The Verge屡获殊荣的“互联网秘密规则”
- “ Twitch and Shout ” -公共广播电台的On the Media上有关Twitch的深度广播节目
- RadioLab在Facebook上有关内容审核的深入报告
- Techdirt在首届CoMo会议上的报告称：“ 管理社交媒体平台没有万灵丹！”
- “ 游戏在视频游戏流媒体网站上让玩家退居次席”
Anne Collier是The Net Safety Collaborative（美国 学校社交媒体求助热线的 所在地）的创始人兼执行董事 。 从出现博客开始，她就一直在 NetFamilyNews.org上 撰写有关青年和数字媒体的 博客。
