#article #read
访谈: Twitter前信任与安全主管 Yoel Roth 谈SNS Trust & Safety
Yoel Roth on Banning Trump, Battling Bots & the Difficult Job of Trust & Safety - YouTube
https://www.youtube.com/watch?v=yS_cXVrkyVE
Roth 的主要观点:
1. content moderation decisions are like assholes. Everybody's got one. 这句话我解读为世上人人都有屁股,每个屁股的位置不尽相同,所以理论上做出任何审核决策都会有人觉得你屁股歪了,这份工作需要平衡截然不同的意见,做出公平且保护用户的决策,因此极其困难
2. 目前许多去中心化平台(如Mastodon)的信任与安全工具远不如中心化平台成熟,例如,缺少批量封禁功能,难以有效应对大规模spam(说起来上一次Fedi Spam也是过去很久了,联邦宇宙之鸡下次究竟何时回归让我们拭目以待)
3. 许多去中心化平台在审核方面的透明度甚至不如中心化平台(a.k.a 管理员原来你真的是土皇帝): 相比 Twitter 在封禁事件后发布详细的决策理由,许多去中心化平台甚至不会通知用户被封禁,或内容被删除后没有任何提示,这削弱了决策的可信度。
4. 资金与可持续性:最严峻的问题之一,负责构建去中心化生态信任与安全工具的组织(例如IFTAS)因缺乏资金和持续的经济模型而难以为继。运行复杂的模型(如 CSAM 检测)需要高昂的计算成本,志愿服务无法长久。
5. 因为注重隐私,去中心化平台的可用风控判断要素远少于中心化平台: 中心化平台因保存 IP、设备 ID 等数据,能够进行复杂的行为分析和溯源。而许多去中心化平台出于隐私考虑,不收集或不让管理员访问这些数据,这极大地增加了识别虚假账户和协调行为的难度
6. 基于2-5,当 Meta 的 Threads(尽管是一个中心化产品)在处理反垃圾信息等方面反而比部分去中心化平台更有效时,这表明去中心化项目的目标可能未能完全实现。
7. 虚假信息正从单纯的fake news转向意图煽动情绪的内容(举了2016美国大选的例子),因此,应对策略应从判断 “内容真伪” 转向识别 “行为的真实性/非真实性”,例如账号注册地、账号行为模式(批量发布、特定发布时间等)。
8. LLM让Spam伪装程度得到空前提升:LLM 能生成高度流畅、有说服力的内容,使得内容本身的判断更加困难。对抗 LLM 的关键在于关注其底层 行为模式(如账户创建、自动化操作、发布规律),而非仅与内容本身竞争。
9. 小型社区能够带来别样的社区凝聚力:拥有数十亿用户的平台(如 Instagram)面临着全球前所未有的治理难度,几乎不可能形成一个像样的“20亿人政府”。相比之下,语言、文化、社交联系更紧密的小型社区(如 Maori Twitter, Black Twitter)在自我治理方面表现出更强的能力。Black Twitter 的“Your slip is showing”标签即是社区自我浄化的实例。但即使是小型社群,也需要警惕并防御外界的恶意行为者。不能因社群规模小而放松警惕,威胁是普遍存在的。
10. 个人权利(如过滤掉不希望看到的内容)与集体/他人权利(如不被 Doxing 的保护)之间可能存在冲突。当内容被过滤,用户(受害者)可能并未意识到危险,这时需要明确谁负责执行保护性权利。
11. 审核团队应该多元化:很多平台的创始人是白男,其经验无法代表所有用户
12. 是否应推广民主:Roth称他个人支持民主,但不同社区可能有更高的优先级,如社区凝聚力。硅谷公司本质上是资本驱动的商业实体,而非民主实践场所。
13. 技术和工具会变,但人的基本需求、社会互动模式变化不大。理解历史和人性是构建任何社交技术的基础。
—— https://scg.owu.one/@cdn0x12/statuses/01K39E025ZQHCAQ12JQBXMXGSJ
#社交媒体 #信任与安全
via Nostr@cxplay_clip
访谈: Twitter前信任与安全主管 Yoel Roth 谈SNS Trust & Safety
Yoel Roth on Banning Trump, Battling Bots & the Difficult Job of Trust & Safety - YouTube
https://www.youtube.com/watch?v=yS_cXVrkyVE
Roth 的主要观点:
1. content moderation decisions are like assholes. Everybody's got one. 这句话我解读为世上人人都有屁股,每个屁股的位置不尽相同,所以理论上做出任何审核决策都会有人觉得你屁股歪了,这份工作需要平衡截然不同的意见,做出公平且保护用户的决策,因此极其困难
2. 目前许多去中心化平台(如Mastodon)的信任与安全工具远不如中心化平台成熟,例如,缺少批量封禁功能,难以有效应对大规模spam(说起来上一次Fedi Spam也是过去很久了,联邦宇宙之鸡下次究竟何时回归让我们拭目以待)
3. 许多去中心化平台在审核方面的透明度甚至不如中心化平台(a.k.a 管理员原来你真的是土皇帝): 相比 Twitter 在封禁事件后发布详细的决策理由,许多去中心化平台甚至不会通知用户被封禁,或内容被删除后没有任何提示,这削弱了决策的可信度。
4. 资金与可持续性:最严峻的问题之一,负责构建去中心化生态信任与安全工具的组织(例如IFTAS)因缺乏资金和持续的经济模型而难以为继。运行复杂的模型(如 CSAM 检测)需要高昂的计算成本,志愿服务无法长久。
5. 因为注重隐私,去中心化平台的可用风控判断要素远少于中心化平台: 中心化平台因保存 IP、设备 ID 等数据,能够进行复杂的行为分析和溯源。而许多去中心化平台出于隐私考虑,不收集或不让管理员访问这些数据,这极大地增加了识别虚假账户和协调行为的难度
6. 基于2-5,当 Meta 的 Threads(尽管是一个中心化产品)在处理反垃圾信息等方面反而比部分去中心化平台更有效时,这表明去中心化项目的目标可能未能完全实现。
7. 虚假信息正从单纯的fake news转向意图煽动情绪的内容(举了2016美国大选的例子),因此,应对策略应从判断 “内容真伪” 转向识别 “行为的真实性/非真实性”,例如账号注册地、账号行为模式(批量发布、特定发布时间等)。
8. LLM让Spam伪装程度得到空前提升:LLM 能生成高度流畅、有说服力的内容,使得内容本身的判断更加困难。对抗 LLM 的关键在于关注其底层 行为模式(如账户创建、自动化操作、发布规律),而非仅与内容本身竞争。
9. 小型社区能够带来别样的社区凝聚力:拥有数十亿用户的平台(如 Instagram)面临着全球前所未有的治理难度,几乎不可能形成一个像样的“20亿人政府”。相比之下,语言、文化、社交联系更紧密的小型社区(如 Maori Twitter, Black Twitter)在自我治理方面表现出更强的能力。Black Twitter 的“Your slip is showing”标签即是社区自我浄化的实例。但即使是小型社群,也需要警惕并防御外界的恶意行为者。不能因社群规模小而放松警惕,威胁是普遍存在的。
10. 个人权利(如过滤掉不希望看到的内容)与集体/他人权利(如不被 Doxing 的保护)之间可能存在冲突。当内容被过滤,用户(受害者)可能并未意识到危险,这时需要明确谁负责执行保护性权利。
11. 审核团队应该多元化:很多平台的创始人是白男,其经验无法代表所有用户
12. 是否应推广民主:Roth称他个人支持民主,但不同社区可能有更高的优先级,如社区凝聚力。硅谷公司本质上是资本驱动的商业实体,而非民主实践场所。
13. 技术和工具会变,但人的基本需求、社会互动模式变化不大。理解历史和人性是构建任何社交技术的基础。
—— https://scg.owu.one/@cdn0x12/statuses/01K39E025ZQHCAQ12JQBXMXGSJ
#社交媒体 #信任与安全
via Nostr@cxplay_clip
#吐槽
#Censorship 是 #Moderation 的超集, 追求后者会直接带动前者增长, 但单独的前者增长并不能表面后者也在增长. #Bluesky 的审查和审核存在于网络中常人能够接受和理解的 PDS 之外, 资源开销在 PDS 之上. 要完整重建 Bluesky 网络的开销并不比 #Fediverse 低, 大多数普通人只能在 bsky.app (联邦)的审查框架之下实行自己(个体)的审核.
via Nostr@cxplay
#Censorship 是 #Moderation 的超集, 追求后者会直接带动前者增长, 但单独的前者增长并不能表面后者也在增长. #Bluesky 的审查和审核存在于网络中常人能够接受和理解的 PDS 之外, 资源开销在 PDS 之上. 要完整重建 Bluesky 网络的开销并不比 #Fediverse 低, 大多数普通人只能在 bsky.app (联邦)的审查框架之下实行自己(个体)的审核.
quoting#信任与安全
nevent1q…346r
After a court order by the Turkish government, Bluesky made accounts unavailable for Bluesky users in Turkey this week.
I take a closer look at geographic-based moderation works on #Bluesky and #atproto, how it can be sidestepped, and much more
https://fediversereport.com/bluesky-censorship-and-country-based-moderation/
via Nostr@cxplay
#article #read
在权利高度集中的互联网 "开放" 社区中, 表面包容异见更有可能是在加速内部净化进程.
当权力结构完全依赖同质化的忠诚(如领袖崇拜和意识形态教条)时, 允许异见将成为一种风险管控策略 —— 通过制造自由的假象, 诱使异见人士暴露身份, 再系统性清除以维护纯度. 这种筛选机制需持续投入监控, 审查与信任成本. 效率虽然远低于直接压制异见, 却能够根除很多隐藏极深的异见人士, 但这本质是以故意制造治理复杂性换取受控制的幻觉.
依赖此类机制的社区往往陷入独裁者悖论, 开放与控制的需求产生持续冲突, 而所谓 "仁慈独裁者" 不过是权力结构暂时稳定的偶然产物, 难以制度化. 开放社区最终还是会走向封闭, 当新鲜血液难以注入社区, 社区就会逐渐迈向衰老, 然后死亡或分裂. 而终生仁慈独裁者也迟早有一天不得不面对社会化身份的衰老和死亡, 或者是自己对独裁感到倦怠, 或者是对社区的意识形态不再认同, 或者是本身社区起源的共识的都已经开始走向衰老.
#社交媒体 #信任与安全
via Nostr@cxplay_clip
在权利高度集中的互联网 "开放" 社区中, 表面包容异见更有可能是在加速内部净化进程.
当权力结构完全依赖同质化的忠诚(如领袖崇拜和意识形态教条)时, 允许异见将成为一种风险管控策略 —— 通过制造自由的假象, 诱使异见人士暴露身份, 再系统性清除以维护纯度. 这种筛选机制需持续投入监控, 审查与信任成本. 效率虽然远低于直接压制异见, 却能够根除很多隐藏极深的异见人士, 但这本质是以故意制造治理复杂性换取受控制的幻觉.
依赖此类机制的社区往往陷入独裁者悖论, 开放与控制的需求产生持续冲突, 而所谓 "仁慈独裁者" 不过是权力结构暂时稳定的偶然产物, 难以制度化. 开放社区最终还是会走向封闭, 当新鲜血液难以注入社区, 社区就会逐渐迈向衰老, 然后死亡或分裂. 而终生仁慈独裁者也迟早有一天不得不面对社会化身份的衰老和死亡, 或者是自己对独裁感到倦怠, 或者是对社区的意识形态不再认同, 或者是本身社区起源的共识的都已经开始走向衰老.
#社交媒体 #信任与安全
via Nostr@cxplay_clip