OpenAI推出“数据伙伴关系”，减少训练数据偏向西方国家的缺陷

·OpenAI宣布了“数据伙伴关系”计划，旨在与第三方机构合作，建立用于人工智能模型训练的公共和私有数据集。

·OpenAI将收集“反映全人类社会”且目前不易在线访问的“大规模”数据集。该公司特别希望收集能“表达人类意图”的数据（如长篇写作或对话），这些数据将跨越不同的语言、主题和格式。

训练人工智能模型的数据集存在严重缺陷，这是一个公开的秘密。比如图像语料库往往以美国为首的西方国家为中心，部分原因在于在编制数据集时，这些地方的图像在互联网中占据主导地位。模型则以有害的方式放大了这些缺陷。

?

OpenAI在官网公布，它希望与外部机构合作创建新的数据集来消除这些缺陷。

当地时间11月9日，OpenAI在官网公布，它希望与外部机构合作创建新的数据集来消除这些缺陷。

OpenAI宣布了“数据伙伴关系”（Data Partnerships）计划，旨在与第三方机构合作，建立用于人工智能模型训练的公共和私有数据集。该公司在官网中表示，数据合作伙伴关系旨在“让更多组织能够帮助引导人工智能的未来”，并“从更有用的模型中获益”。

“为了最终使（人工智能）安全且有益于全人类，我们希望人工智能模型能够深入理解所有主题、行业、文化和语言，这就需要尽可能广泛的训练数据集。”OpenAI写道，“将你的数据纳入其中可以增加人工智能模型对你所在领域的理解，从而对你更有帮助。”

作为数据合作伙伴计划的一部分，OpenAI将收集“反映全人类社会”且目前不易在线访问的“大规模”数据集。该公司计划在包括图像、音频和视频在内的各种模式下开展工作，不过其特别希望收集能“表达人类意图”的数据（如长篇写作或对话），这些数据将跨越不同的语言、主题和格式。

OpenAI表示，如有必要，它将与组织合作，使用光学字符识别和自动语音识别工具对训练数据进行数字化处理，并在必要时删除敏感或个人信息。

一开始，OpenAI希望创建两种类型的数据集：一种是公开的开源数据集，任何人都可以在人工智能模型训练中使用；另一种是私有数据集，用于训练专有的人工智能模型。私有数据集的对象是那些希望数据保密，但又希望OpenAI的模型能够更好地理解其领域的组织。

到目前为止，OpenAI已经与冰岛政府和语言技术公司Mieeind ehf合作，提高了GPT-4的冰岛语能力，并与自由法律项目（一个在美国注册的非营利组织，为法律领域的学术研究提供访问和分析工具）合作，提高了模型对法律文件的理解能力。

“总之，我们正在寻求合作伙伴，帮助我们教会人工智能理解我们的世界，以便最大限度地帮助每个人。”OpenAI写道。

尽管OpenAI这篇博文看起来全然出于对人类利益的考虑，但其中似乎也有明显的商业动机，即以牺牲他人利益为代价来提高OpenAI模型的性能，却不给数据所有者相应的补偿。实际上，近期已经有一些创作者的公开信和诉讼，称OpenAI在未经他们许可或支付报酬的情况下，用其作品训练了许多模型。7月，16人匿名起诉OpenAI及微软公司，认为他们在未经允许的情况下使用并泄露了个人隐私数据，索赔金额高达30亿美元。紧接着，两位全职作者提出，OpenAI未经允许使用了他们的小说训练ChatGPT，构成侵权。