今日热点：
1.将上下文长度扩展到256k，无限上下文版本的LongLLaMA来了？
2.赔偿30亿？OpenAI因版权被多方状告，作家集体起诉，抗议ChatGPT训练侵权
将上下文长度扩展到256k，无限上下文版本的LongLLaMA来了？
文章来源：机器之心
概述
OpenAI的大型语言模型OpenLLaMA的新版本LongLLaMA已经发布，它将上下文的长度扩展到了256k token，甚至更多。这个研究由IDEAS NCBR、波兰科学院、华沙大学、Google DeepMind联合完成。LongLLaMA基于OpenLLaMA完成，微调方法采用Focused Transformer (FOT)。研究结果显示，FOT可以用于对已经存在的大型模型进行微调，以扩展其上下文长度。
要点
- [🚀] OpenAI的大型语言模型OpenLLaMA的新版本LongLLaMA已经发布，它将上下文的长度扩展到了256k token，甚至更多。
- [🔬] 这个研究由IDEAS NCBR、波兰科学院、华沙大学、Google DeepMind联合完成，基于OpenLLaMA完成，微调方法采用Focused Transformer (FOT)。
- [📈] 研究结果显示，FOT可以用于对已经存在的大型模型进行微调，以扩展其上下文长度。这意味着模型可以在其训练上下文长度之外进行外推，甚至可以达到256K。
- [📊] 在密码检索任务上，LongLLaMA取得了良好的性能。具体而言，LongLLaMA 3B模型远远超出了它的训练上下文长度8K，对于token为100k时，准确率达到94.5%，当token为256k时，准确率为73%。
- [🎯] 在两个下游任务（TREC问题分类和WebQS问题回答）上，结果显示，在使用长上下文时，LongLLaMA性能改进明显。即使在不需要长上下文的任务上，LongLLaMA也能表现良好。
- [🔍] FOT是Transformer模型中一种即插即用的扩展，可用于训练新模型，也可对现有的较大模型进行更长上下文微调。为了达到这一目的，FOT使用了记忆注意力层和跨批次（crossbatch）训练过程。
赔偿30亿？OpenAI因版权被多方状告，作家集体起诉，抗议ChatGPT训练侵权
文字来源：新智元
概述
OpenAI最近陷入了版权问题的集体诉讼，包括作家个人起诉。起诉理由是训练数据侵权。位于北加州的Clarkson律所对OpenAI提起了集体诉讼，指控OpenAI在训练大模型时从网上抓取的数据，严重侵犯了16名原告的著作权和隐私，要求赔偿30亿美金。此外，还有一些作家因为被侵权而直接起诉OpenAI。
要点
- [⚖️] OpenAI因版权问题陷入集体诉讼，包括作家个人起诉，主要起诉理由是训练数据侵权。
- [💰] Clarkson律所对OpenAI提起了集体诉讼，指控OpenAI在训练大模型时从网上抓取的数据，严重侵犯了16名原告的著作权和隐私，要求赔偿30亿美金。
- [📚] 除了律所的集体诉讼，还有一些作家因为被侵权而直接起诉OpenAI，他们认为OpenAI在未经同意的情况下使用他们的作品来训练ChatGPT，违反了版权法。
- [🔍] Clarkson律所的诉讼主张OpenAI的整个商业模式都是基于盗窃，他们代表那些信息被窃取，用来创造了这项强大技术的真实存在的普通人主张自己的合法权利。
- [🏛️] 在没有明确法律规则的背景之下，案件很有可能会朝着不利于OpenAI的方向发展。只要这家律所不是无理取闹，而OpenAI又急于摆脱类似的诉讼麻烦，这个案子很有可能会以和解结束。
- [📝] 美国作家协会是一个支持作家工作权利的倡导组织，他们发表了一封公开信，呼吁大型科技和AI公司的CEO能去获得「作家的许可」，再使用他们的受版权保护的作品来训练LLM，同时应该「公平地补偿作家」。
- [🔮] 法学教授Daniel Gervais预计，随着这些AI在复制作家和艺术家风格方面的能力不断得到发展和改进，更多的作者将加入起诉开发LLM和AI公司的行列，全国范围内，针对ChatGPT等生成式AI工具的一大波法律挑战即将到来。
（AI大观日报会为您推送每日的AI热点新闻，其中所有的概述及要点都由AI自动总结生成。若想查看详细内容，可点击标题进入原文）
