Meta’s Llama a mémorisé d’énormes events de Harry Potter

Le modèle Llama de Meta a mémorisé Harry Potter et la pierre du sorcier Si bien qu’il peut reproduire des extraits textuels de 42% du livre, selon un nouvelle étude.

Des chercheurs de Stanford, Cornell et de l’Université de Virginie-Occidentale ont analysé des dizaines de livres Books3 DataSetUne assortment de livres piratés utilisés pour former les modèles Llama de Meta. Books3 est également au centre d’un procès pour violation du droit d’auteur contre Meta, Kadrey c. Meta Plateformes, Inc. Les auteurs de l’étude affirment que leurs résultats pourraient avoir des implications majeures pour les sociétés d’IA confrontées à des poursuites similaires.

Selon le doc de recherche, le modèle LLAMA 3.1 « mémorise certains livres, comme Harry Potter et 1984presque entièrement. « Plus précisément, l’étude a révélé que Llama 3.1 a si bien mémorisé 42% du premier livre de Harry Potter qu’il peut reproduire des extraits textuants au moins 50% du temps. Dans l’ensemble, Llama 3.1 pourrait reproduire des extraits de 91% du livre, mais pas aussi cohérente.

« L’ampleur de la mémorisation textuelle des livres de l’ensemble de données Books3 est plus importante que décrite précédemment », a déclaré le doc. Mais les chercheurs ont également découvert que « la mémorisation varie considérablement d’un modèle à l’autre et d’un livre à l’autre dans chaque modèle, ainsi que variant dans différentes events de livres individuels. » Par exemple, l’étude a estimé que LLAMA 3.1 ne mémorisait que 0,13% de Sandman Slim par Richard Kadrey, l’un des plaignants principaux de la recours collectif sur la poursuite du droit d’auteur contre Meta.

Ainsi, alors que certaines des conclusions du journal semblent accablantes, ne l’appelez pas un pistolet fumant pour les plaignants Cas de violation des droits d’auteur de l’IA.

« Ces résultats donnent à tout le monde dans le débat sur le droit d’auteur de l’IA, » a écrit Le journaliste Timothy B. Lee dans sa e-newsletter de compréhension de l’IA. « Des résultats divergents comme ceux-ci pourraient mettre en doute s’il est logique de regrouper JK Rowling, Richard Kadrey et des milliers d’autres auteurs dans un seul procès de masse.

Pourquoi Llama est-il succesful de reproduire des livres plus que d’autres? « Je soupçonne que la différence est que Harry Potter est un livre beaucoup plus célèbre. Il est largement cité et je suis sûr que des extraits substantiels sur des websites Internet tiers ont trouvé leur chemin dans les données de formation sur le Internet », a déclaré James Grimmelmannprofesseur de droit numérique et de l’info à l’Université Cornell, qui a été cité dans le journal.

Ce que cela montre également, a déclaré Grimmelmann, c’est que « les entreprises d’IA peuvent faire des choix qui augmentent ou réduisent la mémorisation. Ce n’est pas une caractéristique inévitable de l’IA; ils ont le contrôle. »

Meta et d’autres sociétés d’IA ont fait valoir que l’utilisation de travaux protégés par le droit d’auteur pour former leurs modèles est protégé sous une utilisation équitable, une doctrine juridique complexe. Cependant, l’étendue de la mémorisation pourrait compliquer ces arguments.

«Oui, je pense que la probabilité que les LLM mémorisent plus que ce que l’on pensait auparavant modifie l’analyse du droit d’auteur», » Robert Brauneisun professeur à la faculté de droit de l’Université George Washington, a déclaré dans un e-mail à Mashable. Il a conclu que les résultats de l’étude pourraient finalement affaiblir l’argument de la foire de Meta.

Nous avons demandé à Meta des commentaires sur les résultats de l’étude, et nous mettrons à jour cet article si nous recevons une réponse.

Divulgation: Ziff Davis, la société mère de Mashable, en avril, a déposé une plainte contre Openai, alléguant qu’elle a enfreint Ziff Davis Copyrights dans la formation et l’exploitation de ses systèmes d’IA.