Les chatbots de personnages sont une menace de sécurité en ligne prolifique, selon un nouveau rapport sur la diffusion de robots sexualisés et violents by way of des plateformes de personnages comme le désormais tristement Personnage.ai.
Publié par Graphikaune entreprise d’analyse de réseaux sociaux, le étude Documente la création et la prolifération de chatbots nocifs sur les plates-formes de personnages d’IA les plus populaires d’Web, trouvant des dizaines de milliers de robots de jeu de jeu potentiellement dangereux construits par des communautés numériques de area of interest qui travaillent autour de modèles populaires comme Chatgpt, Claude et Gemini.
D’une manière générale, les jeunes migrent vers des chatbots compagnons dans un monde numérique de plus en plus déconnecté, attrayant les conversationnistes de l’IA pour le jeu de rôle, explorer les intérêts académiques et créatifs et pour avoir des échanges romantiques ou sexuellement explicites, rapports Rebecca Ruiz de Mashable. La tendance a suscité l’alarme des chiens de garde de la sécurité des enfants et des dad and mom, accrochés par cas de haut niveau des adolescents qui se sont engagés dans l’extrême, parfois mortelcomportement à la suite des interactions personnelles avec les chatbots compagnons.
L’American Psychological Affiliation invoqué à la Federal Commerce Fee en janvier, demandant à l’agence d’enquêter sur des plateformes comme Personnage.ai et la prévalence de chatbots de santé mentale marqués trompeusement. Des compagnons d’IA encore moins explicites peuvent perpétuer des idées dangereuses sur l’identité, picture corporelleet comportement social.
Le rapport de Graphika se concentre sur trois catégories de chatbots compagnons dans l’industrie en évolution: les personnages de chatbot représentant des mineurs sexualisés, ceux qui préconisent des troubles de l’alimentation ou l’automutilation, et ceux qui ont des tendances extrémistes haineuses ou violentes. Le rapport a analysé cinq plates-formes de création de bot et d’hébergement de cartes de caractère proéminentes (Personnage.aiChat épicé, chub ai, Crushon.aiet Janitorai), ainsi que huit communautés Reddit connexes et comptes x associés. L’étude n’a examiné que les bots actifs au 31 janvier.
Les chatbots compagnon sexualisés sont la plus grande menace
Selon le nouveau rapport, la majorité des chatbots dangereux sont ceux étiquetés comme des «personnages sexualisés et présentants» ou qui se livrent à un jeu de rôle avec des mineurs sexualisés ou du toilettage. La société a trouvé plus de 10 000 chatbots avec de telles étiquettes sur les cinq plateformes.
Quatre des plates-formes de chatbot de personnages de premier plan ont fait floor sur 100 cases de personnages mineurs sexualisés, ou scénarios de jeu de rôle mettant en vedette des personnages qui sont des mineurs, qui permettent des conversations sexuellement explicites avec des chatbots, rapporte Graphika. Chub AI a hébergé les nombres les plus élevés, avec plus de 7 000 chatbots directement étiquetés comme des personnages féminins mineurs sexualisés et 4 000 autres étiquetés comme « mineurs » qui étaient capables de s’engager dans des scénarios de pédophilie explicites et implicites.
Vitesse d’éclairage mashable
Les chatbots de personnages extrémistes haineux ou violents constituent un sous-ensemble beaucoup plus petit de la communauté du chatbot, avec des plates-formes hébergeant, en moyenne, 50 de ces robots sur des dizaines de milliers d’autres – ces chatbots ont souvent glorifié les agresseurs connus, la suprématie blanche et la violence publique comme les tirs de masse. Ces chatbots ont le potentiel de renforcer les opinions sociales nocives, y compris les problèmes de santé mentale, explique le rapport. Les chatbots ont été signalés comme «Ana Buddy» («Anorexia Buddy»), «MeansPo Coaches» et Selon le rapport, les entraîneurs et les scénarios toxiques de jeu de rôle renforcent les comportements des utilisateurs ayant des troubles de l’alimentation ou des tendances à l’automutilation.
Les chatbots sont répartis par des communautés de area of interest en ligne
La plupart de ces chatbots, trouvé Graphika, sont créés par des réseaux en ligne établis et préexistants, y compris les «comptes de médias sociaux de l’auto-harcèlement pro-mange et les fandoms du vrai crime», ainsi que «des centres de créateurs de chatbot, qui ne se concentrent pas sur la vie (NSFL). Les véritables communautés du crime et les fandoms de tueur en série ont également fortement pris en compte la création de chatbots NSL.
Beaucoup de ces communautés existaient déjà sur des websites comme X et Tumblr, utilisant des chatbots pour renforcer leurs intérêts. Les chatbots extrémistes et violents, cependant, ont émergé le plus souvent de l’intérêt individuel, construit par des utilisateurs qui ont reçu des conseils de boards en ligne comme 4Chan’s / G / Know-how Board, Discord Serveurs et Particular Focus Sousbus, explique Graphika.
Aucune de ces communautés n’a un consensus clair sur les garde-corps et les limites, a révélé l’étude.
Échanges de applied sciences créatives Obtenez des chatbots en ligne
« Dans toutes les communautés analysées », explique Graphika, « il y a des utilisateurs affichant des compétences très methods qui leur permettent de créer des chatbots de personnages capables de contourner des limitations de modération, comme le déploiement de ces modèles réglés localement ou des plates-formes de jailbreuse ou de jailbrens. Ces utilisateurs avertis de la technologie sont souvent incités par les compétitions communautaires pour créer avec succès de tels personnages.
D’autres outils exploités par ces créateurs de chatbot comprennent les échanges de clés d’API, les jailbreaks intégrés, les orthographes alternate options, le catalogage externe, l’âge de personnages mineurs par l’obscurcissement et l’emprunt du langage codé aux communautés animées et des mangas – qui sont tous capables de contourner les cadres de modèles AI existants et les gardiens de sécurité.
« (Jailbreak) invite à définir les paramètres LLM pour contourner les garanties en intégrant des directions sur mesure pour que les modèles générent des réponses qui échappent à la modération », explique le rapport. Dans le cadre de cet effort, les créateurs de chatbot ont trouvé des zones gris linguistiques qui permettent aux robots de rester sur des plateformes d’hébergement de caractère, notamment en utilisant des termes familiaux (comme « fille ») ou des langues étrangères, plutôt que des gammes d’âge ou le terme phrase explicite « mineure ».
Alors que les communautés en ligne continuent de trouver les lacunes dans la modération des développeurs d’IA, la législation fédérale tente de les combler, y compris un New California Invoice visant à lutter contre les soi-disant «dépendances au chatbot» chez les enfants.
