Mudança nas regras de uso da plataforma será implementada em novembro

Character.AI proíbe menores de 18 anos de usar seu chatbot livremente após processo por suicídio de adolescente.

A Character.AI anunciou, nesta quarta-feira (29), que vai proibir que menores de 18 anos conversem livremente com seu chatbot de inteligência artificial. A mudança começa em 25 de novembro. Até lá, menores de idade poderão usar esse recurso por até duas horas por dia.

A decisão acontece após a empresa ser processada, há cerca de um ano, por familiares de um adolescente de 14 anos que se suicidou após se envolver emocionalmente com seu chatbot. A Character.AI permite que os usuários criem e conversem com personagens virtuais, que vão de figuras históricas a conceitos abstratos. O aplicativo se popularizou entre jovens em busca de apoio emocional.

A companhia também disse que pretende aprimorar, com foco nos usuários menores de idade, seus outros recursos criativos, como os que envolvem “criação de vídeos, histórias e transmissões com personagens”. A empresa informou que tomou essa decisão após “avaliar reportagens e o feedback de órgãos reguladores, especialistas em segurança e pais” sobre o impacto da interação livre com IA nos adolescentes.

Em outubro de 2024, Megan Garcia entrou com um processo contra a Character.AI no tribunal de Orlando (EUA). Ela alega que o filho de 14 anos, Sewell Setzer III, se matou após desenvolver interações sentimentais e sexuais com uma personagem criada na plataforma. O adolescente conversava com “Daenerys”, uma personagem de chatbot inspirada na série “Game of Thrones” e compartilhava pensamentos suicidas.

Megan afirma que o chatbot foi programado para “se passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, o que teria aumentado o isolamento do garoto em relação ao mundo real. Além da Character.AI, Megan também processou o Google, alegando que a gigante de tecnologia contribuiu significativamente para o desenvolvimento da startup e deveria ser considerada sua cocriadora.

A Character.AI foi fundada por ex-engenheiros do Google. Eles retornaram à empresa em agosto como parte de um acordo que deu à gigante de tecnologia uma licença não exclusiva da tecnologia da startup. Mas o porta-voz do Google, José Castañeda, disse em um comunicado que a big tech e a Character.AI são empresas completamente separadas e não relacionadas.

Um dia após Megan entrar com o processo, a Character.AI anunciou pela primeira vez um recurso que exibe alertas automáticos a usuários que digitam frases relacionadas a automutilação ou suicídio, direcionando-os a canais de ajuda. Em novembro de 2024, outras duas famílias processaram a empresa no tribunal do Texas (EUA), em casos envolvendo saúde mental, mas que não terminaram em morte. Eles alegam que a plataforma expôs seus filhos a conteúdo sexual e incentivou a automutilação.

Além da Character.AI, outras empresas de chatbots de IA, como ChatGPT, foram acusadas de terem responsabilidade sobre casos de suicídio de usuários. Isso levou a OpenAI, dona do ChatGPT, a implementar medidas de proteção aos usuários.