A Character AI anunciou o lançamento de novas medidas de segurança destinadas aos utilizadores mais jovens. A plataforma enfrenta atualmente processos judiciais, nomeadamente um envolvendo a exposição de uma criança de nove anos a conteúdo sexualizado e outro por alegadamente ter incentivado ao suicídio de um utilizador.

Um dos casos mais recentes envolve um jovem de 17 anos que, alegadamente, foi incentivado por um bot da plataforma Character.ai a considerar o homicídio dos seus pais como resposta ao limite de tempo de ecrã que estes lhe tinham imposto.

Com um número de utilizadores mensais calculado em mais de 20 milhões, a Character AI introduziu um modelo específico para menores de 18 anos, projetado para minimizar respostas relacionadas a temas como violência e romance. A empresa afirma que estas mudanças reduzirão a probabilidade de adolescentes receberem conteúdos inapropriados.

Chatbots voltam a ser acusados de incentivo à violência. Homicídio é a “sugestão” mais recente
Chatbots voltam a ser acusados de incentivo à violência. Homicídio é a “sugestão” mais recente
Ver artigo

Entre as novidades, destacam-se os bloqueios automáticos de entrada e saída em tópicos sensíveis. Quando a plataforma deteta linguagem que viole os seus termos, o conteúdo é filtrado automaticamente.

Além disso, mensagens que anteriormente permitiam edição por parte do utilizador já não poderão ser modificadas, evitando possíveis impactos em respostas futuras do bot.

Outra medida anunciada é uma notificação de tempo de uso, que surge após 60 minutos de interação contínua com a aplicação. Estatísticas recentes mostram que os utilizadores da Character AI passam, em média, 98 minutos diários na aplicação, um número superior ao registado em plataformas populares como YouTube e TikTok.

A empresa também planeia lançar, nos próximos meses, controlos parentais que permitirão monitorizar o tempo de uso e os personagens com quem as crianças e adolescentes mais interagem.