Google e Jigsaw avançam no controlo dos comentários tóxicos
A Google e a Jigsaw dão os primeiros passos com a Perspective, uma tecnologia que identifica comentários tóxicos. Os programadores terão acesso a esta tecnologia da Google através da API Perspective, e também as plataformas poderão passar a utilizá-la e ver como poderá ser útil nos seus respetivos sites.
Rose Eveleth, uma jornalista freelancer, acordou numa manhã de novembro e publicou o que pensava ser um post inócuo – uma nota sarcástica sobre um cientista com uma t-shirt com imagens de mulheres pouco vestidas durante uma entrevista.
Porém, nesse dia a sua vida mudou. Durante semanas, foi atacada e assediada online. E houve quem publicasse informação pessoal de Rose, que recebeu ainda ameaças de morte.
Acontece que Rose não é caso único: 72 por cento dos utilizadores de Internet norte-americanos testemunharam assédio online e quase metade já viveu essa experiência. E é neste contexto que a tecnologia pode dar uma ajuda.
A Google e a Jigsaw dão os primeiros passos com a Perspective, uma nova tecnologia – num estádio inicial – que recorre ajuda a identificar os comentários tóxicos.
Como funciona?
O Perspective revê os comentários e classifica-os com base na sua semelhança com comentários que as pessoas consideraram “tóxicos” ou que tenham levado alguém a abandonar a conversação.
Para compreender como identificar a linguagem potencialmente negativa, o Perspective examinou dezenas de milhar de comentários que foram marcados por revisores humanos.
A cada momento, o sistema encontra novos exemplos de comentários potencialmente tóxicos ou com o apoio de correções dos utilizadores poderá melhorar a classificação de comentários futuros.
Os autores podem escolher o que pretendem fazer com a informação que obtêm do Perspective.
Por exemplo, podem assinalar comentários para os seus próprios moderadores reverem e decidirem incluir ou não na conversação. Ou disponibilizar ferramentas para ajudar a sua comunidade a perceber o impacto do que estão escrever – por exemplo, dando a conhecer a quem comenta o potencial tóxico do seu comentário à medida que está a escrever.
Poderão até permitir apenas aos leitores ordenarem os comentários pelo seu nível de toxicidade tornando mais simples encontrar boas discussões escondidas sob outras tóxicas.
Uma versão desta tecnologia foi testada com o The New York Times, onde uma equipa inteira vai moderando cada comentário antes da sua publicação – revendo diariamente mais de 11 mil comentários.
E mesmo este trabalho é demasiado para uma única equipa e por isso a publicação permite comentários em apenas cerca de 10 por cento dos seus artigos.
Desenharam-se modelos que permitem aos moderadores da publicação ordenarem os comentários mais rapidamente e esperamos alargar diariamente a discussão a mais artigos.
O Perspective vem juntar-se ao TensorFlow em código aberto e à Google Cloud Machine Learning Platform como um dos muitos novos recursos da Google de machine-learning que são disponibilizados aos programadores.
Esta tecnologia está ainda em processo de aprendizagem. Mas isto é o que o machine learning tem de fantástico — mesmo que os modelos sejam complexos eles irão melhorar ao longo do tempo. Quando o Perspective chegar aos publishers, será exposto a mais comentários e conhecer ainda melhor o que torna determinados comentários tóxicos.
O nosso primeiro modelo foi desenvolvido para identificar linguagem tóxica mas ao longo do próximo ano serão distribuídos novos modelos que funcionam com outros idiomas além do inglês bem como modelos que permitam identificar comentários que sejam ataques pessoais ou fora do tópico de discussão.
