Uma mulher na internet – e, mais precisamente, como uma mulher cujo trabalho precisa manter suas mensagens diretas abertas para comentários, dicas e bate-papos com fontes potenciais – estou bem familiarizado com um certo tipo de mensagem não solicitada. No Twitter, minha caixa de entrada de “solicitações de mensagens” está repleta de “Oi” e consultas excessivamente pessoais; de vez em quando, os homens que me mandam mensagens ficam ainda mais ousados, mandando imagens também.

Sim, estou falando de fotos de pau não solicitadas. Embora pessoas razoáveis ​​possam discordar sobre os pontos mais delicados do que constitui assédio on-line, praticamente todos concordariam que enviar uma foto de um pênis a alguém sem o consentimento deles é, pelo menos, uma grande faux pas, se não abertamente abuso.

No entanto, eu, e muitas outras mulheres, somos submetidas a essas imagens com bastante regularidade – na semana passada, um estranho me mandou um boquete ainda não solicitado do site pornô gay Broke Straight Boys.

Idealmente, os homens na internet saberiam não fazer isso – mas isso parece improvável. Então, considerando os avanços na moderação automatizada de conteúdo, por que não descobrimos uma solução tecnológica para esse problema? E se o fizéssemos, como poderia ser?

No Twitter, onde recebo com mais frequência esse tipo de mensagem, os “avanços sexuais indesejados” são proibidos, mas a execução só acontece depois do fato. Embora o serviço emprega triagem automática em mensagens enviadas por estranhos, ocultando imagens e tweets incorporados, a menos que o destinatário opte por visualizá-los, esse sistema se aplica a tudo, limitando sua utilidade.

Uma imagem de um gatinho tem a mesma probabilidade de ser examinada como uma imagem de um pênis; alguém poderia estar me enviando um tweet pornô pesado ou um tweet que eu acabei de enviar, e eu não teria como saber a diferença até que eu clicasse. (Quando eu entrei em contato com o Twitter para comentar essa peça, o representante da mídia deles apenas reiterou informações disponíveis publicamente sobre a resposta do serviço a fotos nuas não solicitadas.)

Para criar um programa capaz de identificar com precisão o conteúdo ofensivo, você precisa treinar um classificador de aprendizagem profunda para reconhecer uma imagem de um pênis, independentemente do tamanho, da forma, da cor ou do ângulo do disparo.

Dados os avanços modernos em A.I. e aprendizado de máquina, parece que deve ser trivial automatizar um filtro que seja capaz de diferenciar entre uma foto de um galo e um tipo completamente diferente de galo.

E, de fato, Jason Hong, professor do Instituto de Interação Humano-Computador da Universidade Carnegie Mellon, me diz que esse tipo de problema é exatamente o tipo de coisa que o aprendizado de máquina pode ser útil, notando que isso seria “o estado atual do aprendizado de máquina”. abordagem de arte. De muitas maneiras, seria semelhante aos filtros de spam para e-mail. ”

Mas, ao contrário dos filtros de spam, que podem identificar conteúdo ofensivo por meio de palavras-chave incorporadas no texto, um filtro de pic pau precisaria processar fotos, que são muito mais complicadas.

Para criar um programa capaz de identificar com precisão o conteúdo ofensivo, você precisa fornecer uma quantidade enorme de material, treinando um classificador de aprendizagem profunda para reconhecer uma imagem de um pênis, independentemente do tamanho, forma, cor ou ângulo do tiro.

Hong observa que esse processo de treinamento poderia ser emparelhado com métodos de relatório existentes – se eu relatar um usuário para me enviar um dick pic, essa imagem seria então alimentada ao algoritmo como mais um ponto de dados – adequando o algoritmo às necessidades da comunidade baseando-se sua educação sobre exatamente o que os membros da comunidade acham ofensivo.

Mas esse método de acumular dados pode demorar um pouco. Em vez disso, os programadores poderiam simplesmente compilar um banco de dados de treinamento por conta própria, mas teriam que descobrir o que, exatamente, conta como conteúdo ofensivo.

Uma coisa é treinar um programa para reconhecer um pênis humano ereto em todas as suas variações, mas e outras formas de conteúdo adulto que podem ser usadas para assediar usuários (como, por exemplo, o pornô gay que ainda fui enviado recentemente)? Quão hardcore uma imagem precisa ser antes de ser considerada ofensiva? Deve conter um pênis ou o pornô lésbico também seria considerado ofensivo?

Transmita uma rede muito estreita e o programa é ineficaz; lançam uma rede muito ampla e os usuários podem reclamar da censura agressiva em seus DMs – como aconteceu na sequência dos filtros de conteúdo adulto do Instagram recentemente lançados.

E a analogia do filtro de spam de Hong destaca outro problema em potencial: temos filtros de spam há décadas e eles ainda são imperfeitos, rotineiramente perdendo mensagens que são claramente lidas como lixo eletrônico e interceptando as mensagens desejadas.

(Desculpas ao candidato democrata à presidência, Julián Castro, cujas mensagens de campanha são rotineiramente marcadas como lixo eletrônico pela minha conta.) Se os filtros baseados em texto, que são significativamente mais simples do que os focados em fotos, ainda estão cometendo tantos erros, ter confiança de que um algoritmo de rastreamento dick pic irá exibir fotos de pau com sucesso, e fotos de pau sozinho?

Há também um elefante na sala: nem todas as fotos de pau são indesejadas. Embora muitas vezes ouvimos falar dessas imagens como uma forma de assédio, alguns usuários concordam em recebê-las.

Um sistema que sinaliza automaticamente essas imagens como uma violação, ou as impede de serem recebidas sem qualquer consideração pelo contexto, é uma que não está atendendo às necessidades de todos os seus usuários – embora algumas plataformas de mídia social possam considerar que um sacrifício está disposto a fazer.

Talvez o melhor sistema possível que podemos esperar seja um semelhante ao recém-debutado recurso Private Detector, da Bumble, que promete melhorar a experiência do usuário identificando conteúdo adulto com A.I. De acordo com a equipe da Bumble, o Detector Privado é capaz de identificar imagens ofensivas com 98% de precisão.

Em vez de desfocar cada imagem e deixá-la para os usuários decidirem se querem correr o risco de potencialmente ver um pênis, o Detector Privado apenas embaça imagens que ele acredita serem de natureza adulta – enquanto ainda estende aos usuários a opção de visualizar a imagem se assim o desejarem.

Pode não ser tão simples como um algoritmo que apaga automaticamente as fotos de pau indesejadas da sua caixa de entrada antes que elas sejam abertas, mas é um sistema com maior probabilidade de atender às necessidades do maior número de pessoas, impedindo o máximo de assédio possível também fornecendo aos usuários a capacidade de optar, caso o conteúdo seja realmente desejado. Pode ser a melhor opção que temos agora – pelo menos até que possamos treinar as pessoas para parar de enviar um ao outro conteúdo adulto indesejado.