A equipe OpenAI lançou o uso mais recente do GPT-4 para criar um sistema de revisão de conteúdo e reduzir a participação manual

Fonte da imagem: Gerada por Unbounded AI

Em 16 de agosto, a equipe OpenAI anunciou um novo uso de IA, o uso de GPT-4 para desenvolvimento de políticas de conteúdo e decisões de moderação de conteúdo, permitindo rotulagem mais consistente, ciclos de feedback mais rápidos para refinamento de políticas e participação reduzida de participantes de revisão manual.

A moderação de conteúdo desempenha um papel vital na manutenção da integridade das plataformas digitais. Os pesquisadores da OpenAI descobriram que um sistema de moderação de conteúdo usando GPT-4 poderia iterar as mudanças de política muito mais rapidamente, reduzindo o tempo de ciclo de meses para horas.

Ao mesmo tempo, o GPT-4 também é capaz de interpretar as regras e nuances em documentos de política de conteúdo longos e se adaptar às atualizações de política imediatamente, resultando em rótulos mais consistentes. Isso oferece uma visão mais positiva para o futuro das plataformas digitais, onde a IA pode ajudar a regular o tráfego online de acordo com as políticas específicas da plataforma e aliviar a carga física e mental de um grande número de reguladores humanos.

Que tipo de usuário está disponível: qualquer pessoa com acesso à API OpenAI pode implementar essa abordagem para criar seu próprio sistema de moderação assistido por IA.

Desafios de moderação de conteúdo

A moderação de conteúdo requer esforço meticuloso, sensibilidade, compreensão profunda do contexto e adaptação rápida a novos casos de uso, tornando o processo demorado e desafiador. Tradicionalmente, o fardo dessa tarefa recaiu sobre os curadores humanos, que, apoiados por modelos menores de aprendizado de máquina específicos para verticais, examinam grandes volumes de conteúdo para filtrar materiais tóxicos e nocivos. Este processo é lento por natureza e pode ser mentalmente estressante para os seres humanos.

Resolvido usando um modelo de linguagem grande (LLM)

A equipe de pesquisa da OpenAI está explorando o uso de LLMs para enfrentar esses desafios. Eles argumentam que seus grandes modelos de linguagem, como GPT-4, podem entender e gerar linguagem natural, tornando-os adequados para moderação de conteúdo. Esses modelos podem fazer julgamentos moderados com base na orientação política fornecida a eles.

Com o sistema, o processo de desenvolvimento e customização de políticas de moderação de conteúdo foi reduzido de meses para horas.

1. Depois que as diretrizes de política para revisão são desenvolvidas, os especialistas em política podem criar um conjunto de dados de ouro identificando um pequeno número de exemplos e atribuindo-lhes rótulos de acordo com a política.
2. O GPT-4 lê a política e atribui um rótulo ao mesmo conjunto de dados, mas não vê a resposta.
3. Ao examinar as discrepâncias entre os julgamentos do GPT-4 e os julgamentos humanos, os especialistas em políticas podem solicitar ao GPT-4 que apresente o raciocínio por trás de seus rótulos, analise ambigüidades nas definições de políticas, resolva confusões e forneça mais informações sobre as políticas. Podemos repetir os passos 2 e 3 até ficarmos satisfeitos com a qualidade da apólice.

Esse processo iterativo produz políticas de conteúdo refinadas que são traduzidas em classificadores, permitindo que a moderação de conteúdo e política seja implantada em escala.

Como alternativa, para processar grandes quantidades de dados em escala, podemos usar as previsões do GPT-4 para ajustar um modelo menor.

Essa ideia simples, mas poderosa, oferece várias melhorias em relação aos métodos tradicionais de moderação de conteúdo:

Os rótulos são mais consistentes. As políticas de conteúdo estão em constante evolução e muitas vezes muito detalhadas. As pessoas podem interpretar a política de maneira diferente ou alguns moderadores podem demorar mais para digerir novas mudanças na política, resultando em rotulagem inconsistente. Por outro lado, o LL.M. é sensível a nuances no texto e pode se adaptar imediatamente às atualizações de políticas, proporcionando aos usuários uma experiência de conteúdo consistente.

Ciclos de feedback mais rápidos. O ciclo de atualizações de políticas – criar novas políticas, rotulá-las e coletar feedback humano – geralmente é um processo longo e demorado. O GPT-4 pode reduzir esse processo para algumas horas, permitindo respostas mais rápidas a novos perigos.

Reduza a carga mental. A exposição constante a conteúdo prejudicial ou censurável pode levar à exaustão emocional e estresse psicológico para o moderador. A automatização dessas tarefas beneficia o bem-estar dos envolvidos.

O diagrama acima explica o processo de como o GPT-4 é usado para moderação de conteúdo (desde o desenvolvimento de políticas até a moderação em larga escala)

Ao contrário da IA constitucional, que depende principalmente dos próprios julgamentos internos do modelo sobre o que é seguro e o que não é, a abordagem da OpenAI torna a iteração em políticas de conteúdo específicas da plataforma mais rápida e com menos esforço.

(Superior) A qualidade de rotulagem do GPT-4 é semelhante à de revisores humanos levemente treinados (Pool B). No entanto, um moderador humano experiente e bem treinado (Pool A) ainda supera ambos.

A equipe de pesquisa da OpenAI está explorando ativamente outras melhorias na qualidade de previsão do GPT-4, por exemplo, incorporando raciocínio encadeado ou autocrítica. Ao mesmo tempo, também está tentando detectar riscos desconhecidos e, inspirado na IA constitucional, visa usar modelos para identificar conteúdo potencialmente prejudicial e fornecer uma descrição de alto nível de conteúdo prejudicial. Essas descobertas informarão as atualizações das políticas de conteúdo existentes ou o desenvolvimento de políticas voltadas para áreas de risco totalmente novas.

*Observação: IA constitucional é um mecanismo desenvolvido pelo concorrente Anthropic, fundado por ex-membros da OpenAI, para seu modelo de produto em grande escala Claude, que visa fornecer uma abordagem "baseada em princípios" para alinhar sistemas de IA com a intenção humana, permitindo que o ChatGPT Modelos parecidos usam um conjunto simples de princípios como um guia para responder a perguntas. *