Sua universidade, IA para decidir? Sub-revista científica: calcule suas 7 qualidades pessoais em poucos minutos, mas use-as com moderação

Atualmente, muitas universidades aderem ao conceito de revisão abrangente abrangente.

Em uma pesquisa recente da American Association for College Admissions Counseling (NACAC), 70% dos oficiais de admissão disseram que consideram as qualidades pessoais um fator importante na seleção de candidatos.

No entanto, as avaliações do mundo real não garantem equidade e os esforços de admissão são limitados pelos recursos relevantes.

Para enfrentar esses desafios, uma equipe de pesquisa liderada por Benjamin Lira, da Universidade da Pensilvânia, treinou um modelo de linguagem chamado Robustly Optimized BERT Pretraining Approach (RoBERTa) para revisar os ensaios dos candidatos fora da sala de aula ou no trabalho e procurar as sete qualidades pessoais incorporadas neles. **

**As descobertas mostram que os modelos de IA treinados em pontuação humana podem gerar milhões de pontuações de qualidade individuais em minutos, replicar pontuações humanas com precisão e ser interpretáveis e justos. **

O artigo científico, intitulado "Using artificial intelligence to assess personal qualities in college admissions*", foi publicado na sub-revista Science Science Advances.

No entanto, a equipe de pesquisa também enfatiza: "Nenhum algoritmo pode determinar os objetivos do processo de admissão na faculdade, ou quais qualidades pessoais são mais importantes, e as universidades precisam esclarecer seus objetivos de admissão antes de automatizar o processo de avaliação." "

AI identifica com sucesso qualidades pessoais

Em muitas universidades, a revisão abrangente tornou-se um método amplamente adotado de avaliação de admissões, que considera o mérito pessoal como uma consideração crítica. Pensa-se que a abordagem promove a equidade porque permite que os candidatos demonstrem habilidades não cognitivas e caráter que não são refletidos em testes padronizados.

No entanto, os dados históricos mostram que os sistemas de revisão abrangentes também podem ser injustos, especialmente quando os critérios de avaliação não são claros e a falta de explicação ou divulgação. **A atual revisão exaustiva carece de transparência, com os funcionários responsáveis pelas admissões a basearem-se principalmente em declarações individuais para avaliar a qualidade dos candidatos, mas estes pormenores continuam a não ser claros para os candidatos e para o público.

As formas de melhorar a revisão abrangente incluem uma metodologia de avaliação mais transparente e sistemática, a utilização de critérios de pontuação estruturados e múltiplas avaliações independentes. Essas recomendações incorporam a aplicação de princípios psicométricos que podem melhorar a confiabilidade, validade e interpretabilidade das avaliações, reduzindo assim possíveis vieses.

No entanto, subsistem problemas na realidade, principalmente o número crescente de candidaturas, as limitações de tempo e de recursos enfrentadas pelos funcionários responsáveis pelas admissões nas universidades. Se os recursos forem ilimitados, as avaliações podem ser melhor otimizadas para uma maior equidade.

Neste estudo, a equipa utilizou a tecnologia de IA para desenvolver uma forma de avaliar melhor as qualidades individuais. Primeiro, eles selecionaram uma amostra não identificada de candidaturas 309594 faculdade, cada uma das quais incluía um ensaio de 150 palavras descrevendo a atividade extracurricular ou emprego escolhido pelo candidato.

Em seguida, os pesquisadores e oficiais de admissão selecionaram 3131 desses artigos para treinar um modelo de linguagem, RoBERTa. Eles procuram candidatos em suas redações para 7 qualidades que possuem: capacidade de aprendizagem, perseverança, busca de objetivos, trabalho em equipe, motivação intrínseca, liderança e objetivos altruístas, e essas qualidades podem ajudar a determinar quais candidatos têm mais probabilidade de ter sucesso na faculdade. **

Finalmente, os pesquisadores usaram esses modelos ajustados para revisar 306463 artigos adicionais e pontuar cada um.

**Os resultados descobriram que pesquisadores e oficiais de admissão encontraram evidências em sete qualidades pessoais em cada artigo. **Algumas qualidades pessoais são mais comuns do que outras. Por exemplo, identificaram "liderança" em 42% e 44% dos artigos, respectivamente; Em contrapartida, só identificaram "perseverança" em 19% e 21% dos artigos.

A IA auxilia o julgamento, não substitui

No entanto, este estudo também apresentou algumas limitações. **

Em primeiro lugar, o estudo não incluiu as declarações pessoais exigidas pelo pedido comum, o que limitou a amplitude do estudo. Estudos futuros devem considerar a inclusão deste elemento, especialmente considerando que as declarações pessoais dos candidatos recentes foram apresentadas como anexos PDF.

Em segundo lugar, o GPA do ensino médio no conjunto de dados é baseado em apenas um pequeno subconjunto de candidatos, o que pode afetar a representatividade do estudo. A investigação futura deve centrar-se mais na forma de obter dados mais utilizáveis.

Em terceiro lugar, o efeito preditivo da qualidade pessoal na graduação universitária foi moderadamente alto, mas apenas em relação aos escores padronizados dos testes. A previsão dos resultados da vida a longo prazo é complexa e requer a consideração de uma variedade de fatores. Pesquisas futuras podem explorar outros fatores que não são considerados, como pagamento de mensalidades, preparação acadêmica e apoio.

Em quarto lugar, o estudo concentrou-se apenas na graduação universitária como resultado e não considerou outros aspetos do sucesso, como GPA, atividades extracurriculares e contribuições da comunidade. Isso requer um consenso mais amplo para otimizar os objetivos e a implementação das decisões de admissão nas universidades. Pesquisas futuras poderiam considerar mais aspetos do sucesso e seu impacto nas qualidades pessoais.

** Este estudo traz, portanto, uma perspetiva crítica sobre o estado atual da revisão abrangente e admissão seletiva. A investigação e a prática futuras devem centrar-se na clarificação dos objetivos de uma revisão abrangente antes de automatizar o processo. **

Além disso, o estudo descobriu que a Lei de Campbell sugere que quanto maior o peso atribuído à avaliação em decisões de alto risco (em oposição à pesquisa de baixo risco), maior é a probabilidade de desencadear uma motivação distorcida. Por exemplo, os candidatos podem tentar moldar seus próprios papéis, talvez usando ferramentas de IA como o ChatGPT para atender aos oficiais de admissão e algoritmos treinados.

Vale a pena notar que os algoritmos também cometem erros, especialmente quando se trata de encontrar padrões. Por exemplo, o modelo RoBERTa ajustado do estudo deu à frase "Eu doei heroína para o abrigo infantil" uma pontuação social muito alta.

Portanto, o estudo recomenda o uso de IA para auxiliar em vez de substituir o julgamento humano. Nenhum algoritmo pode determinar os objetivos do processo de admissão na faculdade, ou quais qualidades pessoais são mais importantes. Ver os algoritmos como um complemento em vez de um substituto para o julgamento humano também pode resolver o problema da evasão algorítmica, onde as pessoas estão mais inclinadas a confiar nos tomadores de decisão humanos do que os algoritmos quando há evidências contraditórias.

Link do artigo: