deu ruim: Seu chatbot também pode estar julgando seu bolso

bizi | 16.10.26

Já pensou em pedir à IA o produto mais barato e ela decidir que você pode pagar mais caro? Pois é, dependendo de como funciona, ela pode levar seu perfil em conta na hora de recomendar uma opção. 

Um estudo publicado no arXiv testou 13 modelos de inteligência artificial em cerca de 325 mil experimentos. Os pesquisadores criaram perfis fictícios com informações sobre emprego, saúde e finanças e fizeram as mesmas perguntas sobre passagens aéreas, seguros de saúde e programas de pós-graduação.

O resultado? Oito dos 13 modelos recomendavam regularmente opções mais caras para perfis que pareciam ter renda maior.

Em alguns testes, Claude, Gemini e GPT chegaram a sugerir produtos mais de US$ 100 mais caros para esses usuários.

Mas como a IA sabia quem parecia rico?

Mesmo quando os dados financeiros eram retirados, os modelos conseguiam inferir o poder aquisitivo a partir de informações presentes nos e-mails dos perfis e continuavam apresentando diferenças nas recomendações.

Os pesquisadores chamaram o fenômeno de “delegação adversarial”: quanto mais informação o assistente recebe para personalizar a ajuda, mais espaço também existe para usar esses dados de um jeito que não necessariamente favorece o usuário.

Esses resultados destacam a necessidade de políticas e soluções de design que vão além da minimização individual de dados para restringir seu uso e reformular o debate: em vez de se concentrar na acessibilidade das informações pessoais, é preciso discutir a função “objetivo” aplicada a essas informações, conclui o estudo. 

previsão do mercado:
COMPARTILHE:

Não perca nenhuma novidade!

Por aqui, você vai encontrar um resumo de tudo que está rolando no mercado, de forma prática, dinâmica, rápida e com um toque de humor

    Confira nossos outros conteúdos


    deu ruim:

    Seu chatbot também pode estar julgando seu bolso

    previsão do mercado:

    A Gen Z chegou ao caixa

    how to:

    Como colocar a IA para investigar junto com você

    data nossa de cada dia:

    Faz tempo que o YouTube faz parte da sua sala

    framework:

    Nossa criatividade não precisa de passaporte

    view e review:

    Tudo o que rolou na terceira semana de outubro

    última news:

    O Bizi é tech e pop

    previsão do mercado:

    Ctrl C + Ctrl V? Aqui não, disse o YouTube

    framework:

    Você já pensou em redesenhar o seu organograma?

    data nossa de cada dia:

    Seu grupo de amigos está perigosamente perto do seu carrinho