Título
Exploring the ethical accountability in artificial intelligence negotiation agents
Autor
Mendes, Leonor Patrício
Resumo
pt
A expansão da Inteligência Artificial (IA) para diversas áreas tem sido o cenário dos últimos
anos. O campo da negociação não foi exceção, e com a integração de agentes de negociação
baseados em IA, os seus processos tornaram-se mais eficientes, o que também levantou desafios
éticos, especialmente em termos de responsabilização. Assim, a presente dissertação estuda a
lacuna na compreensão de quem detém a responsabilidade, no ciclo de vida de um Agente de
Negociação com IA. Esta é apresentada através de uma síntese de teoria da negociação, ética
em IA e gestão de stakeholders, culminando no desenvolvimento de um quadro conceptual que
mapeia papéis e responsabilidades, enquanto avalia, até que ponto os próprios Agentes de
Negociação com IA, podem ser considerados responsáveis.
Através de uma análise qualitativa, incluindo entrevistas semiestruturadas com onze
profissionais da indústria e académicos, foram identificados diferentes stakeholders chave
como, por exemplo, Gestores de Projeto, Auditores Externos e Encarregados de Proteção de
Dados. Categorizou-se igualmente os seus níveis de responsabilidade (Baixo, Médio, Alto) nas
três fases principais do ciclo de vida do Agente de Negociação com IA: desenvolvimento,
utilização e consequências. Adicionalmente, a pesquisa sugere que a responsabilização
permanece centrada no ser humano, cabendo à Gestão Executiva, aos Gestores de Projeto e
equipas técnicas, como a Equipa do Projeto, a primeira linha de responsabilidade pelos
resultados do sistema. Contudo, os Utilizadores Finais partilham uma cota parte dessa
responsabilidade, através da qualidade dos seus inputs e do consentimento sobre
regulamentações. Por fim, os resultados proporcionam uma ponte prática para colmatar a lacuna
entre complexidades técnicas e insights de gestão, para a tomada de decisão, sublinhando ainda
os desafios contínuos nos sistemas de IA, como a fragmentação regulatória, falhas na
governança de dados e a confiança do Utilizador Final nos resultados.
en
The expansion of Artificial Intelligence (AI) to several areas has been the recent years setting.
The negotiation field was not left out and with the integration of negotiation agents its processes
became more efficient, which raised ethical challenges, especially in terms of accountability.
Therefore, the present dissertation studies the gap in understanding who holds accountability in
the lifecycle of an AI Negotiation Agent. It is presented through the synthesis of negotiation
theory, AI ethics and stakeholder management, which culminated in the development of a
conceptual framework that maps roles and responsibilities, while assessing the extent to which
AI Negotiation Agents themselves can be held accountable.
By conducting qualitative research, including semi-structured interviews with eleven
industry and academic professionals, key stakeholders were recognized, including Project
Managers, External Auditors, and Data Protection Officers, and further categorized in their
respective responsibility level (Low, Medium, High), across the three major phases of the AI
Negotiation Agent lifecycle, development, usage and consequences. Furthermore, the research
suggests that accountability resides on staying human-centric, where the Executive
Management, Project Managers and the technical teams, such as the Project Team, bear the first
layer of responsibility for the outcomes of the system. However, End Users detain a share on
accountability by the quality of their prompts and consent over regulations. At last, the findings
provide a practical bridge to fill the gap between the technical complexities and the managerial
insights for decision-making, and it underlines the continuous challenges on AI systems, such
as regulatory fragmentation, data governance breach and the End User’s trust on the outcome.