Título
Explaining image classification by monitoring layers activity
Autor
Barrancos, Clara Nunes
Resumo
pt
A Inteligência Artificial Explicável (XAI) procura tornar os sistemas de IA mais transparentes,
permitindo que os utilizadores compreendam e confiem nas suas decisões. A
capacidade de identificar previsões não confiáveis é crucial para aplicações em domínios
críticos como saúde, finanças e sistemas autónomos.
Uma metodologia recente, SVD-based Peephole, propõe uma forma de detetar
decisões ambíguas ao analisar as informações que passam por uma camada de rede neural.
Esta tese visa melhorar a explicabilidade em IA, extraindo peepholes baseados em SVD
das camadas de uma rede neural leve. O método combina redução de dimensionalidade
(SVD) e agrupamento não supervisionado para revelar padrões de ativação estruturados
na rede.
Investigamos como as representações internas evoluem nas camadas do MobileNetV2,
um modelo otimizado para eficiência, e como se relacionam com o processo de decisão.
Este trabalho estende técnicas de peephole, antes aplicadas a modelos maiores, adaptandoas
à arquitetura compacta e complexa do MobileNetV2.
Os resultados mostram que, mesmo em arquiteturas comprimidas, é possível alcançar
explicabilidade significativa. Ao rastrear conceitos relacionados a classes e visualizá-los
com conceptogramas, demonstramos como representações abstratas se desenvolvem ao
longo das camadas. Estas visualizações não apenas melhoram a compreensão do modelo,
mas também fornecem uma forma prática de avaliar a confiabilidade das suas previsões.
Assim, peepholes baseados em SVD tornam-se ferramentas explicativas e de diagnóstico,
contribuindo para sistemas de IA mais transparentes, confiáveis e responsáveis.
en
Explainable Artificial Intelligence (XAI) seeks to make AI systems more transparent,
enabling users to understand and trust their decisions. The ability to identify untrustworthy
predictions is particularly important for deploying AI in critical domains such as
healthcare, finance, and autonomous systems. A recently proposed methodology, SVDbased
Peephole, offers a novel way to detect ambiguous decisions by analyzing information
passing through a neural network layer.
This thesis aims to improve explainability in AI by extracting SVD-based peepholes
from the layers of a very lightweight neural network. The method combines dimensionality
reduction method (SVD) and unsupervised clustering to reveal structured activation patterns
within the network. We investigate how internal representations evolve across layers
of MobileNetV2 (a model optimized for efficiency) and how they relate to the decision
making process. This work extends previous peephole techniques, traditionally applied
to larger models, by adapting them to the more compact and complex architecture of
MobileNetV2.
Our findings show that even in compressed architectures like MobileNetV2, meaningful
explainability can be achieved. By tracing class-related concepts through the network
and visualizing them with conceptograms, we demonstrate how abstract representations
develop across layers. Importantly, these visualizations not only improve explainability
but also provide a practical way to assess the trustworthiness of model outputs. This
positions SVD-based peepholes as both an explanatory tool and a diagnostic method,
contributing to the broader goal of making AI systems more transparent, reliable, and
accountable.