- Historicamente, acreditava-se em um trade-off linear entre
bom desempenho e interpretabilidade.
- a) Explique por que esse trade-off existe,
usando exemplos de modelos de cada extremo.
- b) Explique como as técnicas post-hoc de
XAI, como LIME e SHAP, permitem quebrar essa relação linear na prática
atual da indústria.
- Local Interpretable Model-agnostic Explanations (LIME):
- a) Qual é a diferença conceitual entre uma
explicação global e uma local? Dê um
exemplo de pergunta que cada uma responde.
- b) Descreva a intuição geométrica por trás do LIME
(a analogia de “dar zoom” em uma fronteira de decisão).
- c) Cite e explique os dois principais motivos pelos
quais o LIME é considerado um método “agnóstico ao
modelo” e “local”.
- SHAP é considerado o estado da arte em explicabilidade:
- a) De qual campo da matemática o SHAP deriva sua
base teórica? Explique a analogia central (“jogadores”, “jogo” e
“prêmio”) utilizada pelo método.
- b) O que a propriedade de Acurácia
Local (\(f(x) = \phi_0 +
\sum_{i=1}^{M} \phi_i\)) garante em uma explicação?
- c) Diferencie o TreeSHAP do
KernelSHAP, indicando quando cada um deve ser
usado.
- Os vieses não surgem magicamente, eles entram nos modelos por um
pipeline sociotécnico.
- a) Explique o conceito de Variável
Proxy. Por que simplesmente “remover a coluna de gênero ou
raça”, por exemplo, do dataset é uma estratégia ineficaz para eliminar o
viés?
- b) O caso “Gender Shades” demonstrou que sistemas
de reconhecimento facial tinham acurácia muito menor para mulheres de
pele escura. Identifique e justifique qual tipo de viés está
primariamente presente neste caso.
- Suponha um modelo de concessão de crédito onde:
Y=1 significa “Bom Pagador”, e A="mulher"
é o grupo não privilegiado.- a) Defina matematicamente a métrica
Statistical Parity (Paridade Demográfica) e cite sua
principal desvantagem.
- b) Defina matematicamente a métrica Equal
Opportunity (Igualdade de Oportunidades). Explique por que ela
exige o conhecimento do target real (
Y) para ser calculada,
ao contrário da Statistical Parity.
- c) Enuncie o Teorema da Impossibilidade de
Fairness e explique sua principal implicação prática para um
Cientista de Dados.
- Em um processo seletivo, um algoritmo aprovou 60% dos candidatos do
grupo A (privilegiado) e apenas 30% do grupo B (não privilegiado).
- a) Calcule a razão de seleção entre os grupos.
- b) Essa razão viola a regra dos
4/5? Justifique matematicamente e explique se há evidência de
impacto disparatado.
- Existem três grandes abordagens para mitigar o viés em um pipeline
de ML:
- a) Diferencie as estratégias de
pré-processamento, in-processamento e
pós-processamento, dando um exemplo de uma técnica para
cada uma.
- b) Qual é o trade-off fundamental que
geralmente se observa ao aplicar essas técnicas de mitigação de viés? O
que se espera ver em um gráfico que compara o modelo original com o
modelo mitigado (eixos: Acurácia vs. Fairness)?
- Utilizando a base
dados_credito.csv, reproduza o
pipeline completo de auditoria de viés ensinado na aula. Siga os passos
abaixo e responda às perguntas.
Link da base aqui: dados_credito.csv
As barras de quais métricas de fairness se estendem além da zona
verde para o modelo de Regressão Logística? O que isso significa em
termos da regra dos 4/5?
Qual dos dois modelos (Regressão Logística ou Random Forest)
apresentou maior viés? Justifique com base no gráfico de radar ou parity
loss.
Para o modelo com maior viés, identifique qual métrica de
fairness (Statistical Parity, Equal Opportunity, Predictive Equality,
Predictive Parity) apresentou a maior violação. Explique o significado
prático dessa violação no contexto de concessão de crédito em relação ao
gênero.
## Estrutura da base:
- id: identificador único
- genero: atributo sensível (Masculino / Feminino)
- idade: idade do solicitante
- renda_mensal: renda mensal em reais
- valor_emprestimo: valor do empréstimo solicitado
- historico_credito: histórico de crédito (Bom / Regular / Ruim)
- trabalho_ativo: se está empregado ativamente (Sim / Não)
- aprovado: target (Sim = crédito aprovado, Não = crédito negado)