Explique o que são métodos paramétricos de regressão e qual a principal diferença em relação aos métodos não-paramétricos. Como a escolha do modelo paramétrico afeta o trade-off entre viés e variância?
Descreva o método de Minimos Quadrados Ordinarios (OLS). Qual a fórmula da solução fechada? Quais são as suposições do modelo OLS e em que situações ele pode apresentar limitações?
Explique o conceito de Best Subset Selection. Como funciona esse método de seleção de variáveis? Quais são as vantagens e desvantagens em termos computacionais quando o número de preditores \(p\) aumenta?
Compare Regressão Ridge e Regressão Lasso. Quais são as diferenças entre esses dois métodos de regularização em termos de: (a) função de penalização, (b) efeito sobre os coeficientes, e (c) situações em que cada um é mais adequado?
Por que usar regularização em modelos de regressão linear? Explique como Ridge e Lasso ajudam a prevenir overfitting e quais problemas específicos do OLS elas resolvem (por exemplo, multicolinearidade, alta dimensionalidade).
Qual a diferença entre L1 e L2 regularização? Como cada uma afeta os coeficientes do modelo e qual o papel do parâmetro de tuning lambda em cada método?