Lista 5 - Exercícios Redes Neurais - Backpropagation

---

Considere a Rede Neural MLP abaixo, em que:

1. Entradas (círculos verdes): Dados de entrada.
2. Pesos (linhas com rótulos w1, w2, …, w10): Valores que ajustam a conexão entre neurônios.
3. Camada oculta (círculos azuis): Neurônios intermediários que processam as entradas.
4. Vieses (círculos cinzas com b1, b2, b3, b4, b5): Parâmetros que ajudam a ajustar a saída dos neurônios.
5. Saída (círculo vermelho): Resultado final da rede neural.

1. Considere os dados abaixo e e faça uma iteração do backpropagation, analisando o erro final e utilizando a função sigmoide.

Função de ativação sigmoide: \(F(\nu) = 1 / (1 + e^{-\nu})\)

Considere os seguintes valores iniciais para entrada, saída, pesos e viéses:

• Entradas: \(x_1 = 0.05\), \(x_2 = 0.10\)
• Saída: \(y = 0.47\)
• Pesos:
  • \(w_1 = 0.15\)
  • \(w_2 = 0.20\)
  • \(w_3 = 0.25\)
  • \(w_4 = 0.30\)
  • \(w_5 = 0.40\)
  • \(w_6 = 0.45\)
  • \(w_7 = 0.50\)
  • \(w_8 = 0.55\)
  • \(w_9 = 0.60\)
  • \(w_{10} = 0.65\)
• Viéses:
  • \(b_1 = 0.35\)
  • \(b_2 = 0.60\)
  • \(b_3 = 0.40\)
  • \(b_4 = 0.50\)
  • \(b_5 = 0.45\)
• Taxa de aprendizado: \(\eta = 0.5\)

Resultado:

• Primeira iteração do Backpropagation:
  • Saída da rede:
    • \(\hat{y} = 0.7978\)
  • Erro:
    • \(E = 0.0537\)

Abaixo seguem os valores dos pesos atualizados:

• Pesos:
  • \(w_{10} = 0.6310\)
  • \(w_9 = 0.5799\)
  • \(w_8 = 0.5482\)
  • \(w_7 = 0.4983\)
  • \(w_6 = 0.4478\)
  • \(w_5 = 0.3980\)
  • \(w_4 = 0.2999\)
  • \(w_3 = 0.2499\)
  • \(w_2 = 0.1999\)
  • \(w_1 = 0.1499\)
• Viéses:
  • \(b_5 = 0.4236\)
  • \(b_4 = 0.4972\)
  • \(b_3 = 0.3966\)
  • \(b_2 = 0.5993\)
  • \(b_1 = 0.3493\)
• Nova saída da rede:
  • \(\hat{y} = 0.7885\)
• Novo Erro:
  • \(E = 0.0507\)

---

2. Refaça uma primeira iteração do Backpropagation utilizando os dados anteriores, entretanto, agora utilizando a função de ativação ReLU nas camadas ocultas e a função linear na camada de saída. Considere nesse caso os dados abaixo:

• Função de ativação ReLU: \(F(\nu) = max(0, \nu)\)

• Função de ativação linear: \(F(\nu) = \nu\)

• Derivada da função ReLu: \(F'(\nu) = 1\) se \(\nu > 0\) e \(F'(\nu) = 0\) se \(\nu \leq 0\)

• Derivada da função linear: \(F'(\nu) = 1\)

• Entradas: \(x_1 = 2.4\), \(x_2 = 5.3\)

• Saída: \(y = 4.57\)

• Pesos:

  • \(w_1 = 0.15\)
  • \(w_2 = 0.20\)
  • \(w_3 = 0.25\)
  • \(w_4 = 0.30\)
  • \(w_5 = 0.40\)
  • \(w_6 = 0.45\)
  • \(w_7 = 0.50\)
  • \(w_8 = 0.55\)
  • \(w_9 = 0.60\)
  • \(w_{10} = 0.65\)

• Viéses:

  • \(b_1 = 0.35\)
  • \(b_2 = 0.60\)
  • \(b_3 = 0.40\)
  • \(b_4 = 0.50\)
  • \(b_5 = 0.45\)

• Taxa de aprendizado: \(\eta = 0.5\)

Resultado:

• Primeira iteração do Backpropagation:
  • Saída da rede:
    • \(\hat{y} = 3.7379\)
  • Erro:
    • \(E = 0.3528\)

Abaixo seguem os valores dos pesos atualizados:

• Pesos:
  • \(w_{10} = 1.8222\)
  • \(w_9 = 1.6412\)
  • \(w_8 = 2.6852\)
  • \(w_7 = 1.8546\)
  • \(w_6 = 2.3732\)
  • \(w_5 = 1.6201\)
  • \(w_4 = 19.8615\)
  • \(w_3 = 9.1080\)
  • \(w_2 = 13.6410\)
  • \(w_1 = 6.2365\)
• Viéses:
  • \(b_5 = 0.8701\)
  • \(b_4 = 1.2653\)
  • \(b_3 = 1.0893\)
  • \(b_2 = 4.2908\)
  • \(b_1 = 2.8861\)
• Nova saída da rede:
  • \(\hat{y} = 1692.913\)
• Novo Erro:
  • \(E = 1426656\)