Redes Neurais (Deep Learning)
Aula de redes neurais (deep learning).
Código: https://colab.research.google.com/dri...
Weka: https://www.cs.waikato.ac.nz/ml/weka/
Detalhes que esqueci de comentar:
1) Em geral, considera-se como deep learning qualquer rede neurai com 2 ou mais camadas ocultas, mas é um conceito arbitrário. Muitos consideram 1 como suficiente;
2) Uma rede neural com uma única camada oculta e ativações sigmoidais é capaz de aproximar qualquer função contínua, dados neurônios suficientes;
3) 28:35 ERRRATA: faltou multiplicar o somatório pela derivada da ativação do neurônio oculto (no caso, y(1-y));
4) Não está óbvio por causa da edição, mas o treino em CPU levou 5min, em GPU levou 5s (dá pra ver na base da tela). 60x mais rápido.
5) As camadas ocultas PRECISAM de ativações não-lineares, ou seja, não pode ser a identidade. De forma resumida, o que aconteceria é que a camada seria inútil e a rede acabaria equivalendo a um perceptron simples :)
ERRATA: aos 20:20 eu digo que a tangente hiperbólica é igual à logística sigmoide vezes 2 e menos 1 (tanh(x) = sigmoid(x)*2 - 1). Isto está incorreto. O correto é: tanh(x) = sigmoid(2x)*2-1 (faltou multiplicar o x por 2 também).
0:00 - Introdução
4:50 - Multi-Layer Perceptron
7:02 - XOR
17:51 - Funções de ativação
27:07 - Backpropagation
30:57 - Código-fonte de rede neural com PyTorch
51:25 - Rodando na GPU (CUDA)
59:49 - Redes Neurais no Weka