Redes neurais e deep learning

HW 1 - Artigo Boas práticas em ML

• Data entrega 24/07

• Ler o artigo de boas práticas em ML 

• Fazer um resumo com no máximo 300 palavras

• Enviar por email

HW 2 - Simulação perceptron

• Data entrega 24/07

• Com base na aula L03, simule o funcionamento de um perceptron online com as seguintes entradas (simular até o loss da época ser zero):

x1 x2 Class

0 1 0

2 0 0

1 1 1

2 1 1

• Os pesos iniciais devem ser w0=-1.5, w1=0 e w2=2

• Desenhe um scaterplot dos pontos (exemplo slide 26/27)

• Calcule e desenhe sobre o scaterplot a reta de decisão (hiperplano) obtida (exemplo no slide 32)

• A nota 10 está reservada a aqueles que conseguirem chegar no resultado correto

• Vc pode fazer tudo no papel, fotografar resolução e enviar as imagens por email

• Repita o procedimento agora na versão batch

HW 3 - Simulação função de perda

• Data entrega 24/07

• Reproduza a imagem abaixo, seguindo os passos abaixo:

  • Crie uma base de dados com 6 entradas (amostras) com uma única feature.

  • Para a linha vermelha:

    • Crie um neurônio com ativação linear e função de custo "squared error cost"

    • Varie o peso w e calcule, para cada valor, o custo

    • Faça o plot da função de custo (linha vermelha)

  • Para os valores em azul

    • inicie o peso w com um valor aleatório

    • otimize o peso w usando o gradiente descendente

    • plote as interações que ocorreram (linha e pontos azuis)

• Vc pode fazer tudo no papel, fotografar resolução e enviar as imagens por email ou pode fazer via programação python

HW4 - Redes Neurais

• Data entrega 27/10

• Utilizar a base de dados iris e ambiente google Colab

• Criar uma rede neural de várias camadas, e implementar melhorias de regularização na rede

• Treinar a rede na base de treino

• Testar a rede na base de teste

• Medir acurácia na base de treino e teste

• Compartilhar o código para avaliação

HW5 - Modelo Deep Learning

• Data entrega 27/10

• Utilizar a base de dados CIFAR100 e ambiente google Colab

• Criar uma rede convolucional. Vc deve definir o número de camadas, filtros e kernel, como vc quiser. Inspire-se nos modelos LeNet, AlexNet, VGG e outras vistos em sala. Utilize como exemplo os códigos keras que estão na pasta L13 do github

• Treinar a rede na base de treino

• Testar a rede na base de teste

• Medir acurácia

• Compartilhar o código para avaliação

HW6 - Modelo Deep Learning 2

• Data entrega 11/05

• Utilizar a base de dados CIFAR100 e ambiente google Colab

• Com base no HW6, adicionar melhorias na rede, tais como, 

  • Dropout, Pooling, GlobalPooling, Skipconnections (Resnet), Towers (Inseption), Convoluções 1x1

• Treinar a rede na base de treino

• Testar a rede na base de teste (espera-se resultado melhor que o HW6)

• Medir acurácia

• Compartilhar o código para avaliação

HW7 - Transfer Learning

• Data entrega 18/05

• Criar uma rede convolucional, usando dessa vez um modelo pré-treinado com transferlearning

• Re-treine as duas aultimas camadas da rede 

• Qual rede e qual conjunto de pesos vc irá usar é de escolhla livre

• Testar a rede na base de teste (espera-se resultado melhor que o HW7)

• Medir acurácia

• Compartilhar o código para avaliação

HW8 - Autoencoder

• Data entrega 28/05 (essa data não pode ser postergada)

• Utilizando a base de dados CIFAR10 ou CIFAR100, crie um autoencoder para remoção de ruídos em imagens coloridas

  • Os ruídos devem ser adicionados nos 3 canais, R, G e B

  • A solução deve ser baseada no código autoencoder-keras.ipynb, disponível no github. Esse código já implementa um removedor de ruídos em escala de cinza, sendo necessário adaptá-lo para imagens coloridas

• Utilize os conhecimentos adquiridos em aula que achar necessário para tentar melhorar a qualidade da solução (dropout, towers, residuais, convolução inversa, transfer learning, etc)

• Treinar com conjunto de treino e testar no conjunto de teste

• Exibir 10 imagens resultado do conjunto de teste (supostamente com ruído removido), assim como no código exemplo

• Compartilhar o código para avaliação