Exercícios de estudo e treino sugeridos pelo Prof. Emilio.


Ex 1) Construa com um um único nó neural com pesos sinápticos apropriadamente escolhidos por você uma porta lógica tipo AND de duas entradas, e com a função de não linearidade sendo o sign(.) / sinal(.) ou a tangente hiperbólica,o que preferir. Note que como a saída da função sign / sinal é do tipo + - e a saída da tgh é saturável em +1 e -1,pode ser conveniente usar a representação bipolar de um bit (+1 e -1) em lugar da tradicional unipolar (0 e 1)

  Ex 1b) Estenda sua solução para ANDs de três entradas, quatro, cinco, e se possível generalize a solução para ANDs de N entradas.


Ex 2) Enunciado do Ex 1 mas trocando AND por OR

  Ex 2b) Enunciado do Ex 1 mas trocando AND por NOR


Ex 3) Assista aos diversos tutoriais do MBP, aprenda o formato do arquivo de treino e a forma de se definir uma rede neural nesse ambiente, entenda as ilustrações apresentadas para regressão e reconhecimento de padrões, e desenvolva um ensaio e tutorial seu similar ao exemplo de regressão feito para estimação do sinx/x, mas focando em uma função escolhida por você e distinta dessa.  

Ex 3b) Use agora o MBP para treinar uma rede a realizar alguma das operações lógicas mencionadas nos Exs 1 e 2. Faça um relatório simples de documentação de resultados comentados. Apresente-o a um colega de sala e explique seus resultados e conclusões. Incorpore novas conclusões e considerações que seu colega trouxe a seus resultados, registre o nome dele e explicite as contribuições que fez.


Ex 4) Defina dois problemas de regressão multivariada (y(X) é analógico) no contexto de Sistemas Eletrônicos / ou de Eletrônica e Sistemas / ou no contexto de sua ênfase de 4o ano se for outra / ou no contexto de seu módulo de EC3 de 5o ano  (explicite disciplinas da EC3 em E&S às quais o seu problema se conecta; não vale PSI3471 ; -) ) que possa se beneficiar de aprendizado de máquina e de treinamento de uma rede neural. Defina claramente as variáveis de entrada, de saída, suas unidades e significados, explique porque o regressor é algo útil, porque precisamos do aprendizado de máquina na modelagem, e defina como coletará os pares empíricos (X,y).

Ex 4b) Ensaie ao menos um desses dois problemas no ambiente de prototipação rápida MBP (Multiple Back Propagation). Faça um relatório simples de documentação de resultados comentados. Apresente-o a um colega de sala e explique seus resultados e conclusões. Incorpore novas conclusões e considerações que seu colega trouxe a seus resultados, registre o nome dele e explicite as contribuições que fez.


Ex 5)
 Defina dois problemas de detecção de padrões (y(X) é binário) no contexto de sistemas eletrônicos, um deles em imagens e outro não (explicite disciplina/s da EC3 em E&S às quais o seu problema se conecta; não vale PSI3471 ; -) ) que possa se beneficiar de aprendizado de máquina e de treinamento de uma rede neural. Defina claramente as variáveis de entrada, de saída, suas unidades e significados, explique porque o regressor é algo útil, porque precisamos do aprendizado de máquina na modelagem, e defina como coletará os pares epíricos (X,y).

Ex 5b) Ensaie ao menos um desses dois problemas no MBP. Faça um relatório simples de documentação de resultados comentados. Apresente-o a um colega de sala e explique seus resultados e conclusões. Incorpore novas conclusões e considerações que seu colega trouxe a seus resultados, registre o nome dele e explicite as contribuições que fez.


Ex 6) Para um MLP de 2 camadas com topologia 3-3-1 (3 entradas, 3 neurônios intermediários e 1 neurônio de saída), deduza a fórmula da derivada parcial do Eqm (Erro quadrático médio) com relação a um peso de primeira camada (um peso que liga uma das entradas da rede a um dos 3 neurônios da primeira camada) e a fórmula da derivada parcial do Eqm com relação a um viés de neurônio da primeira camada.

Ex 6b) Deduza agora a fórmula da derivada de Eqm com relação a um peso que interliga a primeira camada de neurônios com o neurônio de saída. Deduza também a fórmula da derivada de Eqm com relação a um viés do neurônio de saída.

Ex 6c) Escreva agora com base nos seus resultados em 6 e 6b todas as 16 fórmulas de derivadas parciais do Eqm com relação aos 16 pesos sinápticos da rede (este "16" é claro incluí os 4 pesos de viés, que são também parâmetros a otimizar na estrutrura 3-3-1).

Ex 6d) Como o item 6c pode ser usado por você para escrever um código de programa de aprendizado de pesos de uma rede neural? Além de explicar como, esboce o pseudo-código.

Ex7) *** AVANÇADO *** Varie o número de nós (N_nós) numa das redes neurais de 2 camadas (estrutura de Cybenko) ensaiadas em exercícios de treino anteriores e mostre num gráfico duplo (dois plots) como as medidas de aderência "modeloRNA--dados_empíricos" (medidas tomadas sempre ao final do treino por EBP) tanto para os dados experimentais de treino quanto para os dados experimentais de teste variam com o numero de nós. Verifique se o gráfico da aderência ao conjunto de dados empíricos de treino varia monotonicamente com N_nós. Verifique se o gráfico da aderência  ao conjunto de dados empíricos de teste varia com N_nós em formato de "U" / "U invertido" ("U" para erro e "U invertido" para aderência, já que erro e aderência são medidas opostas entre si) . Faça um relatório simples de documentação de resultados comentados. Apresente-o a um colega de sala e explique seus resultados e conclusões. Incorpore novas conclusões e considerações que seu colega trouxe a seus resultados, registre o nome dele e explicite as contribuições que fez.

Ex8) *** AVANÇADO *** Você sabe o que é um auto-encoder?

Ex8a) Faça alguma pesquisa bibliográfica e entenda-o no funcionamento e na sua utilidade em redes neurais profundas; ele é uma das técnicas importantes no contexto de Deep Learning. Spoiler ... Do ponto de vista estrutural, o auto-encoder é um MLP com mesmo número de entradas e saídas dados de treino multidimensionais X e Y com valores idênticos e uma camada de nós escondidos com menor dimensão que a dimensão da entrada / saída.

Ex8b) Ensaie um autoencoder para os X dos vários problemas ensaiados no MBP em exercícios de treino acima. Faça um relatório simples de documentação de resultados comentados.

Ex9) (9a) Prepare uma folha resumo (tamanho A4) com os conceitos e técnicas aprendidos até a P1

Ex9b) Identifique e liste os 10 conceitos e métodos que considera os mais importantes, aprendidos desde o início do curso. Compare a sua lista com as listas de colegas e discuta com eles a razão das divergências maiores entre as listas comparadas. Faria mudanças na sua lista dos 10 após essa comparação? Porquê exatamente.

Ex9c) Para cada um dos 10 itens que você selecionou: explique da melhor forma possível tal conceito / método para alguém que não conheça, escrevendo em 1 ou dois parágrafos enriquecidos com a apresentação fórmulas e imagens e diagramas pertinentes. 

 // Os que seguem foram acrescidos em 04 de abril em sala de aula via slides debatidos com os alunos presentes //

Ex10) (10a) No que impacta escolhermos o “epslon” de Cybenko de alto valor (vide slides e enunciado do teorema de aproximação universal de Cybenko se tiver dúvidas sobre o que seja o "epslon" nesse contexto)? O que muda na estrutura de Cybenko com isso (com epslon de altos valores)?

Ex10b) No que impacta escolhermos o “epslon” de Cybenko de baixo valor?

Ex11) Como definimos o número de nós da primeira camada do MLP numa estrutura de Cybenko (MLP de 2 camadas)?

Ex12) Liste o que ganhamos e o que perdemos se escolhermos usar POUCOS nós na construção de uma rede neural de 2 camadas e uma variável de saída (Estrutura de Cybenko).

Ex12b) Argumente em separado cada item de sua lista de ganhos e cada item de sua lista de perdas.

Ex13) Liste o que ganhamos e o que perdemos se escolhermos usar MUITOS nós na construção da rede neural.

Ex13b) Argumente em separado cada item de sua lista de ganhos e cada item de sua lista de perdas.

Última atualização: terça-feira, 10 abr. 2018, 08:37