Deep learning : Teoria y aplicaciones / Jesús Alfonso, López Sotelo.

Incluye contenido al inicio del texto.

Incluye referencias bibliográficas pagina 217.

1. Conceptas sobre redes neuronales artificiales y aprendizaje profundo
Introducción.
-Objetivos del capítulo.
-Inteligencia antincial, redes neuronales artificiales y Deep Learning.
-Breve reseña histórica.
-La neurona biológica.
-La neurona artificial.
-Procesamiento matemático en la neurona artificial.
-Red neuronal artificial.
-Arquitecturas de redes neuronales artificiales.
-De acuerdo con la cantidad de capas.
-Redes multicapa superficial o de una capa oculta.
-Redes multicapa profundas.
-De acuerdo con el flujo de la información.
-Redes Feedforward.
-Redes recurrentes.
-El aprendizaje en las redes neuronales artificiales.
-Aprendizaje supervisado.
-Aprendizaje no supervisado.
-Aprendizaje por refuerzo.
-Ejemplo de procesamiento de la información en una red neuronal.
-Aplicaciones.
-Visión por computador.
-Procesamiento de voz.
-Reconocimiento de sonidos.
-Procesamiento de texto.
-Otras aplicaciones.

2. Los principios del aprendizaje profundo: redes monocapa
-Introducción.
-Red Neuronal Perceptron.
-Arquitectura y funcionamiento.
-Algoritmo de aprendizaje.
-Red Neuronal Adaline (ADAptative LINear Element).
-Arquitectura.
-Algoritmo de aprendizaje.
-Limitaciones del Perceptron.
-Proyectos de aplicación.
-Solución de la función lógica AND con un Perceptron.
-Reconocimiento de caracteres usando el Perceptron.
-Filtro adaptativo usando una red Adaline.
-Filtrado de señales de voz.
-Filtro adaptativo usando una red Adaline.
-Implementada en Arduino.
-Ejercicios propuestos.

3. Superando las dificultades con la propagación inversa en las redes
-Introducción.
-Arquitectura general de un Perceptron multicapa superficial.
-Entrenamiento de un MLP superficial.
-Nomenclatura para las redes superficiales.
-Algoritmo de entrenamiento.
-Gradiente descendente estocástico y gradiente descendente.
-Gradiente descendente estocástico (GDE).
-Procesamiento de datos hacia adelante "feedforward".
-Actualización de pesos para la capa de salida.
-Actualización de los bias para la capa de salida.
-Actualización de pesos para la capa oculta.
-Backpropagation.
-Actualización de los bias para la capa oculta.
-Variaciones del gradiente descendente.
-Algoritmo gradiente descendente con alfa variable.
-Algoritmo gradiente descendente con momentum clásico.
-Algoritmos de segundo orden para redes neuronales MLP.
-Método de Newton aplicado a redes neuronales.
-Levenberg Marquardt.
-Gradiente conjugado.
-Consideraciones de diseño.
-Conjuntos de aprendizaje y de validación.
-Dimensión de la red neuronal.
-Funciones de activación.
-Pre y post procesamiento de datos.
-Regularización.
-Regularización por parada temprana.
-Regularización por limitación de la magnitud de los pesos L2.
-Proyectos de aplicación.
-Solución del problema de la función XOR con Matlab.
-Aprendizaje de una función seno con Matlab [VI].
-Aprendizaje de una superficie (función de dos variables).
-Silla de Montar con Matlab.
-Identificación de sistemas usando redes neuronales MLP.
-Diseño del experimento y muestreo de datos.
-Modelo a usar y estimación de parámetros (Entrenamiento de la red).
-Validación del modelo obtenido con la RNA.
-Aplicación a la clasificación de patrones (el problema del IRIS).
-Reconocimiento de caracteres mano escritos (conjunto de datos MNIST) con una red superficial.
-Generador de ondas senoidales implementado con una red neuronal MLP en Arduino.
-Emulación de un sistema dinámico implementado con una red neuronal MLP en Arduino.
-Ejercicios propuestos,

4. Aprendizaje profundo (Deep Learning) o las redes de muchas capas
-Introducción.
-Problemas para entrenar redes neuronales profundas.
-Desvanecimiento del gradiente.
-Se requiere muchos datos.
-Se requiere una alta capacidad de cómputo.
-¿Cómo solucionar el problema del desvanecimiento del gradiente?.
-Cambio en funciones de activación.
-Cambio en función de pérdida o de costo.
-Reconocimiento de patrones convencional vs Deep Learning.
-Extracción de características automático en una imagen.
-Algoritmos de entrenamiento para redes profundas.
-Algoritmo gradiente descendente con momentum Nesterov.
-Algoritmo gradiente descendente tipo AdaGrad.
-Algoritmo gradiente descendente tipo RMS Prop.
-Algoritmo gradiente descendente tipo AdaDelta.
-Algoritmo gradiente descendente tipo Adam.
-Arquitecturas de Deep Learning.
-Auto Codificadores apilados.
-Redes neuronales convolucionales (Convolutional Neural Networks, CNN).
-Redes recurrentes tipo Long Short Term Memory (LSTM).
-Redes generativas profundas.
-Auto Codificadores Variacionales (VAE).
-Redes Generadoras Adversarias (GAN).
-Aprendizaje por Refuerzo Profundo (Deep Reinforcement Learning, DRL).
-Proyectos de aplicación.
-Aplicación a la clasificación del problema del Iris con una red profunda.
-Reconocimiento de caracteres mano escritos (MNIST data set) con una red profunda.
-Disminución de la dimensionalidad con un auto codificador para el data set MNIST .
-Reconocimiento de caracteres mano escritos (MNIST) con un auto codificador disperso.
-Ejercicios propuestos.

5. Redes convolucionales
-Introducción.
-Breve introducción al procesamiento de imágenes.
-¿Cómo ve un computador?.
-Inspiración biológica de una CNN.
-Funcionamiento de una red convolucional.
-Convolución.
-Zero-Padding.
-Convolución con imágenes a color.
-Función de activación.
-Pooling.
-Capa clasificadora.
-Otros procesos comunes en CNN.
-Arquitectura general de una CNN.
-Dimensionamiento de una red neuronal convolucional.
-Algunas arquitecturas de redes convolucionales representativas.
-LetNet-5.
-AlexNet.
-VGG16 net.
-Resnet.
-Inception.
-De Alexnet a Inception.
-Proyectos de aplicación.
-Uso de una red pre entrenada en Matlab.
-Entrenamiento de una CNN para reconocimiento de caracteres mano escritos del dataset MNIST.
-Entrenamiento de una CNN para reconocimiento de imágenes Data set CIFAR-10.
-Transfer Learning con Matlab.
-Deep Dream.
-Ejercicios propuestos.