Laboratorio Nro 5: REGRESION LINEAL REGRESION LINEAL 1. Implementar la regresión lineal y ver cómo es que funciona con datos. Se necesitar necesitará á bajar el código inicial inicial (starter (starter code) y desempaquetar su contenido al directorio donde se desee completar el ejercicio. Si es necesario, usar el comando cd en Octa Octave ve pa para ra ca camb mbia iarr al dire direct ctor orio io an ante tes s de empe empeza zarr los los ejer ejerci cici cios os.. Adem Además ás se pu pued ede e enco encont ntra rarr inst instru rucc ccio ione nes s de instalación de Octave en la página Octave Installation. Archivos incluidos en este ejercicio: Ex1.m – script en Octave que ayuda a dar pasos a través del ejercicio. Ex1_multi.m – script en Octave para las partes finales del ejercicio. Ex1d Ex1dat ata1 a1.t .txt xt – Conj Conjun unto to de dato datos s para para regr regres esió ión n line lineal al con con una una variable. Ex1data2.txt – Conjunto de datos para regresión lineal con múltiples variables. *warmUpExercise.m *warmUpExercise.m – ejemplo simple de funciones en Octave. *plotData.m – función para displayar el conjunto de datos. *computeCost.m – función para calcular el costo de regresión lineal. *gradientDescentMulti.m – algoritmo gradient descent para múltiples variables. +computeCostMulti.m +computeCostMulti.m – función de costo para múltiples variables. +gradientDescentMulti.m +gradientDescentMulti.m – gradient descent para múltiples variables. +FeatureNormalize.m +FeatureNormalize.m – Función para normalizar características. +normalEqn.m – Función para calcular ecuaciones normales. * indica archivos que necesitas completar + indica archivos con ejercicios extras.
A través de este ejercicio, usarás los scripts ex1.m y ex1_multi.m. Estos scripts configuran el conjunto de datos para los problemas y hacen llamadas a funciones que tu escribirás. No necesitas modificar ninguno de ellos. Solo requieres modificar las funciones en los otros archivos, siguiendo estas instrucciones. Para Para este este ejercic ejercicios ios de progr programa amació ción n solo solo requie requieres res comple completar tar la primera parte del ejercicio de implementar regresión lineal con una variable. La segunda parte del ejercicio, la cual podrás completar para una nota extra, cubre regresión lineal con múltiples variables. Los ejercicios usan Octave, un lenguaje de programación de alto nivel para computaciones numéricas. Puedes referirte a la página de ayuda para la instalación del mismo. (https://class.co https://class.coursera.org/ml/ ursera.org/ml/wiki/view?page=OctaveIns wiki/view?page=OctaveInstallation tallation)) En la línea de comandos de Octave, escribe help seguido del nombre de la función, para ver la ayuda del mismo. Por ejemplo help plot nos dará información para ploteo. Además hay un manual de Octave aquí (Octave documentation pages ).
A) Función simple en Octave La primera parte de ex1.m da ejercicio a la sintaxis de Octave. En el archivo warmUpExercise.m encontrarás encontrarás la cabecera de la función en Octave.
Modi Modifí fíca cala la para para reto retorn rnar ar una una matr matriz iz iden identi tida dad d 5x5 5x5 llen llenan ando do el siguiente código: A = eye(5);
Luego ejecuta ex1.m (asumiendo que estás en el correcto directorio, escribe ex1 en el prompt de Octave) y deberías ver una salida similar a esta:
B) Regresión lineal con una variable
En esta parte del ejercicio, implementarás regresión lineal con una variable para predecir ganancias de un camión de comidas. Supón que estás en un restaurante y estás considerando diferentes ciudades para aperturar un nuevo local. La cadena tiene ya camiones de comida en varias ciudades y tienes datos de ganancias y población para esas ciudades. Te gustaría usar esos datos para ayudarte a seleccionar cual ciudad se debería expandir a continuación. El archivo ex1data1.txt contiene el conjunto de datos para nuestro problema de regresión lineal. La primer columna es la población de una ciudad y la segunda es la ganancia de un camión de comida en esa ciudad. Un valor negativo para la ganancia indica una pérdida. El script ex1.m ha sido programado para cargar los datos. B.1 Graficando los datos Antes de empezar cualquier tarea, es usual entender los datos visualizándolos. Para este conjunto de datos puedes usar un Plot scatter para visualizarlos ya que solo hay 2 propiedades (ganancia y población). En ex1.m el conjunto de datos es cargado en las variables X e y: X = data(:, 1); y = data(:, 2); m = length(y);
A continuación, el script llama a la función plotData para crear un scatter plot de los datos. Tu trabajo es completar plotData.m para dibujar el plot; modifica el archivo y llena el siguiente código: plot(x,y,’rx’,’MarkerSize’, 10); ylabel(‘Ganancia en $10000s’); xlabel(‘Población de la ciudad en 10000s’);
Ahora, cuando continuas ejecutando ex1.m nuestro resultado final deberá ser como la figura 1, con las mismas x rojas y etiquetas en los ejes.
B.2 Gradient Descent
En esta parte, encajarás los parámetros de la regresión lineal nuestro conjunto de datos usando gradient descent. - Actualizando las ecuaciones: El objetivo de la regresión lineal es minimizar la función de costo:
ϑa
donde la hipótesis hϑ(x) es dada por el modelo lineal:
recordando que los parámetros de tu modelo son los valores ϑ j. Estos son los valores que ajustarás para minimizar el costo J( ϑ). Una manera de hacerlo es usar el algoritmo batch gradient descent. En este algoritmo cada iteración realiza las modificaciones:
Con cada paso del algoritmo gradient descent, tus parámetros ϑ j se acercan a los valores óptimos que producirán el costo mínimo J(ϑ).
Nota de implementación: Almacenamos cada ejemplo como una fila en la matriz X en Octave. Para tomar en cuenta el término interceptado ϑ0, añadimos una columna inicial adicional a X y le damos el valor de 1 a todos. Esto nos permite tratar ϑ0 como simplemente otra característica. - Implementación En ex1.m tenemos configurado ya los datos para regresión lineal. En las siguientes líneas adicionaremos otra dimensión a nuestros datos para acomodar el término interceptado ϑ0. Además inicializamos los parámetros a 0 y el ratio de aprendizaje alpha a 0.01. X = [ones(m, 1) data(:,1)]; theta = zeros(2,1); iterations = 1500; alpha = 0.01;
- Calculando la función de Costo J( ) A medida que usas gradient descent para aprender a minimizar la función de costo J(ϑ), es usual monitorizar la convergencia calculando el costo. En esta parte implementaremos una función para calcular J(ϑ) así se puede chequear la convergencia de tu implementación de gradient descent.
La siguiente tarea es completar el código en el archivo computeCost.m el cual es una función que calcula J(ϑ). A medida que vas haciendo esto, recuerda que las variables X e y no tienen valores escalares, sino matrices cuyas columnas representan los ejemplos del conjunto de entrenamiento. Una vez que has completado la función, el siguiente paso en ex1.m correrá la función de costo una vez usando ϑ inicializado en ceros, e imprimiendo los costos. Deberías ver un costo de 32.07.
- Gradient descent archivo gradientDescent.m.
Note la manera que la línea continua en ex1.m usa multiplicación de matrices, en vez de sumas explícitas o ciclos, para calcular predicciones. Este es un ejemplo de vectorización de código en Octave. predict1 = [1, 3.5] * theta; predict2 = [1, 7] * theta;
B.3 Depuración: Si no quieres multiplicación de matrices, necesitas agregar un punto en tu notación para especificarlo en Octave. Por ejemplo, A*B multiplica matrices, mientras A.*B hace una operación de multiplicación elemento a elemento. B.4 Visualizando J(ϑ) En 3 Dimensiones
En 2 dimensiones:
REGRESION LOGISTICA
2. Implementar la Regresión Logística y aplicarla a 2 conjuntos de datos. Antes de iniciar se necesitará bajar el starter code y desempaquetarlo en el directorio donde queremos completar el ejercicio. Si es necesario, usar el comando cd de Octave para cambiar este directorio antes de iniciar el ejercicio. Completarás el código en plotData para que visualice una figura como la Figura 1, donde los ejes son las notas de los 2 exámenes y los ejemplos positivos y negativos son visualizados con diferentes marcas: B) Visualizar los datos Antes de empezar a implementar cualquier algoritmo de aprendizaje, es bueno visualizar los datos si es posible. En la primera parte de ex2.m el código cargará los datos y los visualizará en un plot 2D llamando a la función plotData. Completarás el código en plotData para que visualice una figura como la Figura 1, donde los ejes son las notas de los 2 exámenes y los ejemplos positivos y negativos son visualizados con diferentes marcas:
C) Implementación C.1 Ejercicio de calentamiento: Función sigmoide
C.2 Función de costo y gradiente
Una vez que hayas terminado, ex2.m llamará a costFunction usando los parámetros de ϑ. Deberás ver que el costo es más o menos 0.693.
C.3 Parámetros de aprendizaje usando
fminunc
3. REGRESION LOGISTICA REGULARIZADA B. Mapeo de Características
C. Función de costo y gradiente
PROBLEMAS EN OCTAVE 1. Problema 1
Respuesta: C=A*B y C=A’+B . 2.- Problema 2
Respuesta: B=A(:,1:2)
3.-Problema 3
Respuesta: Siendo A una matriz de 10X10 y x una matriz de una columna de 10X1 Se usa V=A*X; 4.-Problema4:
Respuesta: La que no cumple es Z=W*V; , todas las demás cumplen las operaciones que se plantean.
5. Problema 5
Respuesta: Todas se pueden ,cumplen y se pueden probar
