Big Data es uno de los fenómenos tecnológicos más fuertes el siglo XXI, por el que cada vez más empresas están apostando e invirtiendo. El mercado tiene un importante déficit de profesionales con conocimientos en las tecnologías que lo dan soporte, siendo Apache Hadoop la más utilizada, y Apache Spark la de mayor proyección.

Este curso te introducirá en las tecnologías Apache Hadoop y Apache Spark desde un de un modo fundamentalmente práctico. Al finalizarlo conocerás todos los componentes del ecosistema Hadoop que hoy se utilizan en proyectos Big Data (Hive, HDFS, Pig, etc.),

También serás capaz de utilizar Apache Spark para el análisis de datos a gran escala, tanto en modo offline como en tiempo real con Spark Streaming.

Objetivos del curso:

• Entenderás el conjunto de tecnologías que dan soporte a Big Data y el posicionamiento de cada una.
• Conocerás y practicarás con los componentes asociados al ecosistema Hadoop: Hive, HDFS, Pig,etc.
• Conocerás Apache Spark y serás capaz de desarrollar programas de análisis de datos con esta tecnología.
• En resumen, estarás preparado para participar en un proyecto Big Data real.

Requisitos mínimos:

Los alumnos deben tener conocimientos sobre programación (Java, C++, etc.) para realizar el curso satisfactoriamente.

Requisitos técnicos:

• VMWare Player.
• Un cliente SSH (Putty para PCs con Windows, no es necesario instalar ningún programa para PCs con Mac OSX o Linux).
• Navegador Firefox (última versión) o Internet Explorer 9 (o superior).

Para realizar el curso es necesario contar con un equipo Intel i3 64 bits con 4 GB de memoria mínimo, aunque se recomienda utilizar un equipo i5 o i7 con 8 GB de RAM y acceso a Internet.

Fechas y Horarios:

• Duración: 30 horas lectivas
• Fecha de inicio: Lunes 10 de octubre de 2016
• Horarios: Lunes, martes y jueves de 18:00 a 21:30
• Detalles de horario: El último jueves la sesión se realizará de 18:00 a 20:00
• Nº semanas: 3
• Fin de curso: Jueves 27 de octubre a las 20:00

Temario del Curso de Big Data con Apache Hadoop y Apache Spark

1.- INTRODUCCIÓN A TECNOLOGÍAS BIG DATA, APACHE HADOOP Y APACHE SPARK

– ¿Qué es Big Data y qué hay de nuevo?

– Principales tecnologías Big Data.

– Apache Hadoop: plataforma de almacenamiento y procesamiento de datos.

– Apache Spark: procesamiento de datos.

2.- APACHE HADOOP: CORE.

– Almacenamiento de datos en Hadoop: HDFS.

– Gestión de recursos y tareas: YARN.

– Instalación, administración y monitorización del cluster con Apache Ambari.

– Seguridad y gobierno de datos.

3.- INGESTA Y TRANSFORMACIÓN DE DATOS EN APACHE HADOOP.

– Apache Sqoop: intercambio de datos con bases de datos relacionales.

– Apache Flume y Apache Kafka: ingesta de datos.

– Apache Pig: transformación de datos en Hadoop.

– Herramientas ETL: Informatica PowerCenter, Pentaho Kettle.

4.- ACCESO Y EXPLOTACIÓN DE DATOS EN APACHE HADOOP.

– MapReduce: “antiguo” framework de procesamiento de datos.

– Apache HBase: NoSQL sobre Hadoop.

– Apache Hive: SQL sobre Hadoop.

– Otras tecnologías de SQL sobre Hadoop: Cloudera Impala, Apache Drill, Apache Phoenix.

– Procesamiento de eventos en tiempo real con Apache Storm.

5.- APACHE SPARK

– Introducción a Apache Spark. Spark vs MapReduce vs Tez – Introducción a Scala.

– Conceptos básicos, RDDs, transformaciones y acciones.

– Desarrollo de aplicaciones con Spark.

6.- SPARK STREAMING

– Introducción a Spark Streaming

– Casos de uso. Apache Storm vs Spark Streaming.

– Desarrollo de aplicaciones realtime con Spark Streaming.