/
[ATD-050] PySpark

[ATD-050] PySpark

Apr 23, 2025

Este curso ofrece una introducción práctica al uso de Spark con Python, desde la instalación y configuración hasta el manejo de Resilient Distributed Datasets (RDDs) y DataFrames. Incluye técnicas avanzadas para depuración, análisis de datos y exploración de estadísticas, como correlaciones e histogramas, además de SQL sobre tablas temporales.

Duración:                     25 horas

Perfil:                            Avanzado

Dirigido a

Esta acción formativa está destinada a profesionales de datos, programadores y analistas que buscan aprender a manejar grandes volúmenes de datos de manera eficiente usando Spark con Python.

Requisitos previos 

Conocimientos básicos de programación en Python, nociones de SQL y comprensión general del procesamiento de datos.

Objetivos

  • Comprender los fundamentos de Spark y su arquitectura.

  • Aprender a crear y manipular Resilient Distributed Datasets (RDDs) y DataFrames.

  • Realizar transformaciones y acciones avanzadas para análisis de datos.

  • Aplicar SQL en Spark y explorar datos mediante estadísticas y visualizaciones como correlaciones e histogramas.

 

 

Pedir más Información

Pedir más Información

Volver a Pronoide

Volver a Pronoide

Contenido

  1. Introducción a PySpark

    1. Fundamentos de Python aplicados a Spark

    2. Conceptos básicos y arquitectura de Apache Spark

  2. Instalación y Configuración de Spark

    1. Configuración del entorno local y en clústeres

    2. Instalación de Spark y herramientas necesarias

  3. Resilient Distributed Datasets (RDDs)

    1. Creación y estructura de RDDs

    2. Importación y lectura de datos desde archivos

    3. Transformaciones y acciones en RDDs

    4. Buenas prácticas y optimización de RDDs

  4. DataFrames en PySpark

    1. Creación de DataFrames y definición de esquemas

    2. Tablas temporales y operaciones SQL

    3. Transformaciones y acciones aplicadas a DataFrames

  5. Operaciones Avanzadas en PySpark

    1. Limpieza, transformación y preparación de datos

    2. Depuración de datos en el contexto de Big Data

  6. Análisis y Exploración de Datos

    1. Generación de estadísticas descriptivas

    2. Análisis de correlaciones y relaciones entre variables

    3. Creación de histogramas y otras visualizaciones para explorar patrones en los datos

 

 

Documentación Recomendada

PySpark Cookbook
BDenny Lee, Tomasz Drabas
June 2018 | 330 pages

https://www.packtpub.com/product/pyspark-cookbook/9781788835367