Curso "Ingeniero de datos" - curso 95.000 rublos. del Taller Yandex, formación 6,5 meses, Fecha: 11 de diciembre de 2023.
Miscelánea / / November 30, 2023
Para desarrolladores practicantes
Aprenda a construir una infraestructura para trabajar con datos y sistematizar sus conocimientos para utilizarlos en su función actual o cambiar de dirección a ingeniero de datos.
Para aspirantes a ingenieros de datos
Estructurar conocimientos: además de una teoría clara, habrá mucha práctica. Obtendrá experiencia trabajando en proyectos; esto le ayudará a crear una cartera, destacarse de otros candidatos y no perderse en el trabajo real.
Especialistas y analistas en ciencia de datos
Domine habilidades que le ayudarán a afrontar las tareas de forma más eficaz: crear canales de datos, diseñar escaparates, crear ETL y recopilar datos sin procesar en grandes volúmenes.
Actualizando el modelo de datos
1 módulo 2 semanas
La empresa sigue sumergiéndote en sus procesos. Los datos con los que estaba trabajando se han actualizado, por lo que necesita cambiar el modelo de datos.
En este curso usted:
- comprender cómo la empresa construye una base de datos;
- actualizar la estructura de la base de datos actual de acuerdo con los nuevos requisitos comerciales;
- preparar nuevos showcases y métricas para analistas y managers.
Tecnologías y herramientas:
- PostgreSQL
+1 proyecto en cartera
Cree un data mart con carga incremental para análisis de audiencia de tiendas en línea.
DWH: revisión del modelo de datos
Módulo 2 3 semanas
La empresa crece y la arquitectura de datos se vuelve más compleja. Se le asigna una tarea: optimizar los procesos con datos.
En este curso usted:
- pensar en el proceso de transición del antiguo esquema de base de datos al nuevo minimizando al mismo tiempo las pérdidas comerciales (implementación sin tiempo de inactividad);
- preparar la migración de datos;
- tener en cuenta posibles problemas y diseñar una opción para revertir los cambios;
- implementar una nueva estructura de base de datos y adaptarla a los procesos existentes en torno a los datos.
Tecnologías y herramientas:
- PosgreSQL
- Pitón
+1 proyecto en cartera
Pondrás en orden el modelo de datos y migrarás los datos dentro del almacenamiento actual de la tienda online.
ETL: automatización de la preparación de datos
Módulo 3 3 semanas
Ahora ya sabe casi todo sobre el almacén de datos de la empresa. Es hora de repensar los procesos ETL.
En este curso usted:
- automatizar la canalización de datos;
- configurar la descarga automática de datos de fuentes;
- aprender a cargar datos de forma regular e incremental en la base de datos.
Tecnologías y herramientas:
- Pitón
- Flujo de aire
- PostgreSQL
+1 proyecto en cartera
Cree un canal para la recepción, el procesamiento y la carga automatizados de datos desde las fuentes hasta el escaparate de un proyecto de comercio electrónico.
control de calidad de datos
Módulo 4 1 semana
Quiere estar seguro de que sus primeras canalizaciones funcionan bien. Se debe comprobar la calidad de los datos y realizar un seguimiento oportuno de las averías.
En este curso usted:
- comprender cómo utilizar la metainformación y la documentación;
- evaluar la calidad de los datos.
DWH para múltiples fuentes
Módulo 5 2 semanas
Continúas investigando en DWH porque el desarrollo de la empresa y, por tanto, el aumento del volumen de datos no se puede detener.
En este curso usted:
- construir DWH desde cero en un DBMS relacional;
- familiarizarse con MongoDB como fuente de datos.
Tecnologías y herramientas:
- PostgreSQL
- MongoDB
+1 proyecto en cartera
Diseñarás e implementarás DWH para una startup interna.
Bases de datos analíticas
Módulo 6 2 semanas
Cada vez hay más datos no estructurados específicos que también deben almacenarse y procesarse. Por lo tanto, le presentaremos el concepto de bases de datos analíticas utilizando Vertica DBMS como ejemplo.
En este curso usted:
- estudio de organización del almacenamiento en Vertica;
- aprender a realizar operaciones básicas con datos en Vertica;
- construir un almacén de datos simple en Vertica.
Tecnologías y herramientas:
- vertical
- PostgreSQL
- Flujo de aire
- T3
+1 proyecto en cartera
Cree un DWH para un sistema de datos de mensajería de baja estructura y alta carga utilizando Vertica.
Organización del lago de datos
Módulo 7 4 semanas
Las soluciones clásicas no ayudan a hacer frente al volumen de datos. Para hacer frente a nuevos desafíos empresariales, creará y poblará un lago de datos.
En este curso usted:
- considere la arquitectura de Data Lake (trans. "lago de datos");
- aprender a procesar datos en el sistema MPP;
- llenar el lago de datos con datos de fuentes;
- Practicar el procesamiento de datos utilizando PySpark y Airflow.
Tecnologías y herramientas:
- Hadoop
- Mapa reducido
- HDFS
- Apache Spark (PySpark)
+1 proyecto en cartera
Construya un Data Lake y automatice la carga y procesamiento de datos en él.
Procesamiento de flujo
Módulo 8 3 semanas
Ha superado las dificultades con una gran cantidad de datos, pero ha aparecido una nueva tarea: necesita ayudar a la empresa a tomar decisiones más rápidamente. Aquí necesitará conocimientos sobre el procesamiento de datos de flujo. transmisión).
En este curso usted:
- considerar las características del procesamiento de datos continuos;
- construye tu propio sistema de transmisión;
- crear un escaparate utilizando datos en tiempo real.
Tecnologías y herramientas:
- kafka
- Transmisión de chispa
+1 proyecto en cartera
Desarrollarás un sistema de procesamiento de datos en tiempo real.
Tecnologías en la nube
Módulo 9 3 semanas
Ahora puede trabajar tanto con grandes volúmenes de datos como con flujos. Todo lo que queda es automatizar el escalado de sistemas utilizando servicios en la nube.
En este curso aprenderás a implementar soluciones ya estudiadas, pero en la nube (usando Yandex Cloud como ejemplo).
Tecnologías y herramientas:
- Yandex. Nube
- Kubernetes
- kubectl
- Redis
- PostgreSQL
+1 proyecto en cartera
Desarrollarás infraestructura para almacenar y procesar datos en la nube.
Proyecto de graduación
Módulo 10 3 semanas
Confirma que has aprendido nuevas habilidades.
Aquí deberá seleccionar e implementar de forma independiente soluciones a un problema empresarial. Esto te ayudará a reforzar una vez más el uso de las herramientas aprendidas, así como tu independencia.