Ưu đãi trong tuần: Nhập mã UD50 giảm 50k cho đơn từ 300k!
Trang chủ
Menu

Data Engineering Bootcamp: SQL, ETL, PySpark & AWS(Hands-on)

Bootcamp Kỹ thuật Dữ liệu: SQL, ETL, PySpark & AWS (Thực hành)

Bootcamp Kỹ thuật Dữ liệu: SQL, ETL, PySpark & AWS (Thực hành)

Xây dựng pipeline ETL với các dự án thực tế, từng bước một

4.6
(17 đánh giá)
1,102 học viên
Giảng viên
Andalib Ansari
Phụ đề Việt chất lượng cao Phụ đề tiếng Anh Bán chạy Đánh giá cao
50.000đ 399.000đ -87%
✓ Xem giỏ hàng và thanh toán
Bao gồm phụ đề tiếng Việt, tiếng Anh
10.0 giờ video
57 bài giảng
Truy cập vĩnh viễn
Học trên mọi thiết bị
Cập nhật: 31/05/2026

Bạn sẽ học được gì

Hiểu các nguyên tắc nền tảng của Kỹ thuật Dữ liệu Hiện đại
Xây dựng và quản lý Data Lake có khả năng mở rộng trên AWS S3
Thiết kế mô hình dữ liệu Star Schema với các bảng Fact & Dimension
Triển khai Slowly Changing Dimensions (SCD1 & SCD2)
Phát triển pipeline ETL sử dụng PySpark kèm kiểm tra chất lượng dữ liệu
Truy vấn và khám phá Data Lake với AWS Athena và Glue Catalog
Tự động hóa quy trình làm việc và pipeline bằng Apache Airflow
Tạo plugin Airflow tùy chỉnh để quản lý các job EMR Spark
Áp dụng mô hình WAP (Write-Audit-Publish) cho pipeline production
Triển khai khung chất lượng dữ liệu và Data Contracts
Triển khai và giám sát data pipeline trên AWS EMR
Tối ưu hóa quy trình dữ liệu về chi phí, hiệu suất và độ tin cậy
Có được kinh nghiệm thực hành với các trường hợp sử dụng thực tế
Chuẩn bị tự tin cho các buổi phỏng vấn Kỹ thuật Dữ liệu

Yêu cầu

Kiến thức cơ bản về SQL và Python
Quen thuộc với Docker và Bash scripting là một lợi thế

Đối tượng phù hợp

Các kỹ sư dữ liệu đầy tham vọng muốn gia nhập ngành
Kỹ sư phần mềm hoặc nhà phân tích đang chuyển đổi sang vai trò dữ liệu
Các chuyên gia đang tìm kiếm trải nghiệm kỹ thuật dữ liệu thực hành, thực tế
Bất kỳ ai muốn làm chủ stack kỹ thuật dữ liệu hiện đại

Nội dung khóa học

7 phần • 57 bài giảng
1 Hướng dẫn đăng ký học viên
2 Hiểu về nguồn dữ liệu
3 Kiến trúc Modern Data Stack
4 Cài đặt & Thiết lập
1 Kiến trúc S3
2 Lab 1 - Buckets và Prefixes
3 Các tầng trong Data Lake
4 Phân vùng dữ liệu trong Data Lake
5 Lab 2 - Phân vùng dữ liệu
6 Định dạng tệp
7 Schema Evolution
8 Metastore
9 Lab 3 - Phiên bản và Rollback
10 Các lớp lưu trữ S3
11 Sự kiện S3
12 Lab 4 - Thông báo sự kiện
13 Bảo mật dữ liệu
14 S3 IAM và ACLs
15 Quản lý vòng đời dữ liệu
16 Lab 5 - Vòng đời dữ liệu
17 Sao lưu và Khắc phục thảm họa
18 Siêu dữ liệu S3
19 S3 Storage Lens
20 Lab 6 - Storage Lens
21 Lab 7 - API Boto3 S3
1 Giới thiệu về Mô hình hóa Dữ liệu
2 Các loại mô hình dữ liệu
3 Mô hình hóa Dimension - SCD1, SCD2
4 Mô hình hóa Fact
5 Datamarts
6 Lab 1 - SCD Type 1
7 Lab 2 - SCD Type 2
8 Lab 3 - Mô hình hóa Fact
1 Giới thiệu về Chất lượng Dữ liệu
2 Các loại Chất lượng Dữ liệu
3 Công cụ DQC
4 Data Contracts
5 Lab 1 - DQC
1 PrestoDB vs Trino vs Athena
2 Lab 1 - DDL & Glue Catalog
3 Lab 2 - Truy vấn Athena & Workgroups
4 Lab 3 - API Boto3 Athena
5 Các phương pháp hay nhất với Athena
1 Kiến trúc Spark
2 API PySpark
3 Lab 1 - API PySpark
4 Lab 2 - UDF trong PySpark
5 Lab 3 - Yêu cầu về Data Pipeline
6 Lab 4 - Triển khai Data Pipeline
7 Lab 5 - Chạy Data Pipeline bằng EMR
8 Các phương pháp hay nhất
1 Kiến trúc Airflow
2 Lab 1 - Thiết lập Airflow
3 Lab 2 - Pipeline Tiếp nhận Dữ liệu Phần 1
4 Lab 3 - Pipeline Tiếp nhận Dữ liệu Phần 2
5 Lab 4 - Triển khai Plugin
6 Lab 5 - Pipeline Biến đổi Dữ liệu

Giới thiệu khóa học

Master the Core of Modern Data Engineering – Build Real-World Pipelines with Airflow, AWS, Spark, and Python.

Take your first step into data engineering and future-proof your career with this hands-on, project-based bootcamp built on the modern data stack.

Taught by a senior data architect with 12+ years of real-world experience, this course blends theory and practice to help you design, build, and orchestrate scalable data systems like those used at top tech companies.

Whether you’re an aspiring data engineer, software developer, or analyst, this course will guide you through building enterprise-grade data pipelines from scratch, all through a real-life ride-hailing app project that simulates real-world data challenges.

What You’ll Learn

You’ll gain hands-on expertise in the most essential components of data engineering:

Section 1: Context Setup

  • Understand the Modern Data Stack and real-world data architectures

  • Learn how data flows across systems in data-driven companies

  • Set up your foundation using a ride-hailing app scenario

Section 2: Data Lake Essentials

  • Build scalable data lakes on AWS S3 with best practices

  • Master S3 architecture, partitioning, and schema evolution

  • Implement IAM, encryption, and lifecycle management

  • Get hands-on with Boto3 S3 APIs for automation

Section 3: Data Modeling

  • Design dimensional models (Star Schema) for analytics

  • Implement Slowly Changing Dimensions (SCD Type 1 & 2)

  • Build ETL pipelines and data marts end-to-end

Section 4: Data Quality Frameworks

  • Learn how to ensure data accuracy, completeness, and consistency

  • Implement data validation and data contracts

  • Use industry best practices to maintain trust in data

Section 5: AWS Athena

  • Query massive datasets using AWS Athena (serverless SQL engine)

  • Learn DDL, Glue Catalog, workgroups, and automation via Boto3

  • Compare Athena, Presto, and Trino

  • Apply optimization strategies for performance

Section 6: Apache Spark on AWS EMR

  • Build scalable PySpark pipelines with the Write-Audit-Publish (WAP) pattern

  • Understand Spark architecture and APIs

  • Run production-grade Spark jobs on AWS EMR

  • Apply UDFs and data quality checks in transformations

Section 7: Apache Airflow Orchestration

  • Master workflow orchestration using Apache Airflow

  • Design DAGs, manage dependencies, and schedule jobs

  • Automate Spark jobs using a custom AWS EMR plugin

  • Build reusable, reliable orchestration solutions

What You’ll Build

By the end of the course, you’ll have built your own production-style data platform for a ride-hailing company, including:

  • A Data Lake on AWS S3

  • Dimensional Data Model with SCD logic

  • PySpark-based ETL pipelines

  • Automated orchestration with Airflow

  • Query layer powered by Athena

  • Data quality framework for validation and monitoring

Who This Course Is For

  • Aspiring Data Engineers and ETL Developers

  • Analysts or Software Engineers moving into data roles

  • Anyone passionate about building scalable data systems on the cloud

Why Learn from Me

I am Andalib Ansari, a Data Architect with 12+ years of experience designing and implementing data platforms and analytics solutions across industries. My goal is to make you confident in real-world data engineering skills, not just theory.

Enroll Now

Use coupon DEBS12025 for special pricing. Take the first step in your data engineering journey and start building your own real-world data pipelines today!

Khóa học liên quan

Khám phá thêm các khoá học cùng chủ đề

Hiển thị tất cả khoá học Apache Spark
Hiển thị tất cả khoá học Big Data
Hiển thị tất cả khoá học Data Engineering
Hiển thị tất cả khoá học Sql
Zalo
Tôi có thể tư vấn khoá học cho bạn 😊