Ưu đãi trong tuần: Nhập mã UD50 giảm 50k cho đơn từ 300k!
Trang chủ
Đăng nhập
Xem tất cả kết quả
Menu
Đăng nhập Đăng ký miễn phí

Azure Data Factory +Synapse Analytics End to End ETL project

Dự án ETL End-to-End với Azure Data Factory + Synapse Analytics

Dự án ETL End-to-End với Azure Data Factory + Synapse Analytics

Dự án OTT platform hoàn chỉnh từ đầu đến cuối sử dụng Azure Data Factory và Azure Synapse Analytics kèm Lab thực hành

4.7
(309 đánh giá)
1,890 học viên
Giảng viên
Shanmukh Sattiraju
Phụ đề Việt chất lượng cao Phụ đề tiếng Anh Bán chạy Đánh giá cao
50.000đ 349.000đ -86%
✓ Xem giỏ hàng và thanh toán
Bao gồm phụ đề tiếng Việt, tiếng Anh
5.0 giờ video
88 bài giảng
Truy cập vĩnh viễn
Học trên mọi thiết bị
Cập nhật: 30/05/2026
#Azure #Cloud Computing #Data Engineering #Etl Pipeline

Bạn sẽ học được gì

XÂY DỰNG PIPELINE ETL AZURE END-TO-END – Thiết kế và triển khai giải pháp ETL hoàn chỉnh sử dụng Azure Data Factory và Azure Synapse Analytics.
AZURE DATA FACTORY TỪ CƠ BẢN – Tạo và cấu hình Azure Data Factory, linked services, datasets, pipelines và triggers.
MẪU THU NHẬN DỮ LIỆU TĂNG DẦN – Xây dựng pipelines tăng dần sử dụng ngày sửa đổi cuối, mẫu tên file và logic thu nhận file hàng ngày.
THU NHẬN DỮ LIỆU TỪ ON-PREMISE LÊN CLOUD – Thu nhận dữ liệu an toàn từ hệ thống on-premise lên Azure Data Lake sử dụng Self-Hosted Integration Runtime.
TRIỂN KHAI AZURE DATA LAKE – Tạo và cấu hình Azure Data Lake, thiết kế cấu trúc thư mục cho các dự án ETL thực tế.
QUẢN LÝ BÍ MẬT VỚI AZURE KEY VAULT – Sử dụng Azure Key Vault để quản lý thông tin nhạy cảm và tích hợp với các linked services trong ADF.
CÁC HOẠT ĐỘNG CONTROL FLOW TRONG ADF – Hiểu và triển khai GetMetadata, ForEach, If Condition cùng logic pipeline động.
PIPELINES TỰ ĐỘNG TRONG ADF – Xây dựng pipelines hoàn toàn tự động với triggers, xử lý lỗi và giám sát.
ĐIỀU PHỐI VỚI AZURE DATA FACTORY – Điều phối nhiều pipelines và các phụ thuộc theo cách sẵn sàng cho doanh nghiệp.
THIẾT LẬP AZURE SYNAPSE ANALYTICS – Tạo và cấu hình workspace Azure Synapse Analytics và Spark pools.
BIẾN ĐỔI DỮ LIỆU VỚI SYNAPSE – Biến đổi dữ liệu sử dụng PySpark trong Synapse notebooks với logic nghiệp vụ thực tế.
LOGIC BIẾN ĐỔI PYSPARK – Viết code PySpark để làm sạch, tổng hợp, lọc và biến đổi dữ liệu.
LOGIC BIẾN ĐỔI TĂNG DẦN – Chỉ biến đổi dữ liệu hôm nay hoặc dữ liệu thay đổi một cách hiệu quả trong Synapse.
GỌI SYNAPSE NOTEBOOKS TỪ ADF – Kích hoạt và điều khiển Synapse notebooks trực tiếp từ các pipelines trong Azure Data Factory.
TẢI DỮ LIỆU VÀO AZURE SQL DATABASE – Tải dữ liệu đã được xử lý vào Azure SQL Database như một phần của quy trình ETL.
BÁO CÁO VỚI POWER BI – Xây dựng báo cáo Power BI trên nền dữ liệu đã biến đổi và tải.
XỬ LÝ LỖI & CẢNH BÁO – Gửi email cảnh báo tự động khi pipelines thất bại và xử lý các tình huống lỗi.
CI/CD CHO ADF TỪ ĐẦU – Cấu hình Continuous Integration và Continuous Deployment cho Azure Data Factory.
HỌC TẬP ĐỊNH HƯỚNG DỰ ÁN – Làm việc trên một dự án ETL thực hành, hoàn chỉnh sử dụng các dịch vụ Azure Data Engineering.

Yêu cầu

Kiến thức cơ bản về Azure Data Factory
Cần có tài khoản Azure với Subscription để thực hiện Labs
Không cần kinh nghiệm về Synapse Analytics, bạn sẽ học mọi thứ cần thiết.

Đối tượng phù hợp

Dành cho Azure Data Engineers muốn thực hành Labs thực tế
Data Engineers muốn có kinh nghiệm dự án thời gian thực sử dụng Azure Data Engineering Services
Sinh viên mong muốn học dự án thời gian thực về Azure Data Engineering
Người đang chuẩn bị cho chứng chỉ DP-203 để có hiểu biết thực tế

Nội dung khóa học

10 phần • 88 bài giảng
1 Chào mừng đến với khóa học
2 Trọng tâm chính và Điều kiện tiên quyết
3 Các dịch vụ được sử dụng trong dự án này
4 Tổng quan Dự án
5 Kiến trúc Dự án
6 Phần bổ sung về thiết lập CICD cho Azure Data Factory
7 Cấu trúc Khóa học
8 Tìm hiểu bộ dữ liệu OTT
9 Tài nguyên
10 Mã PySpark được sử dụng trong notebook
1 Giới thiệu về thiết lập môi trường
2 Tạo ngân sách cho Dự án của chúng ta
3 Tạo một resource group
4 Tạo một Azure Data Factory
5 Tạo một Azure Datalake Storage Gen2
6 Tạo một Azure Synapse Analytics Workspace
7 Gợi ý tiết kiệm chi phí cho Azure SQL Database
8 Tạo một Azure SQL Database
9 Cài đặt Power BI Desktop
1 Giới thiệu về Thu nhận Dữ liệu
2 Thu nhận Dữ liệu - Integration Runtimes
3 Thu nhận Dữ liệu - Self Hosted Integration Runtime là gì
4 Tổng quan về nguồn dữ liệu On-premise và Datalake
5 Tải xuống và cài đặt Self Hosted IR trong Môi trường On-premise
6 CẬP NHẬT - Vấn đề truy cập file Self Hosted IR
7 Tạo và thêm Secrets vào Azure Key vault
8 Tạo Linked Service cho Azure Key vault - Demo
9 Tạo Linked Service và Dataset cho On-premise File Storage
10 CẬP NHẬT - Khắc phục lỗi truy cập - Hướng dẫn tạo Azure VM và cài đặt Self Hosted IR
11 ĐÃ CẬP NHẬT - Sửa lỗi 'host' is not allowed
12 Tạo Linked Service và Dataset cho Azure Datalake
13 Tạo Copy Activity để sao chép tất cả file từ On-premise lên Azure Datalake
14 Tải dữ liệu tăng dần sử dụng Last Modified Date của File
15 Tải tăng dần dựa trên Tên File - Demo
16 Tải dữ liệu tăng dần dựa trên Tên File - Thực hành
1 Giới thiệu về Biến đổi
2 Azure Synapse Analytics - Giới thiệu
3 Gán Role cho Synapse trong Azure Datalake - Demo
4 Gán role và tạo linked service trong Azure Synapse Analytics - Thực hành
5 Tạo một spark pool trong Azure synapse analytics
6 Đọc file CSV từ ADLS từ Synapse Notebook - Thực hành
7 Dừng spark session thủ công để tiết kiệm chi phí
8 Xác định và xóa các dòng trùng lặp - Demo
9 Xác định và xóa các dòng trùng lặp - Thực hành
10 Xác định và Xóa hoặc Thay thế giá trị NULL - Demo
11 Xác định và Xóa hoặc Thay thế giá trị NULL - Thực hành
12 Cột mới dựa trên IMDB Rating - Demo
13 Cột mới dựa trên IMDB Rating - Thực hành
14 Cột mới dựa trên Runtime tính bằng Giờ - Demo
15 Cột mới dựa trên Runtime tính bằng Giờ - Thực hành
16 Bài tập thực hành tạo cột mới
17 Mã PySpark giải bài tập thực hành
18 Thay đổi kiểu dữ liệu từ String sang Date - Demo
19 Thay đổi String sang Kiểu dữ liệu Date - Thực hành
20 Ghi dữ liệu đã biến đổi lên ADLS - Demo
21 Ghi dữ liệu đã biến đổi lên Datalake - Thực hành
22 Kết thúc phần viết mã Biến đổi
23 Gọi Synapse Notebook Activity từ Azure Data Factory - Demo
24 Gọi Synapse notebook từ Azure Data Factory - Thực hành
25 Kết luận phần Biến đổi
1 Giới thiệu phần Tải Dữ liệu
2 Cài đặt và Truy cập Azure SQL Database từ SSMS
3 Tải Dữ liệu vào SQL Database - Demo
4 Sao chép dữ liệu vào SQL Database - Thực hành
5 Sửa lỗi trong Linked service khi tạo cho SQL Database
6 Kết luận
1 Giới thiệu phần Nâng cao
2 Nâng cao cho Copy data từ On-premise lên ADLS - Demo
3 Nâng cao cho Copy data từ On-premise - Thực hành
4 Nâng cao cho synapse notebook - Demo
5 Nâng cao cho synapse notebook để chỉ biến đổi file của ngày hôm nay
1 Giới thiệu phần Điều phối
2 Điều phối các pipelines - Demo
3 Điều phối tất cả các pipelines và biến nó thành pipeline tự động - Thực hành
4 Gửi email cảnh báo tự động khi pipeline thất bại trong ADF - Demo
5 Gửi email cảnh báo khi pipeline thất bại - Thực hành
6 Thực thi tất cả pipelines để tải dữ liệu vào SQL
1 Giới thiệu phần Báo cáo
2 Báo cáo Dữ liệu trong Power BI - Thực hành
1 CICD - Giới thiệu
2 Continuous Integration là gì
3 Continuous Deployement là gì
4 CICD - Phần 1
5 CICD - Phần 2
6 CICD - Phần 3
7 CICD - Phần 4
1 Kết luận cho khóa học
2 Bài học thưởng: Món quà cho việc mua khóa học này

Giới thiệu khóa học

Let me introduce you to Azure Data Factory + Synapse Analytics – End-to-End ETL Project

This course is designed to help you build a complete, real-world ETL solution using Azure Data Factory and Azure Synapse Analytics, exactly the way it is done in enterprise data engineering projects.

This is not a theory-only course.

You will design, build, automate, secure, and deploy a production-style ETL pipeline, starting from data ingestion all the way to reporting in Power BI.


Inside this end-to-end Azure ETL program, you will learn:

1. AZURE DATA FACTORY FOUNDATIONS

Understand ADF architecture and create pipelines, linked services, datasets, triggers, and control flows.

2. SECURE DATA INGESTION FROM ON-PREMISE & CLOUD

Use Self-Hosted Integration Runtime to ingest data from on-premise sources into Azure Data Lake.

3. INCREMENTAL INGESTION STRATEGIES

Implement real-world incremental load patterns using file names, last modified dates, and daily ingestion logic.

4. DATA TRANSFORMATION USING AZURE SYNAPSE

Transform raw data using PySpark notebooks in Azure Synapse Analytics.

5. ORCHESTRATION BETWEEN ADF & SYNAPSE

Trigger Synapse notebooks from ADF and orchestrate end-to-end workflows seamlessly.

6. DATA LOADING & SERVING LAYER

Load transformed data into Azure SQL Database and prepare it for analytics consumption.

7. REPORTING WITH POWER BI

Create Power BI reports on top of the transformed and loaded datasets.

8. ERROR HANDLING & MONITORING

Implement alerts, failure handling, and monitoring for enterprise-grade pipelines.

9. CI/CD FOR AZURE DATA FACTORY

Set up CI/CD pipelines from scratch to deploy ADF solutions across environments.

10. COMPLETE HANDS-ON PROJECT

Apply everything you learn in a single end-to-end Azure Data Engineering project.

Khóa học liên quan

Khám phá thêm các khoá học cùng chủ đề

Hiển thị tất cả khoá học Azure
Hiển thị tất cả khoá học Cloud Computing
Hiển thị tất cả khoá học Data Engineering
Zalo
Tôi có thể tư vấn khoá học cho bạn 😊