Ưu đãi trong tuần: Nhập mã UD50 giảm 50k cho đơn từ 300k!
Trang chủ
Đăng nhập
Xem tất cả kết quả
Menu
Đăng nhập Đăng ký miễn phí

Master Data Engineering: Concepts to Production

Làm chủ Kỹ thuật Dữ liệu: Từ Lý thuyết đến Vận hành

Làm chủ Kỹ thuật Dữ liệu: Từ Lý thuyết đến Vận hành

Kỹ thuật Dữ liệu: SQL, Python, Unix, Spark, Đám mây, AWS, ETL, Chất lượng dữ liệu, Quản trị dữ liệu và Kiến trúc dữ liệu

4.4
(101 đánh giá)
1,585 học viên
Giảng viên
Parijat Bose
Phụ đề Việt chất lượng cao Phụ đề tiếng Anh Bán chạy Đánh giá cao
50.000đ 399.000đ -87%
✓ Xem giỏ hàng và thanh toán
Bao gồm phụ đề tiếng Việt, tiếng Anh
10.5 giờ video
235 bài giảng
Truy cập vĩnh viễn
Học trên mọi thiết bị
Cập nhật: 31/05/2026
#Big Data #Data Engineering #Python #Spark

Bạn sẽ học được gì

Thực hành với Python, SQL, Unix, Hadoop, Spark, CICD, ETL trên IDE để mô phỏng quy trình làm việc kỹ thuật dữ liệu thực tế
Thiết kế, xây dựng và quản lý các đường ống dữ liệu có khả năng mở rộng bằng các công cụ như Spark và framework điều phối tác vụ, đảm bảo luồng dữ liệu hiệu quả từ thu thập đến xử lý
Mô hình hóa kho dữ liệu/hồ dữ liệu bằng lược đồ hình sao/hình bông tuyết và tối ưu hóa lưu trữ cho phân tích
Áp dụng quản trị dữ liệu với kiểm tra chất lượng, quản lý siêu dữ liệu và khung tuân thủ
Nắm vững SQL nâng cao cho các truy vấn phức tạp, biến đổi dữ liệu ETL và tối ưu cơ sở dữ liệu
Xử lý sự cố đường ống dữ liệu bằng công cụ ghi log, giám sát và chiến lược xử lý lỗi
Tận dụng các công cụ đám mây (AWS EC2, S3, Lambda) để xây dựng quy trình dữ liệu tiết kiệm chi phí và tự động mở rộng
Xác định bài toán thực tế, thiết kế và triển khai đường ống dữ liệu

Yêu cầu

Kiến thức lập trình cơ bản
Không yêu cầu kinh nghiệm Kỹ thuật Dữ liệu trước đó
Có máy tính và kết nối Internet
Tò mò về quy trình dữ liệu, cơ sở dữ liệu hoặc công cụ đám mây

Đối tượng phù hợp

Người mới bắt đầu có kỹ năng lập trình cơ bản muốn gia nhập lĩnh vực này
Chuyên gia muốn chuyển đổi sang vai trò kỹ thuật (ETL, đường ống dữ liệu, tự động hóa)
Lập trình viên hoặc quản trị viên hệ thống muốn chuyên sâu vào hệ thống dữ liệu mở rộng, đám mây (AWS) và công cụ dữ liệu lớn
Cá nhân có nền tảng lập trình chuyển hướng sang kỹ thuật dữ liệu
Nhóm cần kỹ năng dữ liệu hiện đại (Spark, Hadoop, CI/CD, quản trị) cho các dự án doanh nghiệp

Nội dung khóa học

10 phần • 235 bài giảng
1 Giới thiệu về khóa học và giảng viên
2 Kỹ sư Dữ liệu là ai?
3 Câu chuyện về Đầu bếp Anna!
4 Kỹ sư Dữ liệu là một Đầu bếp bậc thầy
5 Đây là lý do bạn nên học khóa học này!
6 Tổng quan khóa học
7 Các thành phần chính của Kỹ thuật Dữ liệu
8 Vai trò của Kỹ sư Dữ liệu
9 Các loại dữ liệu
10 Kỹ thuật Dữ liệu là tương lai
1 Giới thiệu về SQL
2 Thiết lập môi trường phát triển MySQL
3 Tạo bảng
4 Chèn dữ liệu
5 Select và Where
6 Group By
7 Order By
8 Having
9 Inner Join
10 Left và Right Join
11 Union và Union All
12 Common Table Expression
13 Truy vấn con
14 Thao tác DDL
15 Hàm ngày tháng và chuỗi
16 Hàm Window Phần 1
17 Hàm Window Phần 2
18 Hàm Window Phần 3
19 Thiết kế cơ sở dữ liệu và Chuẩn hóa
20 Dạng chuẩn thứ nhất
21 Dạng chuẩn thứ hai
22 Dạng chuẩn thứ ba
23 Phi chuẩn hóa
24 Thiết kế lược đồ hiệu quả
25 Thuộc tính ACID
26 Tinh chỉnh hiệu suất
27 Kiểm soát giao dịch
28 Trích xuất, Biến đổi và Tải dữ liệu (ETL)
29 Đường ống dữ liệu
30 Làm sạch dữ liệu
31 Kho dữ liệu
32 Bảng dữ kiện và bảng chiều
33 Lược đồ hình sao và hình bông tuyết
34 Bảng chiều biến đổi chậm (SCD)
35 Thiết kế kho dữ liệu
36 Dự án tổng kết
1 Giới thiệu về UNIX
2 Hệ điều hành là gì?
3 UNIX là gì?
4 Lịch sử của UNIX
5 Unix so với Linux
6 Tầm quan trọng của UNIX trong Kỹ thuật Dữ liệu
7 Kiến trúc UNIX
8 Lệnh Unix cơ bản - Quản lý tệp và thư mục Phần 1
9 Lệnh Unix cơ bản - Quản lý tệp và thư mục Phần 2
10 Lệnh Unix cơ bản - Quản lý tệp và thư mục Phần 3
11 Lệnh Unix cơ bản - Quản lý tệp và thư mục Phần 4
12 Quyền truy cập tệp - Phần 1
13 Quyền truy cập tệp - Phần 2
14 Quyền truy cập tệp - Phần 3
15 Quyền truy cập tệp - Phần 4
16 Công cụ xử lý văn bản - Phần 1
17 Công cụ xử lý văn bản - Phần 2
18 Công cụ xử lý văn bản - Phần 3
19 Quản lý tiến trình - Phần 1
20 Quản lý tiến trình - Phần 2
21 Nén và lưu trữ dữ liệu
22 Truyền tệp và mạng
23 Biểu thức chính quy
24 Giới thiệu về lập trình Shell
25 Shell Script
26 Cấu trúc điều khiển
27 Hàm và lập trình mô-đun
28 Chuyển hướng đầu ra và lỗi
29 Làm việc với tệp
30 Xử lý lỗi
31 Ứng dụng thực tế và Tối ưu hóa
32 Lập lịch tác vụ
33 Mẹo và phương pháp hay nhất
1 Giới thiệu về Python
2 Các tính năng chính
3 Kiến trúc
4 Tầm quan trọng của Python đối với Kỹ sư Dữ liệu
5 Tải xuống và cài đặt
6 Thiết lập IDE
7 Hiểu về main
8 Thiết lập cấu trúc dự án
9 Giới thiệu về các thao tác cơ bản
10 Biến
11 Phương thức
12 Đọc tệp
13 Giới thiệu về luồng điều khiển
14 List
15 Cắt List
16 Vòng lặp For
17 Điều kiện If Elif
18 Tổ chức mã
19 Vòng lặp While
20 Tuple
21 Set
22 Dictionary
23 Giới thiệu về các tính năng nâng cao
24 Ghi tệp
25 DocString
26 Ngoại lệ
27 Lambda
28 Dự án tổng kết
1 Giới thiệu về Dữ liệu lớn, Hadoop và Spark
2 Dữ liệu lớn là gì
3 Hiểu về tình huống sử dụng
4 Thách thức
5 Giới thiệu về Công nghệ Dữ liệu lớn
6 Hệ sinh thái Dữ liệu lớn
7 Làm việc với HDFS
8 Xử lý dữ liệu truyền thống so với Dữ liệu lớn
9 Thao tác tệp HDFS
10 Checksum HDFS
11 Giới thiệu về Hadoop
12 Apache Hadoop
13 Các thành phần của Hadoop
14 Kiến trúc HDFS
15 MapReduce
16 YARN
17 Các loại thiết lập
18 Cài đặt Java
19 Cài đặt Hadoop
20 Giới thiệu về Hive
21 Hive so với DBMS
22 Các trường hợp sử dụng Hive
23 Kiến trúc Hive
24 HQL
25 Cài đặt Hive
26 Bảng Hive
27 Tạo bảng, phân vùng, bucket
28 Các định dạng tệp Hive hỗ trợ
29 Tạo bảng
30 Tải dữ liệu
31 Lọc, Sắp xếp, Nhóm, Kết nối
32 Hive UDF
33 Giới thiệu về Spark
34 Spark là gì
35 Hệ sinh thái Spark
36 Kiến trúc Spark
37 Hadoop so với Spark
38 Cài đặt Spark
39 Hiểu về một công việc Spark
40 SparkSession
41 Dataframe, Dataset và RDD
42 Spark UI
43 Spark Scala
44 PySpark
45 Spark IDE
1 Giới thiệu
2 Lợi ích của đường ống CI/CD
3 Các giai đoạn của CI/CD
4 Giới thiệu về Git
5 Tạo kho Git
6 Git Clone
7 Git Push, Pull và Merge
8 Ví dụ
9 Lợi ích so với Thách thức
1 Chất lượng dữ liệu là gì
2 Các khía cạnh chính của Chất lượng dữ liệu
3 Chỉ số Chất lượng dữ liệu
4 Hồ sơ dữ liệu
5 Làm sạch dữ liệu
6 Công cụ làm sạch dữ liệu
7 Quản trị dữ liệu là gì
8 Nguyên tắc quản trị dữ liệu
9 Mô hình quản trị dữ liệu
10 Quản lý dữ liệu
11 Quản lý siêu dữ liệu
12 Dòng dữ liệu
13 Tuân thủ
14 Vai trò của Kỹ sư Dữ liệu
1 Giới thiệu về Điện toán đám mây
2 Đám mây là gì?
3 Các nền tảng đám mây
4 Dịch vụ đám mây
5 Giới thiệu về AWS
6 Giao diện AWS và tính năng thanh toán
7 EC2 và Lambda
8 Thực hành EC2
9 Thực hành Lambda
10 AWS S3 và EBS
11 Thực hành AWS S3
12 Thực hành EBS
13 RDS và DynamoDB
14 Thực hành RDS
15 VPC và Route53
16 IAM và Secrets Manager
17 Thực hành IAM
18 Thực hành Secrets Manager
19 Cloud Formation
1 Giới thiệu về Mô hình hóa và Kiến trúc Dữ liệu
2 Mô hình hóa Dữ liệu và các loại
3 Phương pháp luận Mô hình hóa Dữ liệu
4 Giới thiệu về Kiến trúc Dữ liệu
5 Các thành phần chính của Kiến trúc Dữ liệu
6 Sơ đồ Quan hệ Thực thể
7 Chuẩn hóa và Phi chuẩn hóa
8 Dạng chuẩn thứ nhất
9 Dạng chuẩn thứ hai
10 Dạng chuẩn thứ ba
11 Dạng chuẩn Boyce Codd
12 Phi chuẩn hóa
13 Mô hình hóa Đa chiều
14 DataMart
15 Phân vùng, Đánh chỉ mục và Phân mảnh
16 Kiến trúc Hệ thống Hadoop
17 Kiến trúc Nền tảng Đám mây
1 Phát biểu Bài toán và OKR
2 Vòng đời Thẻ Tín dụng
3 Thiết kế Kiến trúc
4 Thiết lập Môi trường
5 Thiết kế đường dẫn S3 và hiểu dữ liệu JSON RAW đầu vào
6 Thiết lập AWS S3
7 Tải dữ liệu thô lên AWS EC2 và S3
8 Thiết lập Git và IDE
9 Thiết lập PySpark
10 Thiết lập Dự án
11 Thực thi Pipeline và lệnh CLI
12 Lớp Main
13 Tạo Spark Session (Mẫu Singleton)
14 Thiết lập File Cấu hình và Thông tin xác thực
15 Data Reader
16 1.15 Làm sạch và Chất lượng Dữ liệu - Phần 1
17 1.15 Làm sạch và Chất lượng Dữ liệu - Phần 2
18 Xử lý Dữ liệu Nhạy cảm
19 Hồ sơ Dữ liệu
20 Tải Dữ liệu
21 Đường ống Dữ liệu
22 Trước Khi Bắt Đầu
23 Thực thi Đường ống Dữ liệu
24 Xác minh Đầu ra

Giới thiệu khóa học

Master Data Engineering: Concepts to Production is a comprehensive course designed to transform beginners into proficient data engineers. Starting with foundational concepts (data lifecycle, roles, and tools), the course progresses to hands on skills in SQL, ETL processes, UNIX scripting, and Python programming for automation and data manipulation. Dive into big data ecosystems with Hadoop and Spark, learning distributed processing and real-time analytics. Master data modeling (star and snowflake schemas) and architecture design for scalable systems.

Explore cloud technologies (AWS) to deploy storage, compute, and server less solutions. Build robust data pipelines  and orchestrate workflows, while integrating CI CD practices for automated testing and deployment. Tackle data quality methods (validation, cleansing) and data governance principles (compliance, metadata management) to ensure reliability.

Each chapter combines theory with real world projects: designing ETL workflows, optimizing Spark jobs, and deploying cloud-based pipelines. By the end, you’ll confidently handle end to end data solutions, from raw data ingestion to production ready systems. Ideal for aspiring data engineers, analysts, or IT professionals seeking to up skill.

Prerequisites: Basic programming knowledge.

Tools covered: Spark, Hadoop, AWS, SQL, Python, UNIX, Git, IntelliJ IDE.

Outcome: Build a portfolio of projects showcasing your ability to solve complex data challenges.

Khóa học liên quan

Khám phá thêm các khoá học cùng chủ đề

Hiển thị tất cả khoá học Big Data
Hiển thị tất cả khoá học Data Engineering
Hiển thị tất cả khoá học Python
Hiển thị tất cả khoá học Spark
Zalo
Tôi có thể tư vấn khoá học cho bạn 😊