Apache Beam | A Hands-On course to build Big data Pipelines

Apache Beam | Khóa học thực hành xây dựng Pipeline xử lý Dữ liệu lớn

Xây dựng pipeline dữ liệu lớn với Apache Beam bằng bất kỳ ngôn ngữ nào và chạy qua Spark, Flink, GCP (Google Cloud Dataflow).

4.6

(2,066 đánh giá)

13,092 học viên

Giảng viên

J Garg - Real Time Learning

Phụ đề Việt chất lượng cao Phụ đề tiếng Anh Bán chạy Đánh giá cao

50.000đ 609.000đ -92%

✓ Xem giỏ hàng và thanh toán

Bao gồm phụ đề tiếng Việt, tiếng Anh

5.5 giờ video

62 bài giảng

3 bài quiz

Truy cập vĩnh viễn

Học trên mọi thiết bị

Cập nhật: 30/05/2026

#Apache Beam #Big Data #Data Engineering #Google Cloud Dataflow

Bạn sẽ học được gì

Học Apache Beam - Mô hình lập trình di động, cho phép triển khai pipeline trên Spark, Flink, GCP (Google Cloud Dataflow), v.v.

Hiểu rõ cách hoạt động của từng thành phần trong Apache Beam thông qua các ví dụ THỰC HÀNH.

Nắm vững kiến thức cơ bản về Apache Beam: Kiến trúc, Mô hình lập trình, PCollection, Pipeline, v.v.

Sử dụng nhiều PTransform khác nhau để Đọc, Biến đổi và Ghi dữ liệu đã xử lý.

Các khái niệm nâng cao: Windowing, Triggers, Watermarks, Late elements, Type Hints và nhiều hơn nữa.

Tải dữ liệu vào Google BigQuery Tables từ pipeline Apache Beam.

Xây dựng pipeline xử lý dữ liệu lớn thời gian thực cho doanh nghiệp bằng Apache Beam.

Bộ dữ liệu và mã Beam sử dụng trong bài giảng có sẵn trong tab tài nguyên.

Yêu cầu

Kiến thức cơ bản về kiến trúc xử lý dữ liệu phân tán.

Kiến thức cơ bản về Python.

Đối tượng phù hợp

Dành cho học viên muốn học Apache Beam từ cơ bản đến triển khai Dự án Thực tế.

Dành cho kỹ sư dữ liệu muốn xây dựng pipeline xử lý dữ liệu lớn Thống nhất & Di động.

Dành cho lập trình viên muốn học một mô hình lập trình tiên tiến cho xử lý dữ liệu lớn.

Nội dung khóa học

15 phần • 62 bài giảng

1 Giới thiệu về Apache Beam

2 Sự phát triển của các Framework xử lý Dữ liệu lớn

3 Kiến trúc của Apache Beam

4 Luồng hoạt động của Mô hình Lập trình Beam

5 Các thuật ngữ cơ bản trong Beam

6 Cài đặt

1 Cấu trúc của một Pipeline trong Beam

2 Các phép biến đổi Đọc (Read Transforms) khác nhau trong Beam

3 Phép biến đổi Create

4 Các phép biến đổi Ghi (Write Transforms) khác nhau trong Beam

5 Map, FlatMap & Filter - Phần 1

6 Map, FlatMap & Filter - Phần 2

7 Pipeline phân nhánh (Branching Pipelines)

8 Phép biến đổi ParDo

9 Bộ kết hợp (Combiner) nâng cao trong Beam

10 Tạo các phép biến đổi tổng hợp (Composite Transforms)

11 CoGroupBy để thực hiện Joins

12 Cách truy cập file từ Google Drive

1 Đầu vào phụ (Side Inputs)

2 Đầu ra bổ sung trong Pipeline

1 Giới thiệu Case Study

2 Yêu cầu và Tổng quan dữ liệu cho khách hàng trả chậm thẻ tín dụng

3 Xác định khách hàng trả chậm thẻ tín dụng

4 Yêu cầu và Tổng quan dữ liệu cho khách hàng vỡ nợ khoản vay

5 Xác định khách hàng vỡ nợ khoản vay - Phần 1

6 Xác định khách hàng vỡ nợ khoản vay - Phần 2

1 Mã hóa dữ liệu trong Beam

2 Lớp Coder trong Beam

1 Type Safety là gì và Beam đảm bảo nó như thế nào

2 Sử dụng Type Hints

1 Giới thiệu về Streaming

2 Kiến trúc PubSub Streaming

3 Kết nối Beam với Google Cloud

4 Thiết lập Dự án PubSub trên GCP

5 Chạy một pipeline streaming demo trên GCP

1 Giới thiệu về Windows trong Beam

2 Ví dụ về Trò chơi Di động

3 Các khái niệm Thời gian trong Framework Streaming

4 Tumbling & Sliding Windows là gì

5 Triển khai Tumbling Windows

6 Khuyến nghị cho Windowing

7 Triển khai Sliding Windows

8 Session Windows và cách triển khai

9 Global Windows và cách triển khai

1 Watermark là gì

1 Beam xử lý các phần tử đến muộn (late elements) bằng Triggers như thế nào

2 Các loại Triggers và cách triển khai

3 Composite Triggers

1 Yêu cầu & Tổng quan mã nguồn

2 Pipeline để tăng điểm số

3 Pipeline để xác định vũ khí thành thạo của người chơi

1 Tạo Pipeline với Options

2 Triển khai lên GCP (Dataflow)

1 Giới thiệu

2 Tạo BigQuery Dataset

3 Tạo và Tải dữ liệu vào BigQuery Table

4 Xem bảng đã tải trong BigQuery

1 Xử lý Batch so với Stream

2 Flink so với Spark

3 Hệ sinh thái Dữ liệu lớn của GCP

4 Cảm ơn

1 Phần thưởng

Giới thiệu khóa học

Apache Beam is a unified and portable programming model for both Batch and Streaming data use cases.

Earlier we could run Spark, Flink & Cloud Dataflow Jobs only on their respective clusters. But now Apache Beam has come up with a portable programming model where we can build language agnostic Big data pipelines and run it on any Big data engine (Apache Spark, Flink or in Google Cloud Platform using Cloud Dataflow service and many more Big data engines).

Apache Beam is the future of building Big data processing pipelines and is going to be accepted by mass companies due to its portability. Many big companies have even started deploying Beam pipelines in their production servers.

What's included in the course ?

Complete Apache Beam concepts explained from Scratch to Real-Time implementation.
Every Apache Beam concept is taught through Hands-on, practical examples for better understanding
Core Apache Beam topics including Architecture, Various PTransforms (Map, FlatMap, Filter, ParDo etc.), Combiner, Side inputs/outputs.
ADVANCE topics - Type Hints, Encoding & Decoding, Watermarks, Triggers and many more.
Build 2 Real-time Big data case studies using Apache Beam programming model.
Learn to implement Windows functions - Tumbling, Sliding, Global and Session Windows.
Load processed data to Google Cloud BigQuery Tables from Apache Beam pipeline via Dataflow.
All codes and datasets used in lessons are attached in the course for your convenience.