Apache Spark 3 - Real-time Stream Processing using Scala

Apache Spark 3 - Xử lý luồng dữ liệu thời gian thực bằng Scala

Học cách tạo ứng dụng xử lý luồng dữ liệu thời gian thực với Apache Spark

4.5

(515 đánh giá)

7,873 học viên

Giảng viên

Prashant Kumar Pandey

Phụ đề Việt chất lượng cao Phụ đề tiếng Anh Bán chạy Đánh giá cao

50.000đ 349.000đ -86%

✓ Xem giỏ hàng và thanh toán

Bao gồm phụ đề tiếng Việt, tiếng Anh

4.5 giờ video

33 bài giảng

Truy cập vĩnh viễn

Học trên mọi thiết bị

Cập nhật: 30/05/2026

#Apache Spark #Big Data Processing #Real Time Stream Processing #Scala

Bạn sẽ học được gì

Các khái niệm về xử lý luồng dữ liệu thời gian thực

API và kiến trúc Spark Structured Streaming

Làm việc với luồng dữ liệu từ tệp

Làm việc với nguồn Kafka và tích hợp Spark với Kafka

Phép biến đổi luồng không trạng thái và có trạng thái

Tổng hợp dữ liệu theo cửa sổ thời gian với Spark Stream

Watermarking và dọn dẹp trạng thái

Phép nối và tổng hợp trong luồng dữ liệu

Xử lý vấn đề bộ nhớ với phép nối luồng

Tạo điểm đích (Sink) tùy ý cho luồng dữ liệu

Yêu cầu

Kiến thức cơ bản về Spark và làm quen với Spark Dataframe APIs

Kiến thức cơ bản về Kafka và kinh nghiệm làm việc với Apache Kafka

Kiến thức lập trình bằng ngôn ngữ Scala

Máy tính 64-bit (Windows/Mac/Linux) với 8 GB RAM

Đối tượng phù hợp

Dành cho kỹ sư và kiến trúc sư phần mềm muốn thiết kế và phát triển dự án Kỹ thuật Dữ liệu lớn bằng Apache Spark

Dành cho lập trình viên và nhà phát triển muốn phát triển và học về Kỹ thuật Dữ liệu với Apache Spark

Nội dung khóa học

7 phần • 33 bài giảng

1 Giới thiệu về khóa học

2 Điều kiện tiên quyết

3 Mã nguồn và tài nguyên khác

1 Môi trường phát triển Spark

2 Điều kiện cần để cài đặt Spark

3 Cài đặt Apache Spark

4 Thiết lập và kiểm tra IDE

5 Cài đặt và chạy Apache Kafka

1 Giới thiệu về xử lý luồng dữ liệu

2 API Spark Streaming - Dstream so với Structured Streaming

3 Tạo ứng dụng xử lý luồng đầu tiên của bạn

4 Mô hình xử lý luồng trong Spark

5 Làm việc với tệp và thư mục

6 Nguồn, đích và chế độ đầu ra của luồng

7 Khả năng chịu lỗi và khởi động lại

1 Truyền luồng từ nguồn Kafka

2 Làm việc với điểm đích Kafka

3 Ứng dụng luồng đa truy vấn

4 Tuần tự hóa và giải tuần tự hóa Kafka cho Spark

5 Tạo điểm đích Kafka AVRO

6 Làm việc với nguồn Kafka AVRO

1 Phép biến đổi không trạng thái so với có trạng thái

2 Thời gian sự kiện và cửa sổ thời gian

3 Tổng hợp cửa sổ trượt (Tumbling Window)

4 Áp dụng Watermark cho cửa sổ của bạn

5 Watermark và chế độ đầu ra

6 Cửa sổ trượt (Sliding Window)

1 Nối luồng với nguồn tĩnh

2 Nối luồng với một luồng khác

3 Watermark trong luồng

4 Phép nối ngoài trong luồng

1 Lời kết

2 Bài giảng bổ sung: Nhận thêm tài nguyên

Giới thiệu khóa học

About the Course

I am creating Apache Spark 3 - Real-time Stream Processing using the Scala course to help you understand the Real-time Stream processing using Apache Spark and apply that knowledge to build real-time stream processing solutions. This course is example-driven and follows a working session like approach. We will be taking a live coding approach and explain all the needed concepts along the way.

Who should take this Course?

I designed this course for software engineers willing to develop a Real-time Stream Processing Pipeline and application using the Apache Spark. I am also creating this course for data architects and data engineers who are responsible for designing and building the organization’s data-centric infrastructure. Another group of people is the managers and architects who do not directly work with Spark implementation. Still, they work with the people who implement Apache Spark at the ground level.

Spark Version used in the Course

This Course is using the Apache Spark 3.x. I have tested all the source code and examples used in this Course on Apache Spark 3.0.0 open-source distribution.