Ưu đãi trong tuần: Nhập mã UD50 giảm 50k cho đơn từ 300k!
Trang chủ
Đăng nhập
Xem tất cả kết quả
Menu
Đăng nhập Đăng ký miễn phí

Spark Streaming - Stream Processing in Lakehouse - PySpark

Spark Streaming - Xử lý luồng dữ liệu trong Lakehouse - PySpark

Spark Streaming - Xử lý luồng dữ liệu trong Lakehouse - PySpark

Thành thạo Spark Structured Streaming bằng Python (PySpark) trên Azure Databricks Cloud qua dự án thực tế end-to-end

4.6
(2,095 đánh giá)
19,848 học viên
Giảng viên
Prashant Kumar Pandey
Phụ đề Việt chất lượng cao Phụ đề tiếng Anh Bán chạy Đánh giá cao
50.000đ 1.969.000đ -97%
✓ Xem giỏ hàng và thanh toán
Bao gồm phụ đề tiếng Việt, tiếng Anh
22.5 giờ video
108 bài giảng
Truy cập vĩnh viễn
Học trên mọi thiết bị
Cập nhật: 30/05/2026
#Apache Spark #Big Data Processing #Data Engineering #Python

Bạn sẽ học được gì

Khái niệm xử lý luồng dữ liệu thời gian thực
API và kiến trúc Spark Structured Streaming
Làm việc với nguồn và đích dữ liệu luồng
Kafka dành cho Kỹ sư dữ liệu
Làm việc với nguồn Kafka và tích hợp Spark với Kafka
Biến đổi luồng không trạng thái và có trạng thái
Tổng hợp theo cửa sổ thời gian bằng Spark Stream
Watermarking và dọn dẹp trạng thái
Kết nối và tổng hợp luồng dữ liệu
Xử lý vấn đề bộ nhớ với kết nối luồng
Làm việc với Azure Databricks
Dự án Capstone - Ứng dụng luồng dữ liệu trong Lakehouse

Yêu cầu

Kiến thức cơ bản về Spark và làm quen với Spark Dataframe APIs
Kiến thức lập trình bằng ngôn ngữ Python

Đối tượng phù hợp

Kỹ sư và kiến trúc sư phần mềm muốn thiết kế và phát triển dự án Bigdata Engineering bằng Apache Spark và Databricks Cloud
Lập trình viên và nhà phát triển muốn học và phát triển kỹ năng Data Engineering bằng Apache Spark và Databricks Cloud

Nội dung khóa học

9 phần • 108 bài giảng
1 Giới thiệu khóa học
2 Điều kiện tiên quyết của khóa học
3 Mã nguồn và tài nguyên khác
4 Lưu ý cho học viên - Trước khi bắt đầu
1 Môi trường phát triển Spark
2 Thiết lập môi trường Databricks Community Cloud
3 Làm việc trong Databricks Workspace
1 Từ xử lý theo lô đến xử lý luồng
2 Ứng dụng Spark của bạn - Áp dụng phương pháp tốt nhất
3 Ứng dụng luồng đầu tiên - Triển khai Stream
4 Mô hình xử lý luồng trong Spark
5 Tạo ứng dụng luồng khác
6 Trình kích hoạt luồng
7 Xử lý lô tăng dần
8 Nguồn và đích dữ liệu luồng
9 Tạo chuỗi luồng dữ liệu
1 Giới thiệu về Kafka
2 Tạo Kafka Cluster trên đám mây
3 Khái niệm cốt lõi của Kafka
4 Ghi dữ liệu vào Kafka Topic
5 Đọc dữ liệu từ Kafka Topic
6 Làm việc với dữ liệu Kafka Topic
7 Cách triển khai Idempotence
8 Làm việc với Kafka Sink
1 Tổng hợp luồng và State Store
2 Tổng hợp tăng dần và chế độ cập nhật
3 Chế độ đầu ra Spark Streaming
4 Tổng hợp có trạng thái và không trạng thái
5 Triển khai tổng hợp luồng không trạng thái
6 Tổng hợp cửa sổ Tumbling có trạng thái theo thời gian
7 Watermarking và dọn dẹp State Store
8 Tổng hợp cửa sổ trượt
1 Giới thiệu về Databricks
2 Tạo tài khoản Azure miễn phí
3 Tổng quan Azure Portal
4 Tạo dịch vụ Azure Databricks
5 Giới thiệu về Azure Databricks Workspace
6 Kiến trúc Azure Databricks
7 Tạo Azure Databricks Cluster
8 Giới thiệu về Databricks Notebooks
9 Lệnh Magic và tiện ích Notebooks
10 Tiện ích Databricks Notebooks
11 Giới thiệu về Databricks Unity Catalog
12 Giới thiệu về Databricks Workflow Jobs
13 Giới thiệu về Databricks Rest API
14 Giới thiệu về Databricks CLI
1 Phạm vi và bối cảnh dự án
2 Xác định yêu cầu vận hành
3 Thiết kế lưu trữ
4 Triển khai bảo mật dữ liệu
5 Triển khai chính sách tài nguyên
6 Tách biệt quá trình thu thập dữ liệu
7 Thiết kế tầng Bronze
8 Thiết kế tầng Silver và Gold
9 Thiết lập hệ thống kiểm soát mã nguồn
10 Thiết lập môi trường của bạn
11 Tạo không gian làm việc phát triển
12 Tạo và cấu hình tầng lưu trữ
13 Tạo Unity Catalog Metastore
14 Tạo Catalog và External Locations
15 Bắt đầu viết code
16 Kiểm tra code của bạn
17 Tải dữ liệu lịch sử
18 Thu thập vào tầng bronze
19 Xử lý tầng silver
20 Xử lý nhiều bản cập nhật
21 Triển khai tầng gold
22 Tạo script chạy
23 Chuẩn bị cho kiểm thử tích hợp
24 Tạo trình tạo dữ liệu kiểm thử
25 Tạo kiểm thử tích hợp cho chế độ batch
26 Tạo kiểm thử tích hợp cho chế độ stream
27 Triển khai CI CD Pipeline
28 Phát triển Build Pipeline
29 Phát triển Release Pipeline
30 Tạo Databricks CLI Script
1 Kết thúc là khởi đầu mới
1 Môi trường phát triển Spark
2 Người dùng Windows - Điều kiện tiên quyết cài đặt Spark
3 Người dùng Windows - Cài đặt Apache Spark
4 Người dùng Windows - Thiết lập và kiểm tra IDE
5 Người dùng Mac - Cài đặt Apache Spark
6 Người dùng Mac - Thiết lập và kiểm tra IDE
7 Cài đặt và chạy Apache Kafka
8 Mô hình xử lý luồng trong Spark
9 Làm việc với tệp và thư mục
10 Nguồn, đích luồng và chế độ đầu ra
11 Khả năng chịu lỗi và khởi động lại
12 Giới thiệu về xử lý luồng
13 API Spark Streaming - DStream vs Structured Streaming
14 Tạo ứng dụng xử lý luồng đầu tiên của bạn
15 Streaming từ Kafka làm nguồn dữ liệu
16 Làm việc với Kafka Sinks
17 Ứng dụng Multi-query Streams
18 Tuần tự hóa và giải tuần tự hóa Kafka cho Spark
19 Tạo Kafka AVRO Sinks
20 Làm việc với nguồn Kafka AVRO
21 Biến đổi không trạng thái và có trạng thái
22 Thời gian sự kiện và cửa sổ thời gian
23 Tổng hợp cửa sổ Tumbling
24 Watermarking cho cửa sổ của bạn
25 Watermark và chế độ đầu ra
26 Cửa sổ trượt
27 Kết nối luồng với nguồn tĩnh
28 Kết nối luồng với luồng khác
29 Watermark luồng dữ liệu
30 Kết nối ngoài luồng dữ liệu
31 Lời cuối

Giới thiệu khóa học

About the Course

I am creating Apache Spark and Databricks - Stream Processing in Lakehouse using the Python Language and PySpark API. This course will help you understand Real-time Stream processing using Apache Spark and Databricks Cloud and apply that knowledge to build real-time stream processing solutions. This course is example-driven and follows a working session-like approach. We will take a live coding approach and explain all the needed concepts.

Capstone Project

This course also includes an End-To-End Capstone project. The project will help you understand the real-life project design, coding, implementation, testing, and CI/CD approach.

Who should take this Course?

I designed this course for software engineers willing to develop a Real-time Stream Processing Pipeline and application using Apache Spark. I am also creating this course for data architects and data engineers who are responsible for designing and building the organization’s data-centric infrastructure. Another group of people is the managers and architects who do not directly work with Spark implementation. Still, they work with those implementing Apache Spark at the ground level.

Spark Version used in the Course.

This Course is using the Apache Spark 3.5. I have tested all the source code and examples used in this Course on Azure Databricks Cloud using Databricks Runtime 14.1.


Khóa học liên quan

Khám phá thêm các khoá học cùng chủ đề

Hiển thị tất cả khoá học Apache Spark
Hiển thị tất cả khoá học Big Data Processing
Hiển thị tất cả khoá học Data Engineering
Hiển thị tất cả khoá học Python
Zalo
Tôi có thể tư vấn khoá học cho bạn 😊