Ưu đãi trong tuần: Nhập mã UD50 giảm 50k cho đơn từ 300k!
Trang chủ
Menu

Spark 3 on Google Cloud Platform-Beginner to Advanced Level

Spark 3 trên Google Cloud Platform - Từ Cơ Bản đến Nâng Cao

Spark 3 trên Google Cloud Platform - Từ Cơ Bản đến Nâng Cao

Xây dựng các Pipeline Xử lý Dữ liệu Batch và Thời gian Thực có khả năng Mở rộng với PySpark và Dataproc

4.7
(186 đánh giá)
1,468 học viên
Giảng viên
Sid Raghunath
Phụ đề Việt chất lượng cao Phụ đề tiếng Anh Bán chạy Đánh giá cao
50.000đ 349.000đ -86%
✓ Xem giỏ hàng và thanh toán
Bao gồm phụ đề tiếng Việt, tiếng Anh
5.5 giờ video
72 bài giảng
1 bài quiz
Truy cập vĩnh viễn
Học trên mọi thiết bị
Cập nhật: 30/05/2026

Bạn sẽ học được gì

Hiểu các nguyên tắc cơ bản của Apache Spark3, bao gồm kiến trúc và các thành phần
Phát triển và Triển khai các Job PySpark lên Dataproc trên GCP, bao gồm thiết lập cluster và quản lý tài nguyên
Có được kinh nghiệm thực tế trong việc sử dụng Spark3 để xử lý dữ liệu batch nâng cao, học máy và phân tích thời gian thực
Các phương pháp hay nhất để tối ưu hiệu suất Spark3 trên GCP, bao gồm Tự động mở rộng, tinh chỉnh và tích hợp với các thành phần GCP khác

Yêu cầu

Có kinh nghiệm viết code cơ bản bằng Python & SQL
Có kiến thức nền tảng cơ bản về lập trình và Dữ liệu Lớn (Big Data)

Đối tượng phù hợp

Kỹ sư dữ liệu hoặc nhà phân tích dữ liệu muốn học cách sử dụng Spark3 trên Google Cloud Platform (GCP) để xử lý và phân tích dữ liệu quy mô lớn
Nhà phát triển phần mềm muốn tích hợp Spark3 vào ứng dụng hoặc quy trình làm việc đang chạy trên GCP
Nhà khoa học dữ liệu muốn tận dụng khả năng học máy của Spark3 trên GCP để xây dựng và triển khai các mô hình dự đoán
Bất kỳ ai muốn bắt đầu hành trình lên đám mây với Spark 3

Nội dung khóa học

10 phần • 72 bài giảng
1 Giới thiệu và Tổng quan về Khóa học
2 Kho lưu trữ GitHub cho khóa học
3 Thiết lập Tài khoản GCP dùng thử
4 Cài đặt và Thiết lập Gcloud SDK
1 Giới thiệu về Dataproc trên GCP
2 Tổng quan về Kiến trúc Spark
3 Datalake so với Datawarehouse
4 Vai trò của Spark trong Hệ sinh thái Dữ liệu Lớn
5 Tổng quan về các API của Spark
6 Có gì mới trong Spark3?
7 Tôi có nên học Spark vào năm 2023 không?
1 Giới thiệu Phần
2 Thực hành - Tạo một Dataproc Cluster
3 Thực hành - Hướng dẫn chi tiết Jupyter Notebook và các thành phần khác nhau
4 Thực hành - Các thao tác Dataframe cơ bản trong PySpark
5 Thực hành - Ép kiểu & Trích xuất cột timestamp
6 Thực hành - Tổng hợp Dataframe
7 Các phép Biến đổi (Transformations) và Hành động (Actions) trong Spark
8 Thực hành - Các phép biến đổi nâng cao sử dụng Window Functions
9 Thực hành - Các thao tác Rolling Window
10 Thực hành - Ghi dữ liệu đã biến đổi trở lại sink: GCS Bucket và BigQuery
11 Thực hành - Sử dụng Spark-Submit để gửi job tới các dataproc cluster
1 Giới thiệu về SparkSql
2 Các Loại Bảng khác nhau trong Spark
3 Thực hành - Tạo Bảng cho SparkSql
4 Thực hành - Các hàm cửa sổ phân tích (Analytical Window Functions) và tạo bảng vĩnh viễn
5 Thực hành - Thực hiện Joins trên Dataframe
6 Partitions trong Spark Dataframes là gì?
7 Thực hành - Thực hiện repartitioning cho dataframe
8 Data Shuffling trong các phép Join
9 Thực hành - Các hàm do người dùng định nghĩa trong Spark
1 Catalyst optimizer trong spark là gì?
2 Cache và Persist trong Spark
3 Autoscaling trong spark và dataproc là gì?
4 Thực hành - Áp dụng các Chính sách Autoscaling cho Dataproc Clusters
5 Giới thiệu về Dataproc Workflows
6 Thực hành - Thực thi GCP Workflows
7 Thực hành - Sử dụng Cloud Scheduler để tự động hóa việc thực thi Workflow
8 Checkpointing trong Spark là gì?
9 Broadcast Joins là gì?
10 Thực hành - Thiết lập Chính sách Cảnh báo cho Spark Jobs
1 Giới thiệu Dự án
2 Thực hành - Thiết lập MySql Instance và Database trên GCP
3 Thực hành - Ingest dữ liệu vào MySql
4 Thực hành - Thiết lập Dataproc với các hành động khởi tạo (initialization actions)
5 Bài tập Thực hành - Thiết lập Kết nối từ PySpark tới MySql Db
6 Bài tập Thực hành - Thực hiện các phép biến đổi sử dụng PySpark
7 Thực hành - Thiết lập Workflows để thực thi pipeline đầu cuối
1 Giới thiệu Phần
2 Tổng quan về PubSub Lite
3 Tumbling Windows là gì?
4 Watermarking là gì?
5 Sliding Windows là gì?
6 Thực hành - Tạo PubSub Lite Reservation
7 Thực hành - Xuất bản Dữ liệu lên PubSub và Kiểm thử sử dụng PySpark
8 Thực hành - Triển khai Tumbling Windows
9 Thực hành - Triển khai Tumbling Window với Watermarking
10 Thực hành - Triển khai Sliding Windows
1 Tổng quan về việc Join Dataframe Streaming
2 Thực hành - Join Dataframe Streaming với Dataframe Tĩnh
3 Thực hành - Join 2 Dataframe Streaming
4 Thực hành - Sử dụng Watermarking trong các phép Join Streaming
1 Tổng quan về Use Case
2 Thực hành - Huấn luyện Mô hình sử dụng Thư viện ML và Hướng dẫn chi tiết Code
3 Thực hành - Hướng dẫn chi tiết Code và Xuất bản Dữ liệu
4 Thực hành - Mô hình Đề xuất Sản phẩm Thời gian Thực trong thực tế
1 Giới thiệu và Mẹo
2 Câu hỏi Phỏng vấn Xử lý Dữ liệu Batch - Phần 1
3 Câu hỏi Phỏng vấn Xử lý Dữ liệu Batch - Phần 2
4 Câu hỏi Phỏng vấn Xử lý Batch - Phần 3
5 Câu hỏi Phỏng vấn Xử lý Dữ liệu Thời gian Thực - Phần 1
6 Câu hỏi Phỏng vấn Xử lý Dữ liệu Thời gian Thực - Phần 2

Giới thiệu khóa học

Are you looking to dive into big data processing and analytics with Apache Spark and Google Cloud? This course is designed to help you master PySpark 3.3 and leverage its full potential to process large volumes of data in a distributed environment. You'll learn how to build efficient, scalable, and fault-tolerant data processing jobs by learn how to apply

  • Dataframe transformations with the Dataframe APIs ,

  • SparkSQL

  • Deployment of Spark Jobs as done in real world scenarios

  • Integrating spark jobs with other components on GCP

  • Implementing real time machine learning use-cases by building a product recommendation system.

This course is intended for data engineers, data analysts, data scientists, and anyone interested in big data processing with Apache Spark and Google Cloud. It is also suitable for students and professionals who want to enhance their skills in big data processing and analytics using PySpark and Google Cloud technologies.

Why take this course?

In this course, you'll gain hands-on experience in designing, building, and deploying big data processing pipelines using PySpark on Google Cloud. You'll learn how to process large data sets in parallel in the most practical way without having to install or run anything on your local computer .

By the end of this course, you'll have the skills and confidence to tackle real-world big data processing problems and deliver high-quality solutions using PySpark and other Google Cloud technologies.

Whether you're a data engineer, data analyst, or aspiring data scientist, this comprehensive course will equip you with the skills and knowledge to process massive amounts of data using PySpark and Google Cloud.

Plus, with a final section dedicated to interview questions and tips, you'll be well-prepared to ace your next data engineering or big data interview.


Khóa học liên quan

Khám phá thêm các khoá học cùng chủ đề

Hiển thị tất cả khoá học Big Data
Hiển thị tất cả khoá học Cloud Computing
Hiển thị tất cả khoá học Google Cloud Platform
Hiển thị tất cả khoá học Spark
Zalo
Tôi có thể tư vấn khoá học cho bạn 😊