Ưu đãi trong tuần: Nhập mã UD50 giảm 50k cho đơn từ 300k!
Trang chủ
Đăng nhập
Xem tất cả kết quả
Menu
Đăng nhập Đăng ký miễn phí

Apache Spark for Java Developers

Apache Spark cho Lập trình viên Java

Apache Spark cho Lập trình viên Java

Xử lý Dữ liệu Lớn với RDDs, DataFrames, SparkSQL và Học Máy - cùng xử lý luồng thời gian thực với Kafka!

4.6
(3,744 đánh giá)
23,986 học viên
Giảng viên
Richard Chesterwood
Phụ đề Việt chất lượng cao Phụ đề tiếng Anh Bán chạy Đánh giá cao
50.000đ 349.000đ -86%
✓ Xem giỏ hàng và thanh toán
Bao gồm phụ đề tiếng Việt, tiếng Anh
21.5 giờ video
144 bài giảng
Truy cập vĩnh viễn
Học trên mọi thiết bị
Cập nhật: 30/05/2026
#Apache Spark #Big Data #Data Engineering #Java

Bạn sẽ học được gì

Sử dụng Java phong cách hàm để định nghĩa các tác vụ xử lý dữ liệu phức tạp
Tìm hiểu sự khác biệt giữa API RDD và DataFrame
Sử dụng cú pháp kiểu SQL để tạo báo cáo từ các tập dữ liệu lớn
Áp dụng Thuật toán Học Máy với Dữ liệu Lớn và SparkML
Kết nối Spark với Apache Kafka để xử lý luồng Dữ liệu Lớn
Khám phá cách Structured Streaming có thể xây dựng pipeline với Kafka

Yêu cầu

Khóa học yêu cầu Java 8. Spark hiện chưa hỗ trợ Java9+, và bạn cần Java 8 cho cú pháp Lambda hàm
Cần có kiến thức Java trước, nhưng mọi nội dung nâng cao đều được giải thích
Biết SQL trước sẽ hữu ích cho phần của khóa học, nhưng nếu chưa dùng bao giờ thì đây là trải nghiệm đầu tiên tốt

Đối tượng phù hợp

Dành cho người đã biết Java và muốn khám phá Apache Spark
Người mới với Khoa học Dữ liệu muốn bắt đầu nhanh, không cần học Python, Scala hay R!

Nội dung khóa học

46 phần • 143 bài giảng
1 Chào mừng
2 Tải mã nguồn
3 Module 1 - Giới thiệu
4 Kiến trúc Spark và RDDs
1 Cảnh báo - Spark 2 không hỗ trợ Java 9+. Bạn có thể dùng Spark 3 tùy chọn.
2 Cài đặt Spark
1 Reduce trên RDDs
1 Thao tác Ánh xạ
2 Xuất kết quả ra Console
3 Đếm phần tử Dữ liệu Lớn
4 Nếu gặp lỗi "NotSerializableException" trong Spark
1 RDDs của Đối tượng
2 Tuples và RDDs
1 Tổng quan về PairRDDs
2 Xây dựng một PairRDD
3 Lập trình ReduceByKey
4 Sử dụng API Fluent
5 Nhóm theo Khóa (Grouping By Key)
1 FlatMaps
2 Bộ lọc
1 Đọc từ Ổ đĩa
1 Yêu cầu Thực hành
2 Giải pháp Mẫu
3 Giải pháp Mẫu (tiếp) với Sắp xếp
1 Tại sao sắp xếp không hoạt động với foreach trong Spark?
2 Tại sao Coalesce là Giải pháp Sai
3 Coalesce dùng để làm gì trong Spark?
1 Cách khởi động Cụm Spark EMR
2 Đóng gói Spark Jar cho EMR
3 Chạy Công việc Spark trên EMR
4 Hiểu đầu ra Tiến trình Công việc
5 Tính chi phí EMR và Dừng cụm
1 Nối trong (Inner Joins)
2 Nối trái ngoài (Left Outer Joins) và Optionals
3 Nối phải ngoài (Right Outer Joins)
4 Nối đầy đủ (Full Joins) và Tích Descartes
1 Giới thiệu Yêu cầu
2 Khởi động
3 Yêu cầu Bài tập Chính
4 Hướng dẫn - Bước 2
5 Hướng dẫn - Bước 3
6 Hướng dẫn - Bước 4
7 Hướng dẫn - Bước 5
8 Hướng dẫn - Bước 6
9 Hướng dẫn - Bước 7
10 Hướng dẫn - Bước 8
11 Hướng dẫn - Bước 9, thêm tiêu đề và sử dụng tập tin Dữ liệu Lớn
1 Biến đổi và Hành động
2 DAG và SparkUI
3 Biến đổi Hẹp so với Rộng
4 Trộn dữ liệu (Shuffles)
5 Xử lý Lệch Khóa (Key Skews)
6 Tránh groupByKey và dùng map-side-reduces thay thế
7 Lưu đệm và Duy trì (Caching và Persistence)
1 Mã nguồn cho phần SQL/DataFrames
2 Giới thiệu SparkSQL
1 Bắt đầu với SparkSQL
1 Cơ bản về Dataset
2 Bộ lọc sử dụng Biểu thức
3 Bộ lọc sử dụng Lambda
4 Bộ lọc sử dụng Cột
1 Sử dụng Spark Temporary View cho SQL
1 Dữ liệu trong Bộ nhớ
1 Nhóm và Tổng hợp
1 Định dạng Ngày tháng
1 Nhiều cấp Nhóm
1 Sắp xếp
1 SQL so với DataFrames
2 Nhóm DataFrame
1 Bảng Pivot hoạt động thế nào?
2 Lập trình Bảng Pivot trong Spark
1 Cách dùng phương thức agg trong Spark
1 Xây dựng Bảng Pivot với Nhiều phép Tổng hợp
1 Cách dùng Lambda để viết UDF trong Spark
2 Dùng nhiều tham số đầu vào trong Spark UDF
3 Sử dụng UDF trong Spark SQL
1 Hiểu SparkUI cho SparkSQL
2 Hiệu suất SQL và DataFrame so sánh thế nào?
3 Cập nhật - Thiết lập spark.sql.shuffle.partitions
1 Giải thích Kế hoạch Thực thi
2 HashAggregation hoạt động thế nào?
3 Làm sao buộc Spark dùng HashAggregation?
4 Kết quả Hiệu suất SQL so với DataFrames
1 Hiệu suất SparkSQL so với RDDs
1 Chào mừng đến Module 3
2 Học Máy là gì?
3 Nội dung sắp tới - và giới thiệu Kaggle
4 Học có Giám sát so với Không giám sát
5 Quy trình Xây dựng Mô hình
1 Giới thiệu Hồi quy Tuyến tính
2 Bắt đầu Lập trình Hồi quy Tuyến tính
3 Ghép Vector Đặc trưng
4 Khớp Mô hình (Model Fitting)
1 Dữ liệu Huấn luyện so với Kiểm tra và Giữ lại
2 Sử dụng dữ liệu từ Kaggle
3 Hướng dẫn Thực hành
4 Chia Dữ liệu Huấn luyện với Phép chia Ngẫu nhiên
5 Đánh giá Độ chính xác Mô hình với R2 và RMSE
1 Thiết lập Tham số Hồi quy Tuyến tính
2 Dữ liệu Huấn luyện, Kiểm tra và Giữ lại
1 Mô tả Đặc trưng
2 Tương quan giữa các Đặc trưng
3 Xác định và Loại bỏ Đặc trưng Trùng lặp
4 Chuẩn bị Dữ liệu
1 Sử dụng Mã hóa One-Hot (OneHotEncoding)
2 Hiểu về Vector
1 Pipeline
1 Yêu cầu
2 Hướng dẫn Nghiên cứu Tình huống - Phần 1
3 Hướng dẫn Nghiên cứu Tình huống - Phần 2
1 Mã nguồn cho chương 9-12
2 Âm tính/Sai và Dương tính/Đúng
3 Lập trình Hồi quy Logistic
1 Tổng quan về Cây Quyết định
2 Xây dựng Mô hình
3 Diễn giải Cây Quyết định
4 Rừng Ngẫu nhiên (Random Forests)
1 Phân cụm K-Means
1 Tổng quan và Phân tích Nhân tử Ma trận
2 Xây dựng Mô hình
1 Chào mừng đến Module 4 - Spark Streaming
2 Chương 1 Streaming - Giới thiệu Xử lý Luồng
3 DStreams
4 Bắt đầu Công việc Streaming
5 Biến đổi Streaming
6 Tổng hợp Streaming
7 SparkUI cho Công việc Streaming
8 Cửa sổ theo Lô (Windowing Batches)
1 Tổng quan về Kafka
2 Cài đặt Kafka
3 Sử dụng Bộ mô phỏng Sự kiện Kafka
4 Tích hợp Kafka với Spark
5 Dùng KafkaUtils để truy cập DStream
6 Viết Tổng hợp Kafka
7 Thêm Cửa sổ
8 Thêm Khoảng thời gian Trượt (Slide Interval)
1 Tổng quan Structured Streaming
2 Điểm đích Dữ liệu (Data Sinks)
3 Chế độ Xuất Structured Streaming
4 Cửa sổ và Mốc nước (Watermarks)
5 Kích thước Lô trong Structured Streaming là gì?
6 Xây dựng Pipeline Xử lý Dữ liệu Luồng với Kafka và Structured Streaming
7 Bài giảng bổ sung

Giới thiệu khóa học

Get started with the amazing Apache Spark parallel computing framework - this course is designed especially for Java Developers.

If you're new to Data Science and want to find out about how massive datasets are processed in parallel, then the Java API for spark is a great way to get started, fast.

All of the fundamentals you need to understand the main operations you can perform in Spark Core, SparkSQL and DataFrames are covered in detail, with easy to follow examples. You'll be able to follow along with all of the examples, and run them on your own local development computer.

Included with the course is a module covering SparkML, an exciting addition to Spark that allows you to apply Machine Learning models to your Big Data! No mathematical experience is necessary!

And finally, there's a full 3 hour module covering Spark Streaming, where you will get hands-on experience of integrating Spark with Apache Kafka to handle real-time big data streams. We use both the DStream and the Structured Streaming APIs.


Optionally, if you have an AWS account, you'll see how to deploy your work to a live EMR (Elastic Map Reduce) hardware cluster. If you're not familiar with AWS you can skip this video, but it's still worthwhile to watch rather than following along with the coding.

You'll be going deep into the internals of Spark and you'll find out how it optimizes your execution plans. We'll be comparing the performance of RDDs vs SparkSQL, and you'll learn about the major performance pitfalls which could save a lot of money for live projects.

Throughout the course, you'll be getting some great practice with Java Lambdas - a great way to learn functional-style Java if you're new to it.



Khóa học liên quan

Khám phá thêm các khoá học cùng chủ đề

Hiển thị tất cả khoá học Apache Spark
Hiển thị tất cả khoá học Big Data
Hiển thị tất cả khoá học Data Engineering
Hiển thị tất cả khoá học Java
Zalo
Tôi có thể tư vấn khoá học cho bạn 😊