Ưu đãi trong tuần: Nhập mã UD50 giảm 50k cho đơn từ 300k!
Trang chủ
Đăng nhập
Xem tất cả kết quả
Menu
Đăng nhập Đăng ký miễn phí

Mastering Big Data: Spark, Scala, Kafka, Hadoop,Hive & More

Thành thạo Big Data: Spark, Scala, Kafka, Hadoop, Hive & Hơn thế nữa

Thành thạo Big Data: Spark, Scala, Kafka, Hadoop, Hive & Hơn thế nữa

Hướng dẫn thực hành toàn diện cho Nhà phát triển về các công cụ Big Data hiện đại như Hadoop, Hive, Spark, Scala, Kafka, NIFI, HBase và hơn nữa

4.4
(340 đánh giá)
2,859 học viên
Giảng viên
Deesa Technologies
Phụ đề Việt chất lượng cao Phụ đề tiếng Anh Bán chạy Đánh giá cao
79.000đ 349.000đ -77%
✓ Xem giỏ hàng và thanh toán
Bao gồm phụ đề tiếng Việt, tiếng Anh
37.5 giờ video
214 bài giảng
Truy cập vĩnh viễn
Học trên mọi thiết bị
Cập nhật: 07/06/2026
#Apache Spark #Big Data #Data Engineering #Scala

Bạn sẽ học được gì

Hiểu kiến trúc của Hadoop
Hiểu các định dạng file và khả năng lựa chọn định dạng phù hợp cho từng trường hợp sử dụng
Phát triển ứng dụng trên hệ thống cục bộ và sau đó triển khai chúng vào môi trường sản xuất
Tham số hóa mã nguồn và sẵn sàng cho môi trường sản xuất
Nhập dữ liệu từ cơ sở dữ liệu MySQL vào Sqoop. Xuất dữ liệu từ HDFS sang MySQL. Hiểu sâu về Sqoop
Truy vấn và phân tích dữ liệu hiệu quả bằng Hive. Nắm vững kiến thức về Hive
Học Scala - một trong những ngôn ngữ lập trình hàng đầu
Học các khái niệm cơ bản, trung cấp và nâng cao về Spark - công nghệ rất được ưa chuộng trên thị trường
Làm việc với dữ liệu phức tạp và học cách xử lý chúng hiệu quả
Học Cassandra và tích hợp nó với Spark
Học HBase và tích hợp nó với Spark
Học Apache NIFI
Làm việc với Spark Streaming - Tìm hiểu về Kafka và cách nó tích hợp với Spark
Hiểu rõ về quy trình xử lý dữ liệu lớn (big data pipeline) từ đầu đến cuối
Bộ câu hỏi phỏng vấn - Hive, Hadoop, Scala và Spark

Yêu cầu

Bạn cần có kết nối internet tốt. Cần có ít nhất 6 GB RAM trống. Khóa học vẫn chạy được với 4GB RAM trống nhưng ứng dụng có thể chạy chậm. Vì vậy, khuyến nghị có ít nhất 6GB RAM trống. Ổ cứng SSD sẽ tăng tốc độ. Nếu có thể (không bắt buộc), hãy dùng ổ cứng SSD thay vì HDD
Làm quen cơ bản với các lệnh Linux sẽ rất hữu ích

Đối tượng phù hợp

Người mới bắt đầu hoàn toàn chưa biết gì về thế giới Big Data
Kỹ sư phần mềm muốn chuyển sang lĩnh vực Big Data hoặc nâng cấp kỹ năng Big Data
Quản lý, Chuyên viên phân tích dữ liệu muốn hiểu quy trình xử lý dữ liệu lớn từ đầu đến cuối

Nội dung khóa học

18 phần • 214 bài giảng
1 Khóa học này nói về điều gì
2 Cách tận dụng tối đa khóa học này
3 Slide bài giảng được sử dụng trong khóa học
1 Giới thiệu về Hadoop
2 MapReduce hoạt động như thế nào
3 Big Data là gì
4 [Ghi chú] Big Data là gì
5 Kiến trúc Hadoop 1.0
6 Kiến trúc Hadoop 2.0
7 Kiến trúc Hadoop 3.0
1 Cài đặt phần mềm Cloudera
2 [Ghi chú] Cài đặt phần mềm Cloudera
3 Các lệnh Hadoop
4 [Ghi chú] Các lệnh Hadoop
5 Lưu trữ theo hàng (Row) so với Lưu trữ theo cột (Column)
6 Các định dạng file tuần tự hóa (Serialized)
7 [Ghi chú] Các định dạng file tuần tự hóa
8 Câu hỏi và câu trả lời phỏng vấn về Hadoop và Big Data
1 Giới thiệu về Sqoop
2 Sqoop Import
3 [Ghi chú] sqoop import
4 Sqoop Multiple Mappers
5 [Ghi chú] Sqoop Multiple Mappers
6 Nhập một phần dữ liệu
7 [Ghi chú] nhập một phần dữ liệu
8 Sqoop eval và thay đổi dấu phân cách file
9 [Ghi chú] Sqoop eval và thay đổi dấu phân cách file
10 Nhập dữ liệu tăng dần (incremental)
11 [Ghi chú] nhập dữ liệu tăng dần
12 Bảo vệ mật khẩu
13 [Ghi chú] bảo vệ mật khẩu
14 Sử dụng Last Modified
15 [Ghi chú] sử dụng Last Modified
16 Nhập nhiều định dạng file
17 [Ghi chú] nhập nhiều định dạng file
18 Nhập nhiều bảng
19 [Ghi chú] nhập nhiều bảng
20 Xử lý giá trị Null khi nhập
21 [Ghi chú] xử lý giá trị Null khi nhập
22 Sqoop export
23 [Ghi chú] sqoop export
24 Tối ưu hiệu suất Sqoop
25 [Ghi chú] tối ưu hiệu suất Sqoop
26 Chuẩn bị phỏng vấn về Sqoop
1 Hive - Chuẩn bị dữ liệu
2 [Ghi chú] Hive - Chuẩn bị dữ liệu
3 Hive là gì
4 [Ghi chú] Hive là gì
5 Tạo và tải một bảng trong Hive
6 [Ghi chú] tạo và tải một bảng trong Hive
7 Các loại bảng trong Hive
8 [Ghi chú] các loại bảng trong Hive
9 Phân vùng (Partition) trong Hive
10 [Ghi chú] phân vùng trong Hive
11 Trường hợp sử dụng Hive
12 [Ghi chú] trường hợp sử dụng Hive
13 Nhóm (Bucket) trong Hive
14 [Ghi chú] nhóm trong Hive
15 Tiến hóa lược đồ (Schema Evolution) trong Hive
16 [Ghi chú] tiến hóa lược đồ trong Hive
17 Thực thi truy vấn Hive bằng script
18 [Ghi chú] thực thi truy vấn Hive bằng script
19 Làm việc với Ngày tháng trong Hive
20 [Ghi chú] làm việc với Ngày tháng trong Hive
21 Phép nối (Join) trong Hive
22 [Ghi chú] phép nối trong Hive
23 MSCK Repair
24 [Ghi chú] MSCK Repair
25 Tối ưu hiệu suất trong Hive
26 [Ghi chú] tối ưu hiệu suất trong Hive
27 Hive so với SQL
28 [Ghi chú] Hive so với SQL
29 Tài nguyên bổ sung về Hive
30 Chuẩn bị phỏng vấn về Hive
1 Cài đặt và thiết lập Spark và Scala
2 [Ghi chú] Cài đặt và thiết lập Spark và Scala - Liên kết tải xuống
1 Giới thiệu về Scala
2 Thực thi chương trình Scala đầu tiên của chúng ta
3 Kiến thức cơ bản về Scala
4 Câu lệnh điều kiện
5 Vòng lặp trong Scala
6 Hàm trong Scala
7 Lớp (Class) trong Scala
8 Hàm tạo (Constructor) trong Scala
9 Giới thiệu về Kế thừa trong Scala
10 Kế thừa đơn (Single)
11 Kế thừa đa cấp (Multilevel)
12 Kế thừa phân cấp (Hierarchical)
13 Đặc điểm (Trait) trong Scala - cho phép Kế thừa đa
14 Kế thừa lai (Hybrid)
15 Ghi đè phương thức (Overriding) và Nạp chồng phương thức (Overloading)
16 Đối tượng đơn (Singleton) và Đối tượng đồng hành (Companion)
17 Lớp trường hợp (Case Class)
18 Trừu tượng (Abstraction) và Final
19 Hàm bậc cao (Higher Order) và Biểu thức Lambda
20 Hàm áp dụng một phần (Partially Applied) là gì
21 Currying là gì
22 Kiểu Tùy chọn (Option) là gì
23 Khớp mẫu (Pattern Matching) trong Scala
24 Xử lý ngoại lệ (Exception) trong Scala
25 Bộ sưu tập (Collection) trong Scala
26 [Ghi chú] Bộ sưu tập trong Scala
27 Các phương thức của Bộ sưu tập
28 [Ghi chú] Các phương thức của Bộ sưu tập
29 Group By so với Grouped
30 Đối số biến (Variable Arguments) - Nó là gì và hữu ích như thế nào?
31 Làm việc với File
32 Câu hỏi và câu trả lời phỏng vấn về Scala
1 Spark là gì
2 Tại sao Spark nhanh hơn MapReduce
1 Kiến thức cơ bản về RDD - Đọc và Ghi một file
2 [Ghi chú] Kiến thức cơ bản về RDD - Đọc và Ghi một file
3 Triển khai mã nguồn lên Cluster
4 Trường hợp sử dụng - Phân tích dữ liệu Log
5 [Ghi chú] Trường hợp sử dụng - Phân tích dữ liệu Log
6 Các phép biến đổi (Transformation) và hành động (Action) RDD phổ biến
7 Pair RDD là gì
8 Trường hợp sử dụng - Ví dụ đếm từ (word count)
9 Sử dụng Schema RDD
10 Sử dụng Row RDD
1 Spark DataFrame là gì
2 Tạo DataFrame từ RDD
3 Spark DataFrames liền mạch - Đọc và Ghi
4 [Ghi chú] Spark DataFrames liền mạch - Đọc và Ghi
5 Đọc và Ghi dữ liệu AVRO
6 Đọc và Ghi dữ liệu XML
7 [Ghi chú] Đọc và Ghi dữ liệu XML
8 Đọc Json nhiều dòng
9 [Ghi chú] Đọc Json nhiều dòng
10 Các chế độ ghi (Write Mode) trong Spark
11 Truyền lược đồ (schema) cho một file
12 Áp dụng các phép biến đổi bằng tempView và DSL
1 Hãy cùng khám phá thêm các phép biến đổi
2 [Ghi chú] Hãy cùng khám phá thêm các phép biến đổi
3 Cách loại bỏ bản ghi trùng lặp
4 Sắp xếp dữ liệu
5 Xử lý giá trị Null trong Spark
6 Làm việc với các hàm xử lý chuỗi
7 Làm việc với Ngày tháng
8 Áp dụng phép tổng hợp (Aggregation)
9 Hàm cửa sổ (Windowing) trong Spark
10 Xoay dữ liệu (Pivot) trong Spark
11 Truyền danh sách cột cho DataFrame
12 Phép nối (Join) trong Spark
13 Trường hợp sử dụng - Dữ liệu giao dịch ngân hàng
14 Đọc file của ngày hiện tại
15 Làm việc với file có độ rộng cố định (Fixed Width)
16 [Ghi chú] Làm việc với file có độ rộng cố định
1 Mã nguồn của bạn chạy như thế nào trong môi trường sản xuất
2 Triển khai lên môi trường sản xuất - tham số hóa tên file
3 Tham số hóa bằng file cấu hình (Config)
4 [Ghi chú] Tham số hóa bằng file cấu hình
5 Tích hợp Spark với Hive
6 Tối ưu bộ nhớ (Memory Tuning) trong Spark
1 Làm việc với Json
2 Làm việc với Json nhiều dòng
3 Làm việc với Json lồng nhau (Nested)
4 Làm việc với Json lồng nhau - Cấu trúc (Struct) và Mảng (Array)
5 Đọc Json từ một URL web và làm phẳng (flatten) nó
6 [Ghi chú] Đọc Json từ một URL web và làm phẳng nó
7 Làm phẳng dữ liệu bằng cách tạo một Hàm
8 [Ghi chú] Làm phẳng dữ liệu bằng cách tạo một Hàm
9 Tạo dữ liệu phức tạp
10 Làm phẳng file XML
1 Cơ sở dữ liệu NoSQL là gì
2 Làm việc với HBase
3 [Ghi chú] Làm việc với HBase
4 Tích hợp Spark với HBase
5 [Ghi chú] Tích hợp Spark với HBase
6 Giới thiệu Cassandra
7 Cài đặt và làm việc với Cassandra
8 [Ghi chú] Cài đặt và làm việc với Cassandra
9 Tích hợp Cassandra với Spark
10 [Ghi chú] Tích hợp Cassandra với Spark
11 Những hạn chế trong truy vấn Cassandra
1 Giới thiệu Apache NIFI
2 Cài đặt Apache NIFI
3 [Ghi chú] Cài đặt Apache NIFI
4 Thực hành với công cụ Apache NIFI
5 Streaming từ một URL web
6 Back Pressure và Connection Queue
7 Chuyển đổi sang Môi trường Khác
1 Spark DStream
2 Giới thiệu Kafka
3 Cài đặt Kafka và tạo Topic
4 [Ghi chú] Cài đặt Kafka và tạo Topic
5 Tích hợp Kafka với NIFI
6 Cách thức hoạt động của Kafka
7 Tích hợp Spark với Kafka
8 [Ghi chú] Tích hợp Spark với Kafka
9 Sử dụng công cụ Kafka Offset Explorer
10 Tính năng Đảm bảo Giao hàng của Kafka
11 Spark Structured Streaming
12 [Ghi chú] Spark Structured Streaming
13 Tích hợp Spark với Kafka
14 [Ghi chú] Tích hợp Spark với Kafka
1 Mẹo tối ưu hiệu suất
1 Câu hỏi phỏng vấn 1
2 Câu hỏi phỏng vấn 2
3 Câu hỏi phỏng vấn 3
4 Câu hỏi phỏng vấn 4
5 Câu hỏi phỏng vấn 5
6 Câu hỏi phỏng vấn 6
7 Câu hỏi phỏng vấn 7
8 Câu hỏi phỏng vấn 8
9 Câu hỏi phỏng vấn 9
10 Câu hỏi phỏng vấn 10
11 Câu hỏi phỏng vấn 11
12 Câu hỏi phỏng vấn 12
13 Câu hỏi phỏng vấn 13
14 Câu hỏi phỏng vấn 14
15 Câu hỏi phỏng vấn 15
16 Câu hỏi phỏng vấn 16
17 Câu hỏi phỏng vấn 17

Giới thiệu khóa học

Big Data is not difficult because of tools — it is difficult because engineers don’t understand how the pieces fit together.

Most courses teach commands.
This course teaches engineering thinking.

This is a complete, end-to-end learning path where you will build data pipelines the same way they are built in real companies — starting from fundamentals and gradually moving into performance tuning, troubleshooting, and production deployment.

Instead of isolated topics, you will understand why each technology exists, when to use it, and how they integrate into a real system.

By the end of this course you will be able to design, build, debug and optimize large-scale data workflows confidently.

What you will learn

• Understand the Big Data ecosystem and how modern data platforms are structured
• Work with distributed storage and processing systems from the ground up
• Build batch and streaming pipelines and integrate multiple data sources
• Design schemas and choose correct storage formats based on use case
• Develop applications using industry-relevant programming practices
• Move data between relational and distributed systems
• Process complex datasets and optimize performance
• Deploy applications to a cluster and make them production-ready
• Troubleshoot failures and analyze performance bottlenecks
• Prepare for real Big Data engineering interviews

Why this course is different

• Focus on understanding instead of memorizing commands
• Covers complete workflow — development → debugging → deployment
• Teaches practical decision-making used in real projects
• Includes troubleshooting and performance tuning (often missing in courses)


Khóa học liên quan

Khám phá thêm các khoá học cùng chủ đề

Hiển thị tất cả khoá học Apache Spark
Hiển thị tất cả khoá học Big Data
Hiển thị tất cả khoá học Data Engineering
Hiển thị tất cả khoá học Scala
Zalo
Tôi có thể tư vấn khoá học cho bạn 😊