Scientific Computing Masterclass: Parallel and Distributed

Lớp học Chuyên sâu về Khoa học Tính toán: Xử lý Song song và Phân tán

Lập trình Song song và Phân tán: OpenMP, CUDA, MPI và Hệ thống cụm HPC với Slum và PBS, AWS HPC Parallel Cluster

4.2

(409 đánh giá)

2,608 học viên

Giảng viên

Scientific Programmer™ Team

Phụ đề Việt chất lượng cao Phụ đề tiếng Anh Bán chạy Đánh giá cao

50.000đ 399.000đ -87%

✓ Xem giỏ hàng và thanh toán

Bao gồm phụ đề tiếng Việt, tiếng Anh

16.0 giờ video

113 bài giảng

1 bài quiz

Truy cập vĩnh viễn

Học trên mọi thiết bị

Cập nhật: 31/05/2026

#Cuda #High Performance Computing #Mpi #Parallel Computing

Bạn sẽ học được gì

Tìm hiểu về Siêu máy tính

Các thành phần cơ bản của hệ thống HPC

Ngăn xếp phần mềm HPC

Trình lập lịch công việc HPC và hệ thống hàng loạt (Slurm và PBS Pro)

Giới thiệu về khái niệm lập trình song song: OpenMP và MPI

Lập trình GPU: NVIDIA CUDA và AMD HIP ROCm

Triển khai và Chạy mã trên AWS HPC

Yêu cầu

Dòng lệnh Linux/Unix

Kỹ năng lập trình máy tính bằng bất kỳ ngôn ngữ nào

Đối tượng phù hợp

Sinh viên, nhà nghiên cứu và lập trình viên từ mọi chuyên ngành

Nhà phát triển phần mềm và chuyên gia phân tích dữ liệu lớn

Nội dung khóa học

15 phần • 111 bài giảng

1 Chào mừng

2 Tại sao học Khóa học này?

3 Giảng viên

4 Thực hành lệnh Shell với Shell tương tác

5 Cấu trúc Khóa học

6 Giới thiệu về Hệ thống HPC

7 Một chút lịch sử về Siêu máy tính

8 Ví dụ về Cơ sở Siêu máy tính

9 Demo Siêu máy tính nhanh nhất Thế giới!

10 Giới thiệu về Hệ thống HPC

11 Lợi ích của việc sử dụng Hệ thống HPC

1 Các loại Node HPC là gì?

2 Các thành phần của Cụm HPC

3 Node đăng nhập HPC

4 Node chủ HPC

5 Node lưu trữ HPC

6 Node tính toán HPC

7 Tạo Hệ thống HPC với VMWare

1 Truy cập vào HPC

2 Truyền dữ liệu

1 Module Phần mềm HPC

2 Trình diễn Module Phần mềm HPC

3 Danh sách Phần mềm HPC

1 Công việc HPC là gì?

2 Trình lập lịch công việc HPC

3 Phần mềm Lập lịch công việc HPC (Slurm và PBS)

1 Giới thiệu về Slurm

2 Các lệnh Slurm phổ biến nhất là gì?

3 Danh sách lệnh Slurm

4 Các lệnh Slurm hữu ích

5 Thực thể và Phân vùng trong Slurm

6 Ví dụ về một công việc Slurm đơn giản

7 Trình diễn nộp công việc Slurm

8 Công việc MPI và GPU phân tán với Slurm

9 Công việc OpenMP đa luồng với Slurm

10 Công việc tương tác với Slurm

11 Công việc mảng với Slurm

12 Phụ thuộc công việc trong Slurm

1 Giới thiệu về PBS

2 Ví dụ về lệnh PBS

3 Các lệnh cơ bản của PBS

4 Lệnh PBS: qsub

5 Lệnh PBS: qstat

6 Lệnh PBS: qdel

7 Lệnh PBS: qalter

8 Trạng thái công việc PBS

9 Biến Công việc PBS

10 Ví dụ về Script Công việc PBS

11 Công việc tương tác với PBS

12 Mảng trong PBS

1 Giới thiệu về OpenMP

2 Các thành phần của OpenMP (Chỉ thị, Quy trình và Biến)

3 Mệnh đề trong OpenMP

4 OpenMP - Cấu trúc Chia sẻ Công việc

5 OpenMP - Ví dụ Mã "Hello world!"

6 Trình diễn OpenMP Hello world!

7 OpenMP - Giảm thiểu và Vòng lặp `for` Song song

8 Ví dụ Song song hóa Phần trong OpenMP

9 Ví dụ Cộng Vector trong OpenMP

1 Giới thiệu về MPI

2 Cấu trúc Chương trình MPI

3 MPI - Ví dụ "Hello World!"

4 Trình diễn MPI Hello World!

5 Gửi/ Nhận trong MPI

1 Các loại GPU (Nvidia)

2 Giới thiệu về CUDA

3 Giới thiệu về GP GPU

4 CUDA là gì?

5 Cài đặt bộ công cụ CUDA và chạy mã CUDA (Windows)

6 Sơ đồ GPGPU

7 Lớp phần mềm GPGPU

8 Thiết bị, luồng, khối và lưới trong CUDA

9 Tổ chức lưới và phân cấp bộ nhớ CUDA

10 CUDA - Ví dụ Mã "Hello World!"

11 Ví dụ mã CUDA "Hello World!"

12 Giải thích Hàm kernel trong CUDA

13 Cộng biến trên thiết bị CUDA (1 khối và 1 luồng)

14 Cộng vector CUDA (sử dụng N khối)

15 Cộng biến CUDA (số khối và luồng thay đổi)

16 Cộng vector CUDA (sử dụng N luồng)

17 Trình diễn Cộng Vector CUDA

1 CUDA - Các khái niệm cấp cao

2 Mô hình Lập trình CUDA

3 Vòng lặp for Song song CUDA

4 Luồng, Khối và Lưới trong CUDA

5 Mô hình Bộ nhớ CUDA

6 Đồng bộ hóa trong CUDA

7 Ví dụ: Bình phương một Mảng trong CUDA

1 Giới thiệu

2 GPU AMD

3 Các khái niệm

4 Kiến trúc AMD

1 HIP

2 Kernel HIP

3 Mô hình Bộ nhớ HIP

4 Ví dụ Ma trận HIP với đồng bộ

5 Công cụ HIP

6 Hipify

7 Thư viện HIP

8 Thư viện HIP (nâng cao)

9 Mở rộng GPU AMD (đa GPU)

1 Cụm AWS Parallel HPC là gì?

2 Triển khai Cụm AWS HPC

3 Cấu hình AWS HPC

4 Cách nó hoạt động?

5 Hàng đợi Công việc AWS HPC

6 Chạy mã Song song trên AWS HPC

1 Làm thế nào để có được Sân chơi Tương tác cho Khóa học này?

2 Truy cập Sân chơi Tương tác

3 Ghi chú Kết luận

4 Tài liệu tham khảo

Giới thiệu khóa học

Welcome to the First-ever High Performance Computing (HPC) Systems course on the Udemy platform. The goal main of this course is to introduce you with the HPC systems and its software stack. This course has been specially designed to enable you to utilize parallel & distributed programming and computing resources to accelerate the solution of a complex problem with the help of HPC systems and Supercomputers. You can then use your knowledge in Machine learning, Deep learning, Data Sciences, Big data and so on.

HPC clusters typically have a large number of computers (often called ‘nodes’) and, in general, most of these nodes would be configured identically. Though from the out side the cluster may look like a single system, the internal workings to make this happen can be quite complex. This idea should not be confused with a more general client-server model of computing as the idea behind clusters is quite unique. Cluster computing utilize multiple machines to provide a more powerful computing environment perhaps through a single operating system.

WHAT DO YOU LEARN?

A Little bit of Supercomputing history, Supercomputing examples, Supercomputers vs. HPC clusters, HPC clusters computers, Benefits of using cluster computing.
Components of a High Performance Systems (HPC) cluster, Properties of Login node(s), Compute node(s), Master node(s), Storage node(s), HPC networks and so on.
Introduction to PBS, PBS basic commands, PBS `qsub`, PBS `qstat`, PBS `qdel` command, PBS `qalter`, PBS job states, PBS variables, PBS interactive jobs, PBS arrays, PBS MATLAB example
Introduction to Slurm, Slurm commands, A simple Slurm job, Slurm distrbuted MPI and GPU jobs, Slurm multi-threaded OpenMP jobs, Slurm interactive jobs, Slurm array jobs, Slurm job dependencies
OpenMP basics, Open MP - clauses, worksharing constructs, OpenMP- Hello world!, reduction and parallel `for-loop`, section parallelization, vector addition,
MPI - hello world! send/ receive and `ping-pong`
Parallel programming - GPU and CUDA: Finally, it gives you a concise beginner friendly guide to the GPUs - graphics processing units, GPU Programming - CUDA, CUDA - hello world and so on! We understand that CUDA is a difficult API, particularly the memory models. We have added some easy to understand CUDA lessons with examples to make your life easy and comfortable to grasp the basics fast!
Parallel programming - AMD GPU and HIP (New! Aug 2023): Learn parallel programming on AMD GPU's with ROCm and HIP from basic concepts to advance implementations. We will start our discussion by looking at basic concepts including AMD GPU programming, execution model, and memory model. Then we will show you how to implement algorithms using ROCm and HIP.
AWS HPC: With the recent advantage of the faster Cloud technologies, AWS provides the most elastic and scalable cloud infrastructure to run your HPC applications. With virtually unlimited capacity, engineers, researchers, and HPC system owners can innovate beyond the limitations of on-premises HPC infrastructure. We have added lectures to show and tell you on how to build a AWS HPC cluster and how to run codes -easily!

Based on your earlier feedback, we are introducing a Zoom live class lecture series on this course through which we will explain different aspects of the Parallel and distributed computing and the High Performance Computing (HPC) systems software stack: Slurm, PBS Pro, OpenMP, MPI and CUDA! Live classes will be delivered through the Scientific Programming School, which is an interactive and advanced e-learning platform for learning scientific coding. Students purchasing this course will receive free access to the interactive version (with Scientific code playgrounds) of this course from the Scientific Programming School (SCIENTIFIC PROGRAMMING IO). Instructions to join are given in the additional contents section.

DISCLAIMER

We created here a total of one university semester worth of knowledge (valued USD $2500-6000) into one single video course, and hence, it's a high-level overview. Don't forget to join our Q&A live community where you can get free help anytime from other students and the instructor. This awesome course is a component of the Learn Scientific Computing master course.