Ưu đãi trong tuần: Nhập mã UD50 giảm 50k cho đơn từ 300k!
Trang chủ
Đăng nhập
Xem tất cả kết quả
Menu
Đăng nhập Đăng ký miễn phí

Snowpark : Data engineering with Snowflake.

Snowpark: Kỹ thuật dữ liệu với Snowflake.

Snowpark: Kỹ thuật dữ liệu với Snowflake.

Tìm hiểu kiến thức cơ bản về Snowflake Snowpark API.

4.5
(650 đánh giá)
6,929 học viên
Giảng viên
Pradeep H C
Phụ đề Việt chất lượng cao Phụ đề tiếng Anh Bán chạy Đánh giá cao
50.000đ 349.000đ -86%
✓ Xem giỏ hàng và thanh toán
Bao gồm phụ đề tiếng Việt, tiếng Anh
13.0 giờ video
180 bài giảng
1 bài quiz
Truy cập vĩnh viễn
Học trên mọi thiết bị
Cập nhật: 30/05/2026
#Cloud Computing #Data Engineering #Python #Snowflake

Bạn sẽ học được gì

Kết nối Snowpark API với Snowflake.
Các thao tác đọc và ghi cơ bản sử dụng Snowpark.
Những điều nên và không nên làm khi sử dụng Snowpark.
Xây dựng các thành phần dữ liệu và pipeline dữ liệu cơ bản.

Yêu cầu

Kiến thức cơ bản về Python.

Đối tượng phù hợp

Dành cho nhà phát triển muốn tìm hiểu Snowflake-Snowpark.

Nội dung khóa học

21 phần • 171 bài giảng
1 Thiết lập môi trường phát triển
2 Cài đặt các gói Python cần thiết
3 Tài khoản Snowflake
4 Giới thiệu về Snowpark
5 Kiểm tra kết nối đầu tiên
6 Thực hành: Kiến thức cơ bản về Snowpark (Phần 1)
7 Thực hành: Kiến thức cơ bản về Snowpark (Phần 2)
8 Tóm tắt mô-đun & Điểm chính
9 [Tùy chọn] - Dữ liệu sử dụng trong khóa học
1 Tạo DataFrames (Phần 1)
2 Tạo DataFrames (Phần 2)
3 Áp dụng Schema cho DataFrames
4 Tạo DataFrames (Phần 3)
5 Tạo DataFrames (Phần 4)
6 Đọc từ bảng Snowflake (Phần 1)
7 Đọc file CSV từ S3
8 Đọc file JSON từ S3
1 Giới thiệu về thao tác Ghi trong Snowpark
2 Ghi dữ liệu JSON từ S3 vào bảng Snowflake
3 Ghi dữ liệu CSV từ S3 vào bảng Snowflake
1 Ghi dữ liệu sử dụng lệnh Copy
1 Phép tổng hợp (Aggregations) trong Snowpark
2 Thao tác Nhóm (Group By) (Phần 1)
3 Thao tác Nhóm (Group By) (Phần 2)
4 Hàm cửa sổ (Window Functions) trong Snowpark
5 Phép kết nối (Joins) trong Snowpark
6 Sử dụng mệnh đề IN trong Snowpark
1 Chuẩn bị dữ liệu
1 Giới thiệu
2 Tải tài nguyên
3 Điều kiện tiên quyết: Thiết lập GitHub Codespaces
4 Điều kiện tiên quyết – Tạo Stage trong Snowflake
5 Tạo thành phần Kết nối Snowflake (Phần 1)
6 Tạo thành phần Kết nối Snowflake (Phần 2)
7 Sao chép dữ liệu vào bảng Snowflake
8 Tạo file cấu hình
9 Thu thập và xử lý các bản ghi bị từ chối
10 Sao chép dữ liệu bán cấu trúc (Phần 1)
11 Sao chép dữ liệu bán cấu trúc (Phần 2)
12 Ánh xạ cột (Mapping Columns) trong Snowpark
13 Ánh xạ cột: Giải pháp & Triển khai
14 Tóm tắt & Điểm chính
1 Các khái niệm nâng cao
1 Giới thiệu về Python UDFs trong Snowpark
2 Tài nguyên phần này.
3 Điều kiện tiên quyết – Kích hoạt các gói Anaconda Python
4 Thực hành: Python UDF hoạt động
5 Snowpark Python UDF: Bên trong hoạt động
6 Snowpark Python UDFs: Các phương pháp và cách tiếp cận
7 Sử dụng các gói Anaconda trong Snowpark
8 Python UDF dạng Vector trong Snowpark
9 Gọi các gói Python bên ngoài trong Snowpark
10 Tóm tắt & Điểm chính
1 Giới thiệu về Python Procedures
2 Tài nguyên phần này
3 Tình huống
4 Giải quyết bằng python
5 Giải quyết bằng snowpark procedure
6 Tạo procedure sử dụng decorator
7 So sánh Procedure và UDF
1 Tài nguyên phần này.
2 Giới thiệu Snowpark UDTF.
3 Tài nguyên phần này
4 Demo UDTF
5 Tại sao chúng ta cần UDTF
6 Tìm hiểu sâu hơn về UDTF
7 Làm cho UDTF nhận biết phân vùng (partition aware)
8 UDTF của Snowflake
9 Thử giải quyết (thử thách)
10 Giải pháp
11 Giải thích thêm
12 Trường hợp giới hạn.
1 Giới thiệu mô-đun
1 Bạn đang ở đây !!
2 Thiết lập môi trường phát triển - 1
3 Thiết lập môi trường phát triển - 2
4 Thiết lập VS Code
5 Thiết lập Snowpark.
6 Thiết lập kết nối.
7 Tạo dự án Snowpark.
8 Hiểu các file dự án.
9 Build và Deploy code.
10 Kiểm tra hàm và procedure.
11 Tóm tắt
1 Bạn đang ở đây !!
2 Github actions
3 Tạo tài khoản Snowflake.
4 Thêm file workflow yml
5 Cấu hình GitHub secrets.
6 Deploy lên môi trường dev
7 Deploy lên môi trường QA.
1 Bạn đang ở đây !!
2 Giới thiệu
3 Thêm procedure mới vào dự án
4 Cấu hình kết nối
5 Tạo task Snowflake
6 Tạo task DAG
7 Tạo workflow DAG.
8 Thực thi workflow DAG.
9 Tạo sự phụ thuộc (dependency)
10 Phân nhánh task - P1
11 Phân nhánh task - P2
12 Deploy sử dụng CICD - Phần 1
13 Deploy sử dụng CICD - Phần 2
1 Bạn đang ở đây !!
2 Giới thiệu pipeline dữ liệu
3 Code liên quan phần này
4 Cách tiếp cận
5 Thiết lập dự án
6 Thử thách-1
7 Giải pháp - Tạo hàm và procedure
8 Giải pháp - Tiếp tục
9 Giải pháp - Deploy code
10 Thử thách-2
11 Giải pháp - Tạo DAG
12 Cách tiếp cận Stage to target
13 Giải pháp - Bước 1
14 Giải pháp - Bước 2
15 Cách tiếp cận Copy SQL file - 1
16 Cách tiếp cận Copy SQL file - 2
17 Thực thi workflow - P1
18 Thực thi workflow - P2
19 Tóm tắt
1 Giới thiệu
2 Thiết lập Git Codespaces
3 Codebase trên GitHub
4 Khái niệm tổng quan
5 Từ API đến hệ thống file cục bộ
6 Thiết lập MinIO S3
7 Từ API đến thiết lập S3 cục bộ
8 Tạo người dùng và access key AWS
9 Thêm GitHub secrets
10 Tạo template tài nguyên AWS.
11 Chỉnh sửa template tài nguyên AWS
12 Deploy stack sử dụng AWS CLI
13 Thực thi Glue job
14 Tạo GitHub action
15 Giới thiệu pipeline end-to-end
16 Hợp nhất repositories
17 Deploy pipeline end-to-end sử dụng CICD
18 Cập nhật AWS resource stack
19 Kích hoạt task Snowflake sử dụng Glue
20 Thêm AWS secrets
21 Tóm tắt
1 Giới thiệu phần
2 Code tham khảo phần này.
3 Cách tiếp cận ELT không dùng DBT
4 Tìm hiểu cách tiếp cận DBT
5 Cấu hình môi trường DBT
6 Tạo dự án DBT
7 Vấn đề với các câu truy vấn SQL
8 Demo DBT Seed
9 Demo DBT Stage models
10 Demo DBT models
11 Demo DBT macro
12 Thư mục target DBT
13 Demo DBT test
14 Giới thiệu DBT snapshot
15 Demo DBT snapshot
16 Vấn đề với DBT
17 Lệnh DBT build
18 Tạo tài liệu DBT
19 Tích hợp Git với Snowflake
20 Deploy dự án DBT trong Snowflake
21 Giới thiệu Deploy sử dụng SnowCLI
22 Demo Deploy sử dụng SnowCLI
23 Demo Deploy sử dụng CICD
24 Giới thiệu các khái niệm nâng cao
25 Tạo DBT models bằng Python
26 Tạo DBT models bằng Snowpark
27 Tải dữ liệu tăng dần (Incremental loads) trong DBT

Giới thiệu khóa học



What is Snowpark ?

With Snowpark, Snowflake allows developers to write code in their preferred language.

Along with Snowflake’s original SQL interface now snowflake allows you to write code in,

         1. Python

         2. Scala

         3. Java

Some of the key features of Snowpark are,

  1. Your code will be pushed to snowflake leveraging the compute power of snowflake warehouses.

  2. You will not end up exporting data to different environment but rather your code is shipped to the data.

  3. You can build complex data pipelines or data products using Snowpark


Snowpark also address below overheads in conventional data pipelines,

  1. Long startup time of node clusters: Systems like Hadoop and Spark requires cluster of nodes to process data. Most of the time it takes 5-10 minutes to just start the cluster. In case of Snowpark we will be using snowflake warehouse to process our data.

  2. Problem of small files , Problem of using right joins to shuffle data across nodes, Problem of garbage collection. uncertainty when the compute nodes goes down.


    All the above problems are well handled with Snowpark.

What you will learn ?

You will learn the basics of SNOWPARK API.

    > Basic read and write operations.

    > Read data from s3 and load that to snowflake table.

    > We will do deep analysis of how SNOWPARK API works.

    > Do's and Don'ts of SNOWPARK.

    > Build data components to process data.

    > Build data pipeline to process data.

Khóa học liên quan

Khám phá thêm các khoá học cùng chủ đề

Hiển thị tất cả khoá học Cloud Computing
Hiển thị tất cả khoá học Data Engineering
Hiển thị tất cả khoá học Python
Hiển thị tất cả khoá học Snowflake
Zalo
Tôi có thể tư vấn khoá học cho bạn 😊