Ưu đãi trong tuần: Nhập mã UD50 giảm 50k cho đơn từ 300k!
Trang chủ
Menu

Scrapy Unleashed: Master Python Web Scraping & Data Pipeline

Scrapy Bùng Nổ: Làm Chủ Thu Thập Dữ Liệu Web & Xây Dựng Pipeline Dữ Liệu với Python

Scrapy Bùng Nổ: Làm Chủ Thu Thập Dữ Liệu Web & Xây Dựng Pipeline Dữ Liệu với Python

Nâng Cấp Kỹ Năng Dữ Liệu: Học Cách Xây Dựng, Phân Tích và Tối Ưu Hóa Công Cụ Thu Thập Dữ Liệu Web Của Riêng Bạn với Scrapy

4.5
(64 đánh giá)
597 học viên
Giảng viên
Ahmed Elfakharany
Phụ đề Việt chất lượng cao Phụ đề tiếng Anh Bán chạy Đánh giá cao
50.000đ 1.159.000đ -96%
✓ Xem giỏ hàng và thanh toán
Bao gồm phụ đề tiếng Việt, tiếng Anh
6.5 giờ video
54 bài giảng
Truy cập vĩnh viễn
Học trên mọi thiết bị
Cập nhật: 30/05/2026

Bạn sẽ học được gì

Làm chủ sức mạnh của Scrapy, công cụ thu thập dữ liệu web hàng đầu của Python, để xây dựng pipeline trích xuất và xử lý dữ liệu của riêng bạn
Đi sâu vào cốt lõi của việc xử lý dữ liệu web, trang bị khả năng thu thập, phân tích và sử dụng dữ liệu từ khắp internet
Tích lũy kinh nghiệm thực hành, thực tế qua các dự án thực tế giúp nâng tầm portfolio và thể hiện năng lực của bạn với Scrapy và Python
Thu nhập những hiểu biết vô giá về thế giới năng động của thu thập dữ liệu web, chuẩn bị cho bạn sự nghiệp đa dạng trong khoa học dữ liệu, phát triển web và tiếp thị kỹ thuật số

Yêu cầu

Có kiến thức nền tảng về Python
Tất cả dự án đều chạy trên Python 3.10 nên bạn cần cài đặt phiên bản này
Quen thuộc với Linux được khuyến khích nhưng không bắt buộc
Quen thuộc với giao thức HTTP và HTML

Đối tượng phù hợp

Nhà Khoa Học Dữ Liệu Tương Lai: Những ai muốn bước vào lĩnh vực khoa học dữ liệu và muốn bổ sung kỹ năng thu thập dữ liệu web. Khóa học này là cơ hội hoàn hảo để học cách thu thập và xử lý dữ liệu từ web.
Nhà Phát Triển Web: Các lập trình viên quan tâm đến việc tìm hiểu thêm về trích xuất và thao tác dữ liệu. Họ có thể sử dụng các kỹ năng này để làm phong phú ứng dụng web của mình với dữ liệu thời gian thực từ nhiều nguồn.
Chuyên Gia Tiếp Thị Kỹ Thuật Số: Những người làm tiếp thị kỹ thuật số muốn thu thập dữ liệu từ website của đối thủ hoặc theo dõi tâm lý khách hàng trực tuyến sẽ được hưởng lợi rất nhiều từ việc hiểu về thu thập dữ liệu web.
Kỹ Sư Phần Mềm: Các kỹ sư muốn đa dạng hóa bộ kỹ năng của mình cũng sẽ được hưởng lợi. Khả năng trích xuất dữ liệu từ website bằng lập trình ngày càng trở thành một công cụ giá trị trong nhiều lĩnh vực như nghiên cứu thị trường, học máy, v.v.
Người Đam Mê Công Nghệ: Bất kỳ ai quan tâm đến Python, khoa học dữ liệu hoặc phát triển web, muốn mở rộng kỹ năng theo cách thực hành, thực tế.

Nội dung khóa học

10 phần • 54 bài giảng
1 Chào mừng
2 Làm thế nào để nhận được giá trị tối đa từ khóa học này? (vui lòng đừng bỏ qua)
3 Giới thiệu
4 Cài đặt Scrapy
1 Giới thiệu phần
2 Xpath 101: Các loại node
3 Xpath 102: Cú pháp cơ bản
4 XPath 103: Axes (Quan hệ giữa các Node)
5 Xem lại ví dụ thu thập dữ liệu web bất động sản của chúng ta
1 Giới thiệu phần
2 Bot web là gì? Có hợp đạo đức không?
3 Scrapy Shell
4 Tạo dự án Scrapy đầu tiên của bạn
5 Tạo spider Scrapy đầu tiên của bạn
6 Xử lý truy vấn kết hợp bằng phương thức getall()
7 Làm sạch dữ liệu bằng Item Loaders
8 Phân trang và theo dõi liên kết bằng Crawl Spiders
1 Giới thiệu phần
2 Đăng nhập vào website
3 Thay đổi user-agent
4 Xử lý yêu cầu AJAX 1
5 Xử lý yêu cầu AJAX 2
6 Xử lý yêu cầu AJAX 3
7 Lưu cache phản hồi
8 Thu thập hình ảnh
9 Lưu trữ hình ảnh thu thập được trên FTP và AWS S3
1 Giới thiệu phần
2 Vui lòng đọc trước khi tiếp tục (QUAN TRỌNG)
3 Giới thiệu và dự án mẫu (thu thập quảng cáo rao vặt)
4 Loại bỏ quảng cáo có tiêu đề trùng lặp
5 Loại bỏ quảng cáo không có số điện thoại
1 Giới thiệu phần
2 Lưu trữ dữ liệu thu thập được trong MongoDB
3 Lưu trữ dữ liệu thu thập được trong MySQL
4 Sử dụng Vault để lưu trữ cài đặt nhạy cảm của Scrapy
5 Lưu trữ dữ liệu vào AWS S3 bucket
6 Sử dụng Amazon Glue và Athena để truy vấn dữ liệu từ S3 (bài giảng bổ sung)
1 Giới thiệu phần
2 Dự án mẫu điện thoại và giới hạn tốc độ spider
3 Middleware xoay vòng user-agent
4 Middleware xoay vòng proxy
1 Giới thiệu phần
2 Splash là gì?
3 Giới thiệu về Docker (tùy chọn)
4 Dùng thử Splash
5 Tích hợp Scrapy với Splash
6 Xử lý trang có cuộn vô hạn bằng Splash
1 Giới thiệu phần
2 Selenium là gì?
3 Xem lại trang có cuộn vô hạn (medium.com)
4 Nhấp vào nút (Yahoo Finance)
1 Giới thiệu về Scrapyd và dự án mẫu
2 Triển khai Scrapyd trên máy cục bộ
3 Triển khai Scrapyd trên AWS

Giới thiệu khóa học

Welcome to "Scrapy Unleashed: Master Python Web Scraping & Data Pipelines," a comprehensive and practical course designed to provide you with the knowledge, skills, and techniques to become proficient in web scraping and data pipeline creation using Scrapy and Python.

Are you ready to unlock the power of data and transform your understanding of the digital world? If so, you're in the right place. Whether a beginner or a seasoned developer looking to expand your skills, this course will empower you to take your data-handling abilities to new heights.

Scrapy is a versatile Python framework for web scraping. It's a powerful tool that enables you to extract, process, and store web data efficiently. If you're looking to dive into the world of big data, web crawling, or data science, then Scrapy is a must-have skill in your toolkit.

Why choose this course?

  1. In-Depth Coverage: This course covers Scrapy from the ground up. You'll start with the basics and gradually delve into more complex topics. By the end of the course, you'll have a thorough understanding of Scrapy and how to use it effectively to scrape and process web data.

  2. Hands-On Learning: You'll learn by doing, with numerous practical examples and real-world projects to add to your portfolio. You'll build your web scrapers, create data pipelines, and learn how to handle standard web scraping challenges.

  3. ExpertGuidance: Your instructor is a seasoned developer with years of experience using Scrapy professionally. You'll benefit from their knowledge, insights, and practical tips.

  4. Ongoing Support: We're committed to providing you with the best learning experience possible. You'll have access to regular course updates, Q&A sessions, and a supportive community of learners.

  5. Applicable Skills: You'll learn high-demand skills in many fields, including data science, web development, and digital marketing.

Course Content and Structure

The course is divided into several key sections, each focusing on a different aspect of Scrapy. Here's what you can expect:

  • Introduction: We'll introduce you to Scrapy and its components. You'll understand web scraping, its usefulness, and where Scrapy fits the picture.

  • Getting Started with Scrapy: In this section, you'll install Scrapy and learn the basics of creating a Scrapy project. You'll also build your first simple web scraper

  • Data Extraction: Here, you'll learn how to extract data from websites. We'll cover topics like selectors, XPath, and CSS, and you'll get plenty of practice with hands-on exercises

  • Data Storage: You'll learn about Scrapy's built-in capabilities for storing scraped data. We'll cover different types of data storage, and you'll build your data pipelines.

  • Advanced Scrapy Concepts: In the later sections of the course, you'll delve into more advanced topics, such as handling dynamic websites, dealing with logins, and using Scrapy with Selenium.

  • Projects: Throughout the course, you'll work on several projects that allow you to apply what you've learned. These projects will also provide you with valuable material for your portfolio.

Who Should Take This Course?

This course suits anyone interested in web scraping, data science, or big data. It's ideal for:

  • Aspiring data scientists looking to add web scraping to their skillset.

  • Web developers interested in learning about data extraction and manipulation

  • Digital marketers who want to gather web data for insights and analysis

  • Students or professionals interested in learning about data collection and handling

Don't let the digital world pass you by. Harness the power of data and start your journey into the exciting world of web scraping with Scrapy. Enroll in "Scrapy Unleashed: Master Python Web Scraping & Data Pipelines" today and unlock your data potential!

Khóa học liên quan

Khám phá thêm các khoá học cùng chủ đề

Hiển thị tất cả khoá học Data Engineering
Hiển thị tất cả khoá học Data Pipelines
Hiển thị tất cả khoá học Python
Hiển thị tất cả khoá học Web Scraping
Zalo
Tôi có thể tư vấn khoá học cho bạn 😊