Xây Dựng Đường Ống Dữ Liệu Web AI Thông Minh: n8n + Scrapeless + Claude + Qdrant

Lê Lân

21/06/2025

Hướng Dẫn Xây Dựng Pipeline Dữ Liệu Web AI Toàn Diện với n8n, Scrapeless, Claude và Qdrant

Mở Đầu

Trong thời đại dữ liệu chi phối mọi lĩnh vực, việc khai thác và xử lý nội dung web một cách hiệu quả trở thành yếu tố then chốt giúp doanh nghiệp cạnh tranh và phát triển.

Tuy nhiên, web scraping truyền thống ngày càng đối mặt nhiều thách thức như các cơ chế chống bot, việc tải và xử lý JavaScript phức tạp, cùng nhu cầu bảo trì liên tục. Bên cạnh đó, dữ liệu web thường ở dạng không cấu trúc, đòi hỏi các công nghệ tiên tiến để trích xuất và xử lý thông tin một cách thông minh.

Bài viết này sẽ hướng dẫn bạn xây dựng một pipeline dữ liệu web hoàn chỉnh dựa trên n8n workflow automation, Scrapeless để lấy dữ liệu web vượt qua JavaScript, Claude AI hỗ trợ trích xuất thông tin thông minh, cùng cơ sở dữ liệu vector Qdrant để lưu trữ ngữ nghĩa. Pipeline này thích hợp cho nhiều ứng dụng như xây dựng kiến thức, nghiên cứu thị trường hay phát triển trợ lý AI.

Tổng Quan Về Công Nghệ Sử Dụng

Scrapeless Web Unlocker

Khả năng lấy dữ liệu trang web có JavaScript động

Bỏ qua cơ chế chống bot truyền thống

Claude 3.7 Sonnet

Trí tuệ nhân tạo trích xuất và cấu trúc dữ liệu

Giúp xử lý dữ liệu thô thành JSON có cấu trúc

Ollama Embeddings

Sinh vector nhúng từ đoạn văn bản cục bộ

Tăng hiệu quả tìm kiếm theo ngữ nghĩa

Qdrant Vector Database

Lưu trữ và truy xuất dữ liệu dạng vector

Hỗ trợ tìm kiếm thông minh, tương quan ý nghĩa

Hệ Thống Thông Báo

Cập nhật trạng thái pipeline theo thời gian thực thông qua webhook

Phần 1: Cài Đặt Và Thiết Lập Môi Trường

1.1 Cài Đặt n8n

Cần Node.js phiên bản v18, v20 hoặc v22

Kiểm tra phiên bản Node.js:

node -v

Nếu không tương thích, cài đặt NVM để quản lý phiên bản:

curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.5/install.sh | bash
nvm install 20
nvm use 20

Cài đặt n8n toàn cục:

npm install n8n -g

Khởi chạy n8n, truy cập qua địa chỉ: http://localhost:5678

1.2 Thiết Lập API Claude

Đăng ký và đăng nhập tại Anthropic Console

Truy cập phần API Keys → Tạo khóa API mới với quyền phù hợp

Sao chép API key để sử dụng trong các node liên quan của n8n (AI Data Checker, Claude Data Extractor, Claude AI Agent)

1.3 Thiết Lập Scrapeless

Tạo tài khoản tại Scrapeless

Ở Dashboard, vào mục Universal Scraping API để lấy token

Token này sẽ được gán cho node HTTP Request trong n8n để thực hiện thu thập dữ liệu web

1.4 Cài Đặt Qdrant Với Docker

Kéo ảnh Docker của Qdrant:

docker pull qdrant/qdrant

Chạy container Qdrant với persistent volume:

docker run -d \
--name qdrant-server \
-p 6333:6333 \
-p 6334:6334 \
-v $(pwd)/qdrant_storage:/qdrant/storage \
qdrant/qdrant

Kiểm tra trạng thái server:

curl http://localhost:6333/healthz

1.5 Cài Đặt Ollama Embeddings

Hệ điều hành	Cách cài đặt
macOS	`brew install ollama`
Linux	`curl -fsSL	sh`
Windows	Tải từ trang

Khởi động server Ollama:

ollama serve

Tải model embeddings:

ollama pull all-minilm

Xem danh sách model:

ollama list

Phần 2: Thiết Kế Workflow n8n

2.1 Tổng Quan Workflow

Chuỗi node chính:

Manual/Scheduled Trigger: Khởi động workflow

Collection Check: Kiểm tra tồn tại collection Qdrant

URL Configuration: Thiết lập URL mục tiêu và tham số

Scrapeless Web Request: Lấy HTML trang web

Claude Data Extraction: Trích xuất và xử lý dữ liệu

Format Claude Output: Định dạng kết quả cho vector hóa

Ollama Embeddings Generation: Tạo vector embeddings

Qdrant Vector Storage: Lưu trữ embeddings và metadata

Notification: Thông báo trạng thái qua webhook

2.2 Cập Nhật Bước 1: Cấu Hình Trigger và Kiểm Tra Collection

Thêm node Manual Trigger để bắt đầu thủ công hoặc node Schedule cho tự động hóa

Thêm HTTP Request node gọi API Qdrant để kiểm tra collection đã tồn tại hay chưa. Nếu chưa có, sẽ tự tạo mới.

Lưu ý: Nếu bạn đổi tên collection từ "hacker-news", phải cập nhật tên này đồng bộ trong tất cả các node tham chiếu.

2.3 Bước 2: Cấu Hình Scrapeless Web Request

Thêm HTTP Request node lấy dữ liệu web thu thập qua Scrapeless

Thay thế YOUR_API_TOKEN với token thật từ Scrapeless dashboard

Có thể tuỳ chỉnh thêm các tham số như proxy, tài nguyên chặn tải, hướng dẫn JavaScript render...

Ví dụ lệnh curl cấu hình:

curl -X POST "https://api.scrapeless.com/api/v1/unlocker/request" \
-H "Content-Type: application/json" \
-H "x-api-token: YOUR_API_TOKEN" \
-d '{ "actor": "unlocker.webunlocker", "proxy": { "country": "ANY" }, "input": { "url": "https://www.scrapeless.com", "method": "GET", "redirect": true, "js_render": true, "js_instructions": [{"wait":100}], "block": { "resources": ["image","font","script"], "urls": ["https://example.com"] } } }'

2.4 Bước 3: Trích Xuất Dữ Liệu Bằng Claude

Thêm node gọi API Claude để phân tích HTML thu được

Cung cấp key API Claude để xác thực

Claude sẽ xử lý và trả về dữ liệu dạng JSON có cấu trúc sẵn

2.5 Bước 4: Định Dạng Kết Quả Claude

Node này biến đổi đầu ra Claude thành định dạng phù hợp cho việc vector hóa

Trích xuất các trường cần thiết, loại bỏ dữ liệu thừa

2.6 Bước 5: Sinh Embeddings với Ollama

Gửi dữ liệu văn bản đã chuẩn bị tới Ollama để tạo vector nhúng

Đảm bảo Ollama server đang chạy và model all-minilm đã được tải

2.7 Bước 6: Lưu Trữ Vector Trong Qdrant

Node cuối cùng lưu embeddings cùng metadata vào collection Qdrant

Hỗ trợ truy vấn và tìm kiếm ngữ nghĩa trong tương lai

2.8 Bước 7: Hệ Thống Thông Báo

Node gửi thông báo trạng thái của workflow (thành công/ lỗi) qua webhook

Giúp giám sát và xử lý kịp thời các vấn đề phát sinh

Phần 3: Khắc Phục Sự Cố Thường Gặp

3.1 Vấn Đề Phiên Bản Node.js Với n8n

Lỗi mẫu: "Your Node.js version X is currently not supported by n8n."

Giải pháp: Cài đặt và sử dụng NVM để chuyển sang phiên bản Node.js v18.17.0, 20 hoặc 22.

3.2 Lỗi Kết Nối API Scrapeless

Kiểm tra token API có chính xác không

Kiểm tra giới hạn rate limit API

Đảm bảo URL yêu cầu đúng chuẩn

3.3 Lỗi Sinh Embeddings Ollama

Lỗi phổ biến: connect ECONNREFUSED ::1:11434

Kiểm tra Ollama server đã khởi động ( ollama serve )

Kiểm tra model đã được tải chưa ( ollama pull all-minilm )

Thay đổi dùng IP 127.0.0.1 thay vì localhost

Kiểm tra port 11434 không bị chiếm dụng bởi tiến trình khác

Phần 4: Mở Rộng Và Ứng Dụng Nâng Cao

4.1 Xử Lý Nhiều URL Theo Lô

Dùng node Split In Batches để chia xử lý song song nhiều URL

Thêm error handling riêng cho từng lô

Kết quả được tổng hợp lại bằng node Merge

4.2 Cập Nhật Dữ Liệu Theo Lịch Trình

Thay thế Manual Trigger bằng Schedule node để tự động chạy định kỳ

Cấu hình tần suất cập nhật: hàng ngày, tuần hoặc tùy ý

Sử dụng node If lọc chỉ những nội dung mới hoặc đã thay đổi

4.3 Mẫu Trích Xuất Tùy Chỉnh Với Claude

Biên soạn prompt riêng cho loại nội dung: bài báo, sản phẩm, tài liệu kỹ thuật...

Sử dụng Switch node chọn đúng mẫu cho từng loại trang

Lưu template trong biến môi trường dễ dàng chỉnh sửa

Kết Luận

Pipeline dữ liệu web AI này tích hợp mạnh mẽ Scrapeless, Claude AI, Ollama embeddings và Qdrant, giúp tự động hóa quy trình thu thập và xử lý dữ liệu phức tạp thành thông tin có cấu trúc và khai thác được bằng AI.

Với tính mô-đun và khả năng mở rộng của n8n, bạn có thể dễ dàng tùy chỉnh, bổ sung bước trung gian hoặc kết nối với hệ thống khác theo nhu cầu. Đây là nền tảng rất hữu ích cho việc xây dựng kho tri thức AI, phân tích đối thủ hay giám sát nội dung website.

Hãy bắt đầu triển khai và khai thác sức mạnh của dữ liệu web ngay hôm nay!

Tham Khảo

n8n Documentation

Scrapeless Official Site

Claude AI - Anthropic

Qdrant Vector Search

Ollama Embeddings

Docker Documentation

Node.js Version Management with NVM

Best Practices in Web Scraping