Sử Dụng pgvector để Tìm Kiếm Vector trong PostgreSQL: Ưu Điểm, Hạn Chế và Giải Pháp Thực Tiễn

Mở Đầu

Tổng quan về pgvector và Tìm kiếm Vector trong PostgreSQL

1. Giới thiệu về pgvector

2. Tại sao cần tìm kiếm kết hợp với bộ lọc?

3. Khó khăn trong việc kết hợp index vector và bộ lọc

Thí Nghiệm Với Bộ Dữ Liệu Giả Lập Trên pgvector

1. Chuẩn bị môi trường

docker run --name pgv -d -e POSTGRES_PASSWORD=franck pgvector/pgvector:0.8.0-pg17
docker exec -it pgv psql -U postgres
create extension if not exists vector;

2. Tạo dữ liệu thử nghiệm

create function random_embedding(dimensions int) returns vector as
$$
select array(select random()::real from generate_series(1, dimensions))::vector
$$
language sql;

create table embeddings_table (
  id bigserial primary key,
  color text,
  embedding vector(512)
);

insert into embeddings_table (embedding, color)
select random_embedding(512), (array['red', 'green', 'blue'])[generate_series(1, 2000000) % 3 + 1];

3. Tạo chỉ mục HNSW theo cosine similarity:

create index i1 on embeddings_table using hnsw (embedding vector_cosine_ops);

4. Ví dụ truy vấn tìm 15 điểm gần nhất theo cosine similarity, lọc màu xanh "green":

select id, color, embedding <=> :'random_embedding' as nn_cosine
from embeddings_table
where color='green'
order by nn_cosine
limit 15;

So Sánh Tìm Kiếm Chính Xác (ENN) và Gần Đúng (ANN)

1. Tìm kiếm chính xác (ENN) - Full Table Scan

set enable_indexscan to off;

select id, color, embedding <=> :'random_embedding' as enn_cosine
from embeddings_table
where color='green'
order by enn_cosine
limit 15;

2. Tìm kiếm gần đúng (ANN) sử dụng chỉ mục HNSW

set enable_indexscan to on;

3. Nguyên nhân mất kết quả khi post-filtering

Tác Động của Post-filtering trên Độ Chính Xác (Recall)

1. Khái niệm Recall

Theo  MongoDB glossary : Recall reflects how close the approximate algorithm's result is to the exact nearest neighbors.

2. Bảng tóm tắt thí nghiệm mất kết quả khi post-filtering

3. Kết luận

Giải Pháp Thực Tiễn và Tối Ưu Trong PostgreSQL

1. Partial Index để mô phỏng Pre-filtering

create index i2 on embeddings_table using hnsw (embedding vector_cosine_ops) where color = 'green';

select id, color, embedding <=> :'random_embedding' ann_cosine
from embeddings_table
where color = 'green'
order by ann_cosine
limit 15;

2. Điều chỉnh tham số chỉ mục HNSW

set hnsw.ef_search = 100;

3. Kích hoạt iterative scan

4. Phân vùng bảng (Partitioning)

Tổng Kết và Đề Xuất

Tham Khảo