Trích Xuất Dữ Liệu Hồ Sơ Bệnh Án từ Google Drive bằng OpenAI và CocoIndex

Lê Lân

14/07/2025

Hướng Dẫn Sử Dụng OpenAI API Để Trích Xuất Dữ Liệu Cấu Trúc Từ Mẫu Đơn Tiếp Nhận Bệnh Nhân Đa Định Dạng

Mở Đầu

Trong thời đại số, khả năng tự động trích xuất dữ liệu từ các biểu mẫu bệnh nhân giúp nâng cao hiệu quả quản lý và chăm sóc sức khỏe một cách đáng kể. Việc xử lý nhiều định dạng tập tin như PDF, DOCX trên Google Drive càng phổ biến và đòi hỏi giải pháp linh hoạt.

Bài viết này sẽ hướng dẫn bạn từng bước sử dụng OpenAI API phối hợp cùng công cụ CocoIndex để trích xuất dữ liệu có cấu trúc từ các mẫu đơn tiếp nhận bệnh nhân với nhiều định dạng khác nhau, dễ dàng tích hợp dữ liệu vào hệ thống quản lý y tế. Nội dung bao gồm thiết lập, xây dựng mã nguồn, kiểm thử và gợi ý xử lý sự cố.

1. Chuẩn Bị Môi Trường Và Công Cụ

1.1 Cài Đặt Postgres

Nếu bạn chưa có Postgres trên máy, vui lòng tham khảo hướng dẫn cài đặt chính thức tại: Hướng dẫn cài đặt Postgres

1.2 Kích Hoạt Truy Cập Google Drive Bằng Service Account

Để truy xuất mẫu đơn nằm trong Google Drive, bạn cần kích hoạt quyền truy cập bằng Service Account. Hướng dẫn chi tiết tại:

Hướng dẫn Google Drive

Blog minh họa từng bước kèm ảnh: Bật Google Drive Access

1.3 Chuẩn Bị Tập Tin Mẫu Để Thử Nghiệm

Đã có sẵn các mẫu đơn nhân tạo trong Google Drive theo đường dẫn: Google Drive mẫu đơn Ngoài ra, có thể tải trên GitHub: GitHub repo mẫu đơn

Nguồn các biểu mẫu PDF được tham khảo tại: getfreed.ai Patient Intake Form Template

2. Xác Định Schema Dữ Liệu Đầu Ra

2.1 Chuẩn Hóa Thông Tin Bệnh Nhân

Để trích xuất chính xác, chúng ta sẽ thiết kế schema bệnh nhân dựa theo chuẩn FHIR - Patient Resource: FHIR Patient Resource

Dưới đây là ví dụ schema được rút gọn sử dụng Python dataclasses :

@dataclasses.dataclass
class Contact:
    name: str
    phone: str
    relationship: str

@dataclasses.dataclass
class Address:
    street: str
    city: str
    state: str
    zip_code: str

@dataclasses.dataclass
class Pharmacy:
    name: str
    phone: str
    address: Address

@dataclasses.dataclass
class Insurance:
    provider: str
    policy_number: str
    group_number: str | None
    policyholder_name: str
    relationship_to_patient: str

@dataclasses.dataclass
class Condition:
    name: str
    diagnosed: bool

@dataclasses.dataclass
class Medication:
    name: str
    dosage: str

@dataclasses.dataclass
class Allergy:
    name: str

@dataclasses.dataclass
class Surgery:
    name: str
    date: str

@dataclasses.dataclass
class Patient:
    name: str
    dob: datetime.date
    gender: str
    address: Address
    phone: str
    email: str
    preferred_contact_method: str
    emergency_contact: Contact
    insurance: Insurance | None
    reason_for_visit: str
    symptoms_duration: str
    past_conditions: list[Condition]
    current_medications: list[Medication]
    allergies: list[Allergy]
    surgeries: list[Surgery]
    occupation: str | None
    pharmacy: Pharmacy | None
    consent_given: bool
    consent_date: datetime.date | None

Lưu ý: Schema này giúp chuẩn hóa dữ liệu, tăng khả năng tương thích với các hệ thống y tế hiện đại.

3. Định Nghĩa Luồng Dữ Liệu Với CocoIndex

3.1 Thêm Google Drive Là Nguồn Dữ Liệu

@cocoindex.flow_def(name="PatientIntakeExtraction")
def patient_intake_extraction_flow(flow_builder: cocoindex.FlowBuilder, data_scope: cocoindex.DataScope):
    """Định nghĩa flow trích xuất dữ liệu bệnh nhân từ các biểu mẫu."""
    credential_path = os.environ["GOOGLE_SERVICE_ACCOUNT_CREDENTIAL"]
    root_folder_ids = os.environ["GOOGLE_DRIVE_ROOT_FOLDER_IDS"].split(",")

    data_scope["documents"] = flow_builder.add_source(
        cocoindex.sources.GoogleDrive(
            service_account_credential_path=credential_path,
            root_folder_ids=root_folder_ids,
            binary=True
        )
    )
    patients_index = data_scope.add_collector()

3.2 Chuyển Đổi Tập Tin Đa Định Dạng Sang Markdown

Sử dụng thư viện MarkItDown để chuyển đổi các tập tin PDF, DOCX, Excel, Image sang Markdown, nhờ đó dễ dàng xử lý tiếp theo.

class ToMarkdown(cocoindex.op.FunctionSpec):
    """Chuyển đổi tài liệu sang markdown."""

@cocoindex.op.executor_class(gpu=True, cache=True, behavior_version=1)
class ToMarkdownExecutor:
    spec: ToMarkdown
    _converter: MarkItDown

    def prepare(self):
        client = OpenAI()
        self._converter = MarkItDown(llm_client=client, llm_model="gpt-4o")

    def __call__(self, content: bytes, filename: str) -> str:
        suffix = os.path.splitext(filename)[1]
        with tempfile.NamedTemporaryFile(delete=True, suffix=suffix) as temp_file:
            temp_file.write(content)
            temp_file.flush()
            text = self._converter.convert(temp_file.name).text_content
        return text

Tích hợp bước này vào luồng dữ liệu:

with data_scope["documents"].row() as doc:
    doc["markdown"] = doc["content"].transform(ToMarkdown(), filename=doc["filename"])

3.3 Trích Xuất Dữ Liệu Cấu Trúc Từ Markdown

CocoIndex cung cấp hàm xử lý ExtractByLlm dùng mô hình ngôn ngữ lớn GPT-4o của OpenAI để trích xuất các trường dữ liệu từ Markdown.

with data_scope["documents"].row() as doc:
    doc["patient_info"] = doc["markdown"].transform(
        cocoindex.functions.ExtractByLlm(
            llm_spec=cocoindex.LlmSpec(
                api_type=cocoindex.LlmApiType.OPENAI,
                model="gpt-4o"
            ),
            output_type=Patient,
            instruction="Please extract patient information from the intake form."
        )
    )
    patients_index.collect(
        filename=doc["filename"], 
        patient_info=doc["patient_info"],
    )

3.4 Xuất Dữ Liệu Đã Trích Xuất Ra Bảng Postgres

patients_index.export(
    "patients",
    cocoindex.storages.Postgres(table_name="patients_info"),
    primary_key_fields=["filename"],
)

Bạn đã xây dựng hoàn chỉnh luồng để đọc tài liệu, chuyển đổi, trích xuất và lưu trữ dữ liệu bệnh nhân có cấu trúc.

4. Đánh Giá Và Kiểm Tra Kết Quả

4.1 Kiểm Tra Chất Lượng Dữ Liệu Trích Xuất

Để đảm bảo độ chính xác, ta nên kiểm tra dữ liệu so với bộ "golden files" chuẩn.

Chạy lệnh:

python3 main.py cocoindex evaluate

Lệnh trên tạo thư mục chứa dữ liệu đã trích xuất để bạn so sánh với bộ dữ liệu chuẩn.

4.2 So Sánh Kết Quả Với Dữ Liệu Chuẩn

Các công cụ được khuyên dùng:

Công cụ	Hệ điều hành	Mục đích
DirEqual	macOS	So sánh thư mục, tập tin
Meld	Linux/Windows	So sánh thư mục, tập tin

Ví dụ hình ảnh so sánh bằng DirEqual:

5. Xử Lý Sự Cố Và Gỡ Rối

5.1 Kiểm Tra Markdown Đầu Ra

Nếu mô hình LLM không hiểu đúng nội dung, có thể do Markdown được trích xuất kém. Sử dụng CocoInsight để duyệt kết quả:

python3 main.py cocoindex server -c https://cocoindex.io

Truy cập giao diện tại: https://cocoindex.io/cocoinsight

Bạn có thể:

Xem nội dung Markdown của từng tập tin.

Thử chạy lại với các phiên bản mô hình khác nhau.

Sửa thủ công nếu cần.

Example ảnh giao diện:

6. Truy Vấn Dữ Liệu Đã Trích Xuất

Sau khi hoàn tất cập nhật index theo lệnh:

python main.py cocoindex setup
python main.py cocoindex update

Bạn có thể kết nối vào Postgres để xem dữ liệu:

psql postgres://cocoindex:cocoindex@localhost/cocoindex

Và truy vấn:

select * from patients_info;

Giao diện bảng nhìn như sau:

Bạn cũng có thể dùng lại CocoInsight để dò dữ liệu.

7. Kết Luận

Sử dụng OpenAI API kết hợp với CocoIndex giúp bạn xây dựng pipeline tự động đáng tin cậy để trích xuất dữ liệu có cấu trúc từ mẫu đơn bệnh nhân đa định dạng trên Google Drive. Việc chuẩn hóa schema theo chuẩn FHIR, sử dụng công cụ chuyển đổi tập tin sang Markdown và khai thác khả năng hiểu ngôn ngữ tự nhiên của mô hình GPT-4o là chìa khóa thành công.

Hãy bắt đầu thử nghiệm với các file mẫu có sẵn, đảm bảo kiểm thử và xử lý các trường hợp ngoại lệ bằng CocoInsight. Đừng quên góp sao cho dự án CocoIndex trên GitHub nếu bạn thấy hữu ích.

Tham Khảo

FHIR Standard - Patient Resource

MarkItDown GitHub

CocoIndex Documentation

OpenAI API

DirEqual - macOS file comparison app

Meld - Linux/Windows diff tool

Patient intake form templates - getfreed.ai

GitHub Repository Patient Intake Extraction

GitHub Repository CocoIndex

CocoInsight UI Tool