Tưởng Tượng Mà Xem: AI Kể Chuyện Hình Ảnh Theo Cách Riêng Của Bạn Thì Sao Nhỉ?

Lê Lân

23/06/2025

Personalized AI Narrator: Cách Mạng Truyền Thông Hình Ảnh Cho Người Khiếm Thị

Mở Đầu

Bạn đã bao giờ tưởng tượng cách người khiếm thị trải nghiệm hình ảnh trên mạng không chỉ bằng những mô tả cơ bản mà còn là sự thấu hiểu sâu sắc, phù hợp với thế giới quan của họ?

Thông thường, các mô tả hình ảnh và alt-text hiện nay chỉ cung cấp những nhãn đơn giản như "bức tranh của một người phụ nữ" hoặc "bông hoa". Điều này giới hạn khả năng tiếp cận thông tin phong phú ẩn chứa trong các hình ảnh, đặc biệt đối với những người có kiến thức chuyên môn hoặc đam mê riêng. Dự án "Personalized AI Narrator" ra đời với mục tiêu thay đổi điều đó. Triển khai trên nền tảng Vertex AI của Google Cloud, giải pháp này sử dụng các mô hình Gemini tiên tiến để tự động tạo ra các mô tả hình ảnh cá nhân hóa, phù hợp với sở thích và nhu cầu của từng người dùng. Bài viết này sẽ giới thiệu chi tiết cách thức hoạt động, những lợi ích và tiềm năng của công nghệ này trong việc mở rộng khả năng tiếp cận thông tin thị giác.

Giới Thiệu Personalized AI Narrator

Tại Sao Cần Cá Nhân Hóa Mô Tả Hình Ảnh?

Hiện tại, mô tả hình ảnh chuẩn (alt-text) thường rất chung chung, không thể đáp ứng nhu cầu đa dạng của người dùng. Ví dụ:

Một sinh viên mỹ thuật muốn biết về kỹ thuật nét vẽ và bối cảnh lịch sử của bức tranh.

Một nhà thực vật học cần biết chính xác loài hoa trong ảnh thay vì chỉ nghe “hoa”.

Việc đồng nhất hóa mô tả cho mọi người làm giảm chất lượng trải nghiệm và tạo ra sự bất bình đẳng về tiếp cận thông tin.

Nguyên Lý Hoạt Động

Personalized AI Narrator sử dụng một chuỗi các bước phối hợp AI trên nền tảng Vertex AI để tạo ra mô tả được cá nhân hóa:

Phân tích hình ảnh chi tiết: Mô hình đa phương tiện Gemini (gemini-1.5-pro-002) khai thác các chi tiết phong phú trong hình ảnh, tạo ra mô tả cơ sở đầy đủ.

Chuyển mô tả thành các đoạn nhỏ: Mô tả cơ sở được phân tách thành những câu độc lập.

Biểu diễn ngữ nghĩa: Mỗi đoạn câu và sở thích người dùng được mã hóa thành vector embeddings bằng mô hình (text-embedding-004).

Đo lường sự phù hợp: Tính toán độ tương đồng cosine để chọn ra các đoạn mô tả liên quan nhất đến sở thích người dùng.

Tổng hợp mô tả cá nhân hóa: Mô hình Gemini thế hệ tiếp theo (gemini-2.0-flash) nhận những đoạn liên quan cùng sở thích người dùng để tạo ra một bản tóm tắt cô đọng, phù hợp và có chiều sâu.

Chi Tiết Quy Trình Xử Lý

1. Phân Tích Hình Ảnh Chi Tiết

Mô hình Gemini-1.5 sử dụng khả năng nhận dạng hình ảnh đa phương tiện để xác định các yếu tố chính như:

Đối tượng cụ thể (ví dụ: loài bướm, loài hoa).

Màu sắc chi tiết, ánh sáng, bối cảnh.

Các chi tiết nền thêm sắc thái cho bức ảnh.

2. Tách và Mã Hóa Đoạn Văn Bản

Câu mô tả gốc được chia nhỏ thành những phần có ý nghĩa độc lập. Dữ liệu này sau đó được chuyển sang dạng vector embedding, một dạng đại diện số giúp bắt giữ ý nghĩa ngữ cảnh.

3. So Khớp Ngữ Nghĩa Với Sở Thích Người Dùng

Thông qua phép đo độ tương đồng cosine, hệ thống xác định các câu mô tả phù hợp nhất với sở thích cụ thể của người dùng, như thực vật học, nghệ thuật hay khoa học.

4. Tổng Hợp Mô Tả Cá Nhân Hóa

Dựa trên các câu được chọn, mô hình Gemini-2.0-flash tạo ra một bản tường thuật ngắn gọn, có trọng tâm, phản ánh đúng những gì người dùng muốn biết.

Đây là điểm đột phá: mô tả không còn là văn bản tĩnh chung chung, mà bây giờ là một câu chuyện phù hợp với từng cá nhân.

Trải Nghiệm Thực Tế: So Sánh Giữa Mô Tả Chung và Cá Nhân Hóa

Ví Dụ Hình Ảnh

Ảnh chú bướm Plain Tiger (Danaus chrysippus) trong khung cảnh thiên nhiên đậu trên loài hoa Blanket flower (Gaillardia) với nền lá xanh mướt.

Mô Tả Cơ Sở (Gemini Vision)

Xác định tên loài bướm, tên loài hoa.

Mô tả màu sắc và đặc điểm cánh bướm.

Mô tả sắc thái màu và hoa văn của hoa.

Nền mờ (bokeh effect), ánh sáng tự nhiên.

Mô Tả Cá Nhân Hóa

Người Dùng	Nội Dung Cá Nhân Hóa	Đánh Giá AI (Trên 5)
Evelyn (Nhà Thực Vật)	"Loài hoa Blanket flower với các cánh hoa chuyển sắc đỏ vàng đẹp mắt, phối hợp với màu xanh của cuống và lá tạo nên khung cảnh sinh thái sống động."	4
Anya (Sinh Viên Mỹ Thuật)	"Bức ảnh gần gũi phong cách thần thoại châu Âu với ánh sáng rực rỡ, tạo độ sâu nổi bật cho con bướm trên nền hoa mờ, gợi nhớ kỹ thuật sfumato nổi tiếng."	2

Mô tả cá nhân hóa cho Evelyn đạt điểm cao vì tập trung đúng chi tiết khoa học, còn mô tả cho Anya kém hơn do liên kết nghệ thuật chưa đủ cơ sở.

Trong Số Liệu và Mã Nguồn

Dưới đây là đoạn mã prompt đầu vào được sử dụng để hướng dẫn mô hình tạo ra mô tả cá nhân:

personalization_prompt = f"""
Act as [Role: Expert Narrator]
User Profile: Name: {persona_name}, Interests: {interests_string}
Relevant Context:
---{relevant_context} #<-- The Top 5 selected sentences
---
Task: Synthesize context concisely focusing on interests, grounded ONLY in context provided...
"""

Tiềm Năng Phát Triển và Tương Lai Của Digital Accessibility

Nhu Cầu Gia Tăng

Theo Tổ chức Y tế Thế giới (WHO) , có hơn 1 tỷ người trên toàn cầu mắc các vấn đề về thị lực, trong đó nhiều trường hợp có thể phòng tránh hoặc điều trị được.

Vai Trò Của AI

Tăng tính hữu dụng và cá nhân hóa trải nghiệm tiếp cận hình ảnh số.

Giúp người dùng với kiến thức chuyên sâu không bị giới hạn trong các mô tả chung chung.

Mở rộng khả năng học tập, nghiên cứu, giải trí cho mọi đối tượng người dùng khiếm thị.

Thách Thức Và Lộ Trình Tiếp Theo

Cần tích hợp thêm dữ liệu bổ sung (RAG - Retrieval Augmented Generation) để bổ sung bối cảnh khi công cụ phân tích hình ảnh có hạn.

Kết nối trực tiếp với các trình đọc màn hình để tăng tính tiện dụng trong thế giới thực.

Personalized AI Narrator là bước đầu quan trọng cho một tương lai tiếp cận hình ảnh số công bằng và giàu giá trị thông tin hơn.

Kết Luận

Dự án Personalized AI Narrator cho thấy tiềm năng to lớn của AI trong việc cá nhân hóa mô tả hình ảnh, nâng cao trải nghiệm tiếp cận cho người khiếm thị, đặc biệt là những người có sở thích và kiến thức chuyên môn riêng. Dù còn nhiều thách thức về mặt dữ liệu nguồn và độ chính xác trong liên kết ngữ cảnh, giải pháp sử dụng các mô hình tiên tiến của Vertex AI đã mở đường cho xu hướng công nghệ hướng tới sự bao trùm hơn trong tương lai số.

Nếu bạn quan tâm và muốn thử nghiệm, toàn bộ mã nguồn cùng môi trường chạy thử đã được công khai tại:

https://www.kaggle.com/code/yogesmohan/personalized-ai-narrator-for-visual-accessibility

Tham Khảo

Google Cloud Vertex AI Documentation — https://cloud.google.com/vertex-ai

World Health Organization (2023). Blindness and Visual Impairment Fact Sheet — December 1, 2023

Dev.to Article on Personalized AI Narrator — https://dev.to/yogesmohan/personalized-ai-narrator-for-visual-accessibility

Research on RAG (Retrieval Augmented Generation) Techniques — Lewis et al., 2020, arXiv:2005.11401

Cảm ơn bạn đã đón đọc bài viết. Mong rằng công nghệ này sẽ mở ra cơ hội kết nối sâu sắc hơn với thế giới thị giác cho tất cả mọi người!