Mô phỏng hội thoại người: Bí kíp giúp LLM không còn 'lạc lối' trong cuộc trò chuyện dài

Lê Lân

08/07/2025

Giải pháp cho Vấn đề Lưu Trữ Cuộc Hội Thoại Dài của Mô hình Ngôn ngữ Lớn (LLM) qua Mô phỏng Cách Giao Tiếp của Con Người

Mở Đầu

Các mô hình ngôn ngữ lớn (LLM) hiện nay gặp nhiều hạn chế khi xử lý các cuộc hội thoại đa lượt dài, dẫn đến việc mất mạch hoặc bị giới hạn về độ dài của chuỗi hội thoại.

Trong lĩnh vực trí tuệ nhân tạo, các mô hình ngôn ngữ lớn ngày càng phổ biến để hỗ trợ giao tiếp tự nhiên giữa người và máy. Tuy nhiên, một thách thức lớn là làm thế nào để LLM không bị mất mạch hoặc sụt giảm hiệu suất khi phải xử lý các cuộc hội thoại kéo dài nhiều lượt. Nghiên cứu gần đây chỉ ra rằng nguyên nhân bắt nguồn từ việc LLM sử dụng mô hình nhớ toàn bộ (complete memory), khác biệt với cách hoạt động của trí nhớ con người vốn có tính chọn lọc và tóm tắt. Bài viết này sẽ phân tích chi tiết vấn đề, đề xuất cách tiếp cận mô phỏng giao tiếp và trí nhớ con người nhằm giải quyết hạn chế trên, đồng thời giới thiệu kiến trúc hệ thống mới giúp tăng cường hiệu quả trong hội thoại đa lượt.

Phân Tích Vấn Đề và Hạn Chế Của LLM Trong Cuộc Hội Thoại Dài

Các Vấn Đề Thường Gặp Khi Xử Lý Hội Thoại Dài

Hiệu suất giảm 39% khi hội thoại kéo dài đa lượt.

Giới hạn về độ dài hội thoại do token tăng tuyến tính.

Dễ mất mạch hoặc bị sa lầy vào thông tin không liên quan.

Nguyên Nhân Gốc Rễ

Theo nghiên cứu LLMs Get Lost In Multi-Turn Conversation , nguyên nhân chủ yếu là việc các LLM sử dụng mô hình nhớ toàn bộ nội dung hội thoại, không có cơ chế lựa chọn hay tóm tắt thông tin quan trọng như con người. Điều này dẫn đến nhiều hậu quả tiêu cực:

Gánh nặng nhận thức cao: Lưu toàn bộ thông tin không phân biệt quan trọng hay không gây ra việc quá tải.

Thiếu khả năng học hỏi từ sai lầm: Thông tin thừa và lỗi lặp lại không bị loại bỏ.

Giới hạn chiều dài hội thoại: Dữ liệu đầu vào ngày càng dài đẩy giới hạn token và tài nguyên phần cứng.

Ví dụ thực tế là trường hợp Solomon Shereshevsky, người có trí nhớ gần như hoàn hảo nhưng lại không thể phân biệt kiến thức quan trọng và bị quá tải thông tin dẫn đến khó khăn trong tư duy trừu tượng.

Mô Phỏng Giao Tiếp và Trí Nhớ Con Người

Quá Trình Hội Thoại Thực Tế Của Con Người

Con người không nhớ lại toàn bộ cuộc trò chuyện mỗi khi trao đổi, mà duy trì một tóm tắt tinh thần liên tục (mental summary) trong đầu. Quá trình này bao gồm:

Cập nhật liên tục tóm tắt hiện tại sau mỗi lượt giao tiếp.

Lưu giữ những kết luận, sự ràng buộc quan trọng trong hội thoại.

Xóa dần thông tin cũ không quan trọng theo thời gian.

Kích hoạt lại thông tin cần thiết dựa trên các từ khóa hoặc câu gợi nhớ.

Kích Hoạt Nhớ Qua Từ Khóa

Khi một người nói dùng các cụm từ như "điều chúng ta đã bàn trước đó...", não bộ sẽ thực hiện một dạng tìm kiếm mơ hồ (fuzzy search) trong trí nhớ gần đây để lấy ra các thông tin phù hợp, không phải truy xuất toàn bộ lịch sử.

Cơ chế này giúp tránh việc phải thao tác toàn bộ dữ liệu, giảm thiểu gánh nặng nhận thức và giúp tập trung vào vấn đề hiện tại.

Thiết Kế Kiến Trúc LLM Mô Phỏng Cách Giao Tiếp của Con Người

Sử dụng mô hình nhỏ hỗ trợ tạo ra tóm tắt có cấu trúc sau mỗi lượt hội thoại.

Tự động kích hoạt tìm kiếm mơ hồ (auto fuzzy search) để lấy các mảnh hội thoại liên quan dựa trên điểm số đánh giá đa chiều (từ khóa, ngữ nghĩa, thời gian).

Cập nhật trạng thái hội thoại qua các tóm tắt liên tục, thay vì nhớ nguyên vẹn toàn bộ lịch sử.

Giải Pháp Kỹ Thuật và Kiến Trúc Hệ Thống

Tổng Quan Kiến Trúc

Thành phần	Chức năng chính
Mô hình tóm tắt nhỏ	Xử lý, tóm tắt ngắn gọn trạng thái hiện tại của cuộc hội thoại
Cơ chế tìm kiếm mơ hồ	Đánh giá đa chiều, chọn lọc các đoạn hội thoại liên quan để đưa vào ngữ cảnh
Mô hình LLM chính	Xử lý câu hỏi mới dựa trên tóm tắt hiện tại và các đoạn hội thoại liên quan
Bộ cập nhật trạng thái	Liên tục điều chỉnh tóm tắt và lưu trữ thông tin sau mỗi lượt hội thoại

Thuật Toán Đánh Giá Đa Chiều

Điểm tổng hợp =

40% điểm trùng lặp từ khóa (Jaccard similarity)

40% điểm tương đồng ngữ nghĩa (cosine similarity đơn giản)

20% trọng số theo thời gian (gần hơn được ưu tiên)

Mục đích: Khơi gợi các đoạn hội thoại gần đây và có liên quan cao, tránh làm loãng thông tin.

Chiến Lược Kết Hợp Ngữ Cảnh Trong Mỗi Lượt Giao Tiếp

Mỗi lượt hội thoại bao gồm:

Tóm tắt có cấu trúc (mental summary)

Các đoạn hội thoại liên quan được truy xuất từ bộ nhớ thông qua fuzzy search

Câu hỏi hoặc yêu cầu mới của người dùng

Các Ưu Điểm Chính

Giữ sự tập trung hiện tại trong hội thoại, không bị "ngập" trong quá khứ.

Hệ thống có khả năng học từ sai sót, loại bỏ dần các phương án đã loại trừ.

Tăng hiệu suất và khả năng mở rộng trong các cuộc hội thoại đa lượt dài.

Tóm lại, mô hình này kết hợp ưu điểm bộ nhớ có chọn lọc của con người và ưu thế tính toán chính xác của máy, vượt qua các hạn chế của mô hình nhớ toàn bộ hiện tại.

Ứng Dụng và Triển Khai

Yêu Cầu Môi Trường

Go 1.20+

Khóa API OpenAI

Các Bước Cài Đặt

Clone mã nguồn: git clone https://github.com/pardnchiu/cim-prototype cd cim-prototype

Cấu hình khóa API OpenAI:

Tạo file OPENAI_API_KEY chứa khóa API hoặc

Thiết lập biến môi trường OPENAI_API_KEY

Sử Dụng Giao Diện TUI (Text User Interface)

Chạy chương trình: ./cimp hoặc go run main.go

Giao diện gồm:

Bên trái: Lịch sử hội thoại

Phía trên bên phải: Tóm tắt hội thoại

Phía dưới bên phải: Trường nhập câu hỏi

Phím tắt quan trọng:

Enter : Gửi câu hỏi

Tab : Chuyển đổi vùng nhập

Ctrl + C : Thoát

Tính Năng Đã Triển Khai

Hệ thống tóm tắt có cấu trúc

Cập nhật trạng thái tự động với mô hình nhỏ GPT-4o-mini

Cơ chế học lỗi để tránh lặp lại sai sót

Tối ưu sử dụng token, chỉ gửi tóm tắt và nội dung mới

Cơ chế fuzzy retrieval đa chiều

Thiết kế trọng số thời gian cho các cuộc hội thoại dài

Các Tính Năng Dự Kiến

Nâng cấp thuật toán so khớp ngữ nghĩa chính xác hơn

Cải tiến lọc từ khóa và trọng số linh hoạt

Tự động điều chỉnh ngưỡng lọc dựa trên loại hội thoại

Hỗ trợ đa mô hình LLM khác như Claude, Gemini

Kết Luận

Việc mô phỏng cách giao tiếp và nhớ của con người là bước tiến quan trọng để giải quyết những giới hạn vốn có của các mô hình ngôn ngữ lớn trong hội thoại đa lượt dài. Cách tiếp cận này không chỉ giảm bớt gánh nặng tính toán mà còn giúp cải thiện trải nghiệm người dùng bằng khả năng duy trì mạch truyện hợp lý và khả năng học hỏi từ lịch sử hội thoại. Triển khai thực tiễn cho thấy hiệu suất cải thiện rõ rệt và mở ra hướng nghiên cứu ứng dụng trí nhớ chọn lọc trong AI.

Bạn có thể thử nghiệm kiến trúc này qua dự án mã nguồn mở cim-prototype trên GitHub và nghiên cứu sâu hơn tại bài báo gốc LLMs Get Lost In Multi-Turn Conversation .

Tham Khảo

Zhang, Y., et al. (2025). LLMs Get Lost In Multi-Turn Conversation. arXiv:2505.06120.

Wikipedia. Solomon Shereshevsky: https://en.wikipedia.org/wiki/Solomon_Shereshevsky

Dự án mã nguồn mở cim-prototype: https://github.com/pardnchiu/cim-prototype

Bài viết phát triển các mô hình trò chuyện đa lượt: https://dev.to/pardnchiu/tou-guo-mo-ni-ren-lei-de-dui-hua-jie-chu-llm-dui-hua-chuan-chang-du-xian-zhi-yu-jie-jue-duo-lun-dui-hua-zhong-mi-shi-wen-ti-4l54