Bye Bye Code! Chào Mừng kotoba – Trợ Lý Kiểm Thử Web Bằng Ngôn Ngữ Tự Nhiên Cực Nhanh!
Lê Lân
0
Kotoba: Công Cụ Kiểm Thử Web Bằng Ngôn Ngữ Tự Nhiên Với Hiệu Suất Đột Phá
Mở Đầu
Ngày June 20, 2025, kotoba v0.0.1 được ra mắt như một bước đột phá trong lĩnh vực kiểm thử web bằng ngôn ngữ tự nhiên, với cải tiến hiệu suất vượt trội lên đến 6 lần.
Trong bối cảnh kiểm thử phần mềm ngày càng phức tạp, việc sử dụng ngôn ngữ tự nhiên để điều khiển các thao tác trên trình duyệt mang lại sự tiện lợi và dễ sử dụng. Tuy nhiên, thách thức lớn nhất vẫn là thời gian xử lý lâu khi phụ thuộc hoàn toàn vào mô hình ngôn ngữ lớn (LLM). Kotoba đã giải quyết vấn đề này bằng một chiến lược phân tầng xử lý (staged fallback strategy) và hệ thống 203 quy tắc đối sánh mẫu, giúp rút ngắn đáng kể thời gian chạy, đồng thời vẫn đảm bảo độ chính xác và tính đa ngôn ngữ.
Bài viết dưới đây sẽ trình bày chi tiết về khái niệm, kiến trúc, các loại kiểm tra, cách triển khai kỹ thuật, kết quả hiệu năng và lộ trình phát triển tương lai của kotoba.
Kotoba Là Gì?
Kotoba là một công cụ kiểm thử web viết bằng Python, cho phép tự động hóa các tương tác trình duyệt thông qua các câu lệnh bằng ngôn ngữ tự nhiên. Công cụ kết hợp khả năng điều khiển trình duyệt của Playwright với sức mạnh xử lý ngôn ngữ của LLM để thao tác các hành động như:
Phương pháp đa selector giúp tăng độ bền vững và chính xác của kiểm tra.
Kết Quả Cải Tiến Hiệu Suất
Phiên bản
Số mẫu
Thời gian xử lý mỗi lệnh
Tốc độ cải thiện
Ban đầu
54
300ms
1x
Tạm thời
130
100ms
3x
Hiện tại
203
50ms
6x
Mục tiêu
500+
10ms
30x
Kotoba đã giảm thời gian xử lý từ 300ms xuống còn 50ms trung bình cho mỗi câu lệnh nhờ áp dụng chiến lược phân tầng và mở rộng mẫu.
Tỉ Lệ Thành Công Kiểm Thử
Tỉ lệ thành công đạt 100% trên 6 trường hợp thử nghiệm đại diện
Cơ chế lỗi được xử lý chắc chắn, đảm bảo không ảnh hưởng chuỗi test
Hỗ trợ đa ngôn ngữ: Nhật Bản, Anh, Trung Quốc
Ví Dụ Ứng Dụng Thực Tế
Bộ Test YAML mẫu
name:"Assertion Function Test"
base_url:"https://example.com"
test_cases:
-name:"Basic Text Verification"
steps:
-instruction:"Verify that 'Example Domain' is displayed"
-instruction:"Check that URL contains example.com"
-name:"Colloquial Expression Test"
steps:
-instruction:"Example Domainって表示されてる?"
-instruction:"Can you see Example Domain?"
Kết quả Thực Thi
{
"assertion_result":{
"type":"text_exists",
"passed":true,
"expected":"Text 'Example Domain' exists 1 or more times",
"actual":1,
"execution_time_ms":6.17
}
}
Danh Mục Các Nhóm Mẫu (23 nhóm)
Mẫu phần tử form: nút bấm, liên kết, ô nhập
Mẫu trạng thái: tải, lỗi, thành công
Mẫu media: ảnh, video, icon
Mẫu bảng dữ liệu & danh sách
Mẫu popup, modal, thông báo
Mẫu điều hướng: menu, tab
Mẫu truy cập hỗ trợ: ARIA, focus
Mẫu đáp ứng & thiết bị
Mẫu hiệu năng: tốc độ, thời gian phản hồi
Mẫu bảo mật: HTTPS, SSL
Mẫu ký tự đặc biệt, ngày tháng, giá cả
Mẫu đếm số lượng, tiến trình
Mẫu đăng nhập/ủy quyền
Mẫu tải xuống/tải lên tập tin
Và nhiều hơn nữa...
Lộ Trình Phát Triển Tương Lai
Giai đoạn 2: Hỗ trợ tạo mẫu bằng machine learning
Tự động phân tích log để tạo mẫu mới
Tối ưu động dựa trên tần suất sử dụng
Giai đoạn 3: Tối ưu tốc độ cuối cùng
Mở rộng lên hơn 500 mẫu
Đạt tốc độ xử lý dưới 1ms mỗi câu lệnh
Xây dựng cơ sở dữ liệu mẫu do cộng đồng đóng góp
Lộ trình phát triển này hứa hẹn giúp kotoba trở thành công cụ kiểm thử ngôn ngữ tự nhiên hàng đầu thế giới.
Kết Luận
Kotoba đã chứng minh sự kết hợp hiệu quả giữa đối sánh mẫu regex và xử lý ngôn ngữ tự nhiên bằng LLM, tạo nên một công cụ kiểm thử web bằng ngôn ngữ tự nhiên với hiệu suất cải tiến vượt bậc và khả năng hỗ trợ đa ngôn ngữ phong phú.
Tăng tốc độ xử lý lên 6 lần
Hỗ trợ tổng cộng 203 mẫu kiểm tra tự nhiên
Tỉ lệ thành công đạt 100%
Hỗ trợ tiếng Nhật, Anh, Trung Quốc
Đây là bước tiến quan trọng trong lĩnh vực tự động hóa kiểm thử, mở ra nhiều cơ hội mới cho các nhà phát triển và nhóm kiểm thử.
Hãy theo dõi và góp phần phát triển kotoba trên GitHub: kotoba repo để cùng nâng cao hiệu quả kiểm thử web tương lai.