Kiểm thử chatbot chăm sóc khách hàng bằng Promptfoo: chạy thử bắt được 2 lỗi

Trước khi cho khách nhắn vào, hãy làm kiểm thử chatbot chăm sóc khách hàng bằng một bộ câu hỏi cố định và chạy lại sau mỗi lần sửa. Một câu trả lời sai về giá hay chính sách đổi trả có thể thành khiếu nại, nên bài này hướng dẫn cách làm bằng công cụ mã nguồn mở Promptfoo.

Mình đã tự cài và chạy thử trên máy, kèm ảnh chụp thật. Phần chatbot trong ví dụ là bot giả lập do mình viết, cố ý có lỗi, để cho thấy bộ kiểm thử bắt lỗi ra sao.

Tóm tắt nhanh

• Ngày thông tin: 7/10/2026.
• Promptfoo là công cụ dòng lệnh mã nguồn mở (giấy phép MIT) để đánh giá ứng dụng dùng mô hình ngôn ngữ lớn. README trên GitHub ghi công cụ nay thuộc OpenAI nhưng vẫn mã nguồn mở.
• Mình cài bằng npm, viết 4 câu hỏi kiểm thử cho một shop áo thun, chạy trong khoảng 3 giây và bắt được 2 lỗi.
• Chưa kiểm chứng: chạy với chatbot dùng mô hình thật có khoá API, vì lần thử này không dùng khoá trả phí.
• Phù hợp với: chủ shop, nhân viên chăm sóc khách hàng và người làm nội dung đang dùng hoặc định dùng chatbot tự động để hỗ trợ khách, muốn biết hệ thống phản hồi có đúng chính sách của doanh nghiệp hay không.
• Khả năng áp dụng: bạn có thể làm theo trong khoảng nửa giờ nếu máy đã có Node.js, không cần viết nhiều mã.

Vì sao cần kiểm thử chatbot cho doanh nghiệp

Chatbot chăm sóc khách hàng xử lý yêu cầu thay nhân viên nên nó đại diện cho doanh nghiệp, và mọi phản hồi của nó đều có giá trị như lời của shop. Nếu bot báo sai giá, hứa hoàn tiền ngoài chính sách hoặc tự bịa khuyến mãi, khách sẽ chụp màn hình và yêu cầu shop thực hiện đúng lời bot nói.

Vấn đề là chatbot dùng AI không trả lời giống nhau mỗi lần. Bạn sửa kịch bản hoặc đổi hệ thống phía sau, một câu trả lời từng đúng có thể sai đi mà không ai hay. Cách để yên tâm hơn là có một bộ câu hỏi kiểm thử viết sẵn, chạy lại mỗi lần thay đổi, và nhìn kết quả đạt hoặc trượt.

Đây là việc người làm phần mềm gọi là kiểm thử hồi quy, một cách kiểm soát trải nghiệm của khách theo kiểu tự động. Với shop online, bạn không cần hiểu sâu kỹ thuật: chỉ cần liệt kê những câu khách hay hỏi và điều bot không được phép nói.

Promptfoo là gì và cài thế nào

Promptfoo là công cụ dòng lệnh dùng để chạy một danh sách câu hỏi qua chatbot hoặc mô hình, rồi kiểm từng câu trả lời theo luật bạn đặt. README ghi công cụ hỗ trợ so sánh nhiều mô hình, kiểm tra bảo mật, chạy tại máy, và có giấy phép MIT. Khả năng chạy cục bộ nghĩa là dữ liệu câu hỏi không phải gửi đi đâu khi bạn dùng bot giả lập hoặc bot nội bộ. Theo trang GitHub, dự án có khoảng 25,8 nghìn sao tại thời điểm mình xem.

Các lệnh trong README gồm cài toàn cục, tạo ví dụ mẫu, chạy và mở giao diện xem kết quả:

$ npm install -g promptfoo$ promptfoo init --example getting-started$ promptfoo eval$ promptfoo view

Mình cài vào một thư mục riêng bằng npm install promptfoo, phiên bản nhận được là 0.124.0 và việc cài mất khoảng 48 giây. Máy cần có Node.js.

Cách kiểm thử chatbot chăm sóc khách hàng cho shop online

Làm kiểm thử chatbot cho shop online gồm ba phần: câu khách hỏi, chatbot cần kiểm, và luật để chấm. Promptfoo cho phép trỏ tới một tệp JavaScript làm chatbot, nên bạn có thể kiểm cả chatbot của mình qua một đoạn mã gọi API nội bộ, theo tài liệu về nhà cung cấp tuỳ chỉnh.

Mình dùng bot giả lập, không gọi mạng, trả lời theo từ khoá. Cấu hình có 4 trường hợp: hỏi giá phải có đúng 199.000, hỏi đổi trả phải nêu 7 ngày, hỏi hoàn tiền không được hứa tuyệt đối, hỏi giảm giá không được tự bịa mức giảm lớn.

Ảnh trên là tệp promptfooconfig.yaml thật. Hai luật contains kiểm câu trả lời phải chứa đúng chuỗi, hai luật not-regex kiểm câu trả lời không được khớp một mẫu cấm. Đây là cách đơn giản và rẻ, chưa cần mô hình chấm điểm.

Khi áp dụng cho shop của bạn, bước xử lý chính là chuyển chính sách thành luật. Cụ thể, hãy chép bảng giá, chính sách đổi trả, giờ làm việc vào luật contains, và liệt kê các lời hứa cấm vào not-regex.

Chạy thử thực tế: bộ kiểm thử bắt được 2 lỗi

Lệnh mình chạy là npx promptfoo eval --no-cache trong thư mục chứa cấu hình. Không dùng khoá API nên không tốn tiền. Toàn bộ 4 câu hỏi chạy xong trong khoảng 3 giây.

Kết quả: 2 câu đạt (giá và đổi trả), 2 câu trượt. Bot trả lời một lời cam kết hoàn tiền tuyệt đối trong mọi trường hợp, và bot tự thông báo giảm 70% toàn cửa hàng. Cả hai là lỗi mình cố ý cài vào, nhưng chúng giống đúng loại lỗi chatbot thật có thể mắc.

Một chi tiết thật: lần chạy đầu mình thấy test khuyến mãi đạt, trong khi bot lại có lỗi. Nguyên nhân là bot giả lập gặp chữ "giá" trước nên trả lời bảng giá. Mình sửa thứ tự trong bot rồi chạy lại mới thấy lỗi. Bài học: một bộ kiểm thử đạt toàn bộ chưa chắc bot đã hoạt động đúng, bạn cần xem câu trả lời có đúng ý hỏi hay không.

Với doanh nghiệp nhỏ, nên chia kịch bản kiểm thử thành vài nhóm: thông tin sản phẩm, yêu cầu đổi trả, hỗ trợ đơn hàng và những câu khách hỏi ngoài phạm vi. Nhóm cuối quan trọng vì bot tự động phải biết từ chối hoặc chuyển cho nhân viên thay vì đoán. Mỗi nhóm nên có vài câu hỏi phù hợp với cách khách thật gõ, kể cả viết tắt hoặc thiếu dấu, để xem hệ thống xử lý ra sao và khả năng hiểu của bot đến đâu. Dữ liệu câu hỏi thật từ hộp thư hoạt động của shop là nguồn tốt để lấy mẫu, nhưng nhớ xoá tên và số điện thoại trước.

Xem kết quả bằng giao diện web

Lệnh promptfoo view mở một trang web tại máy, hiện bảng câu hỏi, câu trả lời và nhãn đạt hoặc trượt kèm lý do. Đây là phần hợp với người không rành dòng lệnh, vì chủ shop hoặc nhân viên chăm sóc khách hàng có thể đọc và góp ý các câu cần thêm.

Giao diện cho thấy tỷ lệ đạt 50%, tức 2 trên 4 trường hợp, và dòng báo lỗi nêu rõ luật nào bị vi phạm. Khi sửa kịch bản, bạn chạy lại và so sánh tỷ lệ này. Mình chưa thử các chức năng so sánh nhiều mô hình hay kiểm tra bảo mật nên chưa nhận xét về chúng.

Hạn chế cần nói thẳng khi kiểm tra chatbot AI

Luật contains và not-regex chỉ so chuỗi chữ, không hiểu nghĩa. Bot có thể trả lời "một trăm phần trăm" bằng chữ và vẫn lọt luật bạn viết. Chatbot dùng mô hình thật còn trả lời khác nhau mỗi lần, nên cần chạy mỗi câu hỏi nhiều lần và thêm luật chấm bằng mô hình.

Ví dụ của mình dùng bot giả lập, không đại diện cho hiệu quả của bất kỳ chatbot thật nào. Mình cũng chưa kiểm chứng việc chạy với mô hình có khoá API, chi phí khi chạy số lượng lớn, hay việc dữ liệu được lưu và gửi đi đâu khi bạn dùng tính năng chia sẻ trực tuyến. Hãy đọc điều khoản trước khi đưa dữ liệu khách hàng vào.

Ý nghĩa với người làm nội dung và bán hàng

Nếu bạn đang dùng chatbot cho shop, bước đầu là viết 20 câu hỏi khách hay gặp cùng 5 điều bot cấm nói. Chỉ cần bấy nhiêu đã bắt được phần lớn lỗi dễ thấy như sai giá, sai chính sách, hứa quá tay.

Khi đã có bộ kiểm thử, bạn tự tin thay đổi kịch bản, đổi nhà cung cấp hoặc thêm sản phẩm mới, đồng thời giữ trải nghiệm đồng đều cho khách. Bạn cũng có một tài liệu sống mô tả bot được phép nói gì. Các bài khác của Deman AI Lab cùng hướng chạy thử tại máy, ví dụ giọng đọc tiếng Việt chạy trên CPU hay chạy thử MoneyPrinterTurbo cho video tiếng Việt, và bài về công cụ mới cho video tương tác và tự động hóa quy trình.

Muốn xem thêm, bạn đọc README của Promptfoo trên GitHub và tài liệu nhà cung cấp tuỳ chỉnh.

Kết

Kiểm thử chatbot chăm sóc khách hàng không cần đội kỹ thuật lớn: một tệp cấu hình, vài câu hỏi và vài luật cấm là đủ để bắt đầu. Hãy viết bộ câu hỏi của shop bạn trước, rồi chạy lại mỗi lần sửa bot.

Đừng xem kết quả đạt là bằng chứng bot hoàn hảo, hãy xem nó như lưới chắn các lỗi dễ thấy. Khi khách phản ánh một câu trả lời sai, hãy thêm đúng câu đó vào bộ kiểm thử để lỗi không quay lại. Sau vài tuần, bộ câu hỏi sẽ phản ánh thật sự cách khách của bạn hỏi. Đó là lúc kiểm thử chatbot chăm sóc khách hàng trở thành thói quen của cả đội.