Phương pháp và kết quả đánh giá / 09.10.2026
Khả năng đọc hiểu
tài liệu tiếng Nhật đến đâu?
JDocQA gồm 11.600 câu hỏi từ 5.504 tài liệu tiếng Nhật. Shirube AI kiểm tra quá trình xử lý tài liệu, trả lời và trích dẫn trên 100 câu được chọn, đồng thời đã chuẩn bị bộ mở rộng 200 câu. Quy mô dữ liệu, đánh giá chưa thực hiện và kết quả đo được trình bày riêng.
Báo cáo đánh giá JDocQA
Kiểm chứng khả năng trả lời
trên tài liệu tiếng Nhật thực tế.
Văn bản, bảng, biểu đồ và nhiều trang.
Kiểm tra khả năng hiểu tài liệu ngoài phần trình diễn giao diện.
Công khai điều kiện đánh giá và quá trình cải tiến.
11.600 câu hỏi
5.504 PDF dùng cho hỏi đáp tài liệu tiếng Nhật
train: 9.290 câu hỏi / validation: 1.134 câu hỏi / test: 1.176 câu hỏi
Đây là quy mô dữ liệu, không phải kết quả đánh giá toàn bộ câu hỏi.
200 câu hỏi
113 PDF / 557Trang
Bộ lớn nhất đã chuẩn bị hiện tại.
Chưa thực hiện tạo câu trả lời và chấm điểm.
86%
Tỷ lệ đạt tiêu chí hỏi đáp tài liệu
Đây là mục tiêu, không phải kết quả đo được.
Kết quả đã kiểm chứng được công khai bên dưới.
câu đạt tiêu chí đánh giá
52 PDF / 131 trang / 08/10/2026
- Đạt78
- Chưa đạt17
- Tạm hoãn kết luận2
- Không trả lời được do xử lý tài liệu3
Mẫu số gồm cả 100 câu, bao gồm chưa đạt, tạm hoãn và không trả lời được.
Nếu chỉ xét 97 câu xử lý được tài liệu, kết quả là 78/97 (80,4%).
Đã kiểm tra những loại tài liệu nào?
Số câu đạt / Số câu đánh giá
Tổng hợp thông tin giữa nhiều trang vẫn là nội dung cần tiếp tục cải thiện.
Kiểm tra. Cải thiện.
Rồi kiểm chứng lại.
Đánh giá lại 8 trường hợp có vấn đề và 15 câu hồi quy theo cùng tiêu chí.
Đây là cùng bộ 23 câu dùng để kiểm tra cải tiến.
Không phải đánh giá lại toàn bộ 100 câu.
Đây là kết quả đánh giá nội bộ bộ chẩn đoán được chọn từ JDocQA.
Không phải điểm chính thức trên toàn bộ JDocQA, chứng nhận bên thứ ba hay độ chính xác khi vận hành thực tế.
Phương pháp đánh giá
Kiểm tra những gì,
và kiểm tra như thế nào.
Không chỉ nội dung trả lời,
mà cả thông tin cần thiết và căn cứ trích dẫn.
- Dữ liệu đánh giá
- 100 câu được chọn từ tập validation của JDocQA, sử dụng 52 PDF và 131 trang. Trong đó, 126 trang vượt qua kiểm tra để được dùng khi tìm kiếm. Đây là bộ chẩn đoán được chọn theo mục đích, không phải mẫu ngẫu nhiên.
- Cấu trúc bộ câu hỏi
- Gồm 15 câu kiểm tra hồi quy có sẵn và 85 câu bổ sung, đạt lần lượt 15/15 và 63/85. Do 15 câu hồi quy cũng được dùng khi cải tiến, không thể coi toàn bộ 100 câu là dữ liệu đánh giá chưa từng được sử dụng.
- Các công đoạn đánh giá
- Xử lý tài liệu → tìm kiếm → tạo câu trả lời → kiểm tra căn cứ. Xác thực, thao tác giao diện và chất lượng kết nối được kiểm tra riêng với đánh giá hỏi đáp tài liệu này.
- Tiêu chí đánh giá
- Câu trả lời có dựa trên tài liệu không? / Có đủ thông tin cần thiết không? / Có trích dẫn đúng trang nguồn cần thiết không? / Có xử lý phù hợp câu hỏi không có đáp án không?
- Cách chấm điểm
- Kết hợp quy tắc cố định với đánh giá nội dung bằng mô hình. Trong 78 câu đạt, 71 câu đạt đánh giá nội dung và 7 câu nêu đúng trường hợp không đủ thông tin để trả lời. Năm trường hợp kiểm tra bộ chấm cũng đạt.
- Mô hình sử dụng
- Xử lý tài liệu và trả lời: cx/gpt-6.1-sol
Đánh giá nội dung: cx/gpt-6-astra(high)
Đây là mã mô hình tại thời điểm đánh giá, không phải chứng nhận của bên thứ ba hay đánh giá thủ công. - Kiểm tra sau cải tiến
- Ngày 09/10/2026, đánh giá lại 8 trường hợp có vấn đề và 15 câu hồi quy. Số câu đạt tăng từ 15 lên 19 rồi 21/23. Tài liệu và tiêu chí chấm được giữ nguyên; 6/8 vấn đề đã có cải thiện. Đây không phải đánh giá độc lập trên dữ liệu chưa từng sử dụng.
- Không tạo lại và chấm đi chấm lại các câu chưa đạt cho đến khi đạt. Chỉ khôi phục các lỗi kỹ thuật như lỗi kết nối.
- Hai câu tạm hoãn kết luận không được tính đạt vì tài liệu nguồn khác đáp án của bộ dữ liệu. Ba câu không trả lời được do xử lý tài liệu vẫn nằm trong mẫu số.
- Chưa đạt có thể do thiếu thông tin hoặc không đáp ứng yêu cầu trích dẫn, không đồng nghĩa tất cả đều là thông tin bịa đặt.
- Chưa có điểm đánh giá lại toàn bộ 100 câu sau cải tiến. Kết quả vận hành thực tế phụ thuộc tài liệu, câu hỏi và cấu hình.
Ví dụ đánh giá thực tế / jdocqa-val-0967
Đọc biểu đồ,
xác định hai mục có tỷ lệ cao nhất bằng nhau.
Câu hỏi đánh giá (bản dịch)
Trong biểu đồ ý kiến về vấn đề môi trường, những ý kiến nào có tổng tỷ lệ rất đồng ý và khá đồng ý cao nhất?
Hai ý kiến sau có tổng tỷ lệ cao nhất, đều là 93,0%.
- Hành động hằng ngày của mỗi người có ảnh hưởng lớn đến môi trường.
40.1% + 52.9% = 93.0% - Giáo dục và học tập về môi trường rất quan trọng để cả người lớn và trẻ em hiểu sâu hơn về bảo vệ môi trường.
35.0% + 58.0% = 93.0%
Chi tiết 100 câu hỏi
Kết quả theo nhóm.
| Nhóm | Đạt | Chưa đạt | Tạm hoãn | Không trả lời được | Tổng |
|---|---|---|---|---|---|
| Văn bản | 27 | 1 | 0 | 0 | 28 |
| Bảng | 13 | 2 | 1 | 1 | 17 |
| Biểu đồ | 12 | 1 | 0 | 0 | 13 |
| Sơ đồ và luồng | 7 | 1 | 1 | 1 | 10 |
| Hình ảnh | 8 | 2 | 0 | 0 | 10 |
| Nhiều trang | 4 | 7 | 0 | 0 | 11 |
| Câu hỏi không thể trả lời | 7 | 3 | 0 | 1 | 11 |
| Toàn bộ | 78 | 17 | 2 | 3 | 100 |
Tải kết quả của 100 câu, bộ kiểm tra cải tiến 23 câu và điều kiện đánh giá
dưới định dạng JSON.
Thông tin định danh báo cáo và dữ liệu kiểm chứng
Báo cáo: docs/jdocqa-eval-100-results.vi.md
Bản ghi đánh giá: document-100-final-20261008/summary.vi.json
SHA-256 của tệp tổng hợp gốc: dea1017aee485b4ed3579453d74d00af4b8ebf1b71b7bc50572de8dbb1437069
Báo cáo: docs/jdocqa-grounding-v3-20261009.vi.md
Bản ghi đánh giá: grounding-v3-20261009/summary.vi.json
SHA-256 của tệp tổng hợp gốc: 4f6282034333c9977283b685870e5714256aa8b11ec149a85b15ee7d75dfd8fd