Brier Score Là Gì? Thước Đo Độ Chính Xác Của AI iKnowBall
Trong khoa học dữ liệu và dự đoán thể thao xác suất, tỷ lệ đoán trúng (Accuracy) không phản ánh được mức độ tự tin của mô hình. Brier Score chính là thước đo vàng để đánh giá mức độ tin cậy (Calibration) của các thuật toán AI.
Mô hình dự đoán chính xác 100% kết quả xảy ra với độ tin cậy tuyệt đối (gán xác suất 1.0 cho đúng biến cố).
Nếu mô hình luôn dự đoán 33.3% cho Thắng, Hòa, Thua mà không có bất kỳ kiến thức phân tích nào.
Mô hình hoàn toàn tự tin 100% vào một kết quả nhưng thực tế lại xảy ra kết quả khác.
FormulaCông thức toán học của Glenn W. Brier (1950)
Đối với dự đoán trận đấu bóng đá có 3 khả năng (Chủ nhà thắng, Hòa, Đội khách thắng):
• pk: Xác suất mà mô hình AI dự báo cho biến cố k (Ví dụ: 0.65).
• ok: Kết quả thực tế (bằng 1 nếu kết quả đó xảy ra, bằng 0 nếu không xảy ra).
• Nguyên tắc: Điểm Brier Score CÀNG THẤP CÀNG TỐT (Tương tự sai số Mean Squared Error).
🧪 Trải Nghiệm Thử Tính Brier Score
Điều chỉnh xác suất phân phối của AI và chọn kết quả trận đấu để xem điểm phạt sai số.
Tại Sao iKnowBall Ưu Tiên Brier Score Hơn Tỷ Lệ Accuracy?
Giả sử 2 chuyên gia cùng đoán đúng Arsenal thắng:
- Chuyên gia A: Đưa ra xác suất Arsenal thắng là 90%.
- Chuyên gia B: Đưa ra xác suất Arsenal thắng là 40% (và Hòa 35%, Thua 25%).
Nếu dùng thang đo tỷ lệ thắng (Accuracy), cả hai đều được chấm 1 điểm đúng như nhau. Tuy nhiên, rõ ràng Chuyên gia A có độ tự tin và dự báo thuyết phục hơn rất nhiều. Brier Score thưởng điểm cao cho Chuyên gia A (BS thấp) và phạt Chuyên gia B vì sự thiếu chắc chắn.