Tóm tắt nhanh
- Microsoft giới thiệu MAI-DxO, hệ thống nhiều tác nhân AI cùng xử lý từng bước trong quy trình chẩn đoán.
- Trên 304 ca bệnh phức tạp thuộc SDBench, hệ thống đạt độ chính xác 83%; bác sĩ tổng quát đạt 36% khi có tài liệu tham khảo và 22% khi không có.
- Trên dữ liệu cấp cứu MIMIC-IV-ED, kết quả tương ứng là 80% và 47%.
- Đây là kết quả benchmark hồi cứu; hệ thống chưa được xác nhận có thể thay bác sĩ hoặc dùng thường quy tại bệnh viện.
Microsoft cho biết hệ thống MAI-DxO đạt độ chính xác 83% khi xử lý 304 ca bệnh phức tạp trong benchmark SDBench. Con số cao hơn nhóm bác sĩ tổng quát tham gia cùng phép thử, nhưng chưa trả lời câu hỏi quan trọng hơn: hệ thống có giúp bác sĩ ra quyết định tốt và an toàn hơn trong một bệnh viện đang vận hành hay không.
MAI-DxO thử tái tạo cách bác sĩ lần lượt thu thập thông tin
Thay vì yêu cầu một mô hình đọc toàn bộ hồ sơ rồi đưa ra đáp án, MAI-DxO tổ chức nhiều tác nhân AI để đề xuất chẩn đoán, chọn câu hỏi hoặc xét nghiệm tiếp theo, rồi phản biện hướng suy luận đang hình thành. Ý tưởng này gần với quy trình lâm sàng hơn một bài trắc nghiệm: bác sĩ thường phải quyết định thông tin nào cần lấy thêm trước khi kết luận.
SDBench cũng mô phỏng tương tác theo từng lượt. Tác nhân được cung cấp tóm tắt ca bệnh chưa tiết lộ đáp án, sau đó có thể yêu cầu xét nghiệm, đặt câu hỏi hoặc chốt chẩn đoán. Một vai trò gatekeeper trả lời dựa trên hồ sơ ca bệnh; judge chấm kết quả theo thang Likert từ 1 đến 5, trong đó điểm 4–5 được tính là chẩn đoán đúng. Cách chấm này đánh giá cả quá trình truy vấn thông tin, thay vì chỉ xem mô hình có đoán đúng một nhãn cuối cùng hay không.
Kiến trúc nhiều tác nhân có thể giúp hệ thống cân nhắc thêm giả thuyết và giá trị của mỗi xét nghiệm. Tuy vậy, benchmark không tự chứng minh rằng các tác nhân thực sự loại bỏ được thiên kiến trong môi trường lâm sàng; hiệu quả còn tùy dữ liệu đưa vào, cách thiết kế vai trò và các quy tắc kiểm soát.
Khoảng cách điểm số cần được đọc cùng độ khó của từng bộ ca
| Bộ dữ liệu trong SDBench | MAI-DxO | Bác sĩ trong phép thử |
|---|---|---|
| 304 ca phức tạp từ NEJM CPC | 83% | 36% có tài liệu tham khảo; 22% không có |
| Ca cấp cứu từ MIMIC-IV-ED | 80% | 47% |
Số liệu: Microsoft AI, công bố về SDBench và MAI-DxO.
Ở nhóm NEJM CPC, chênh lệch lớn một phần phải được đặt trong đúng bối cảnh: đây là các ca phức tạp được tuyển chọn từ báo cáo ca bệnh, không phải mẫu đại diện cho mọi lượt khám. Điều kiện bác sĩ làm bài cũng ảnh hưởng kết quả; mức 22% là khi không dùng tài liệu tham khảo, còn 36% là khi có tài liệu. Không thể lấy hai tỷ lệ này để kết luận bác sĩ ngoài đời chẩn đoán kém.
Nhóm ca cấp cứu MIMIC-IV-ED gần với các tình huống thường gặp hơn, nhưng vẫn là đánh giá trên dữ liệu có sẵn. So sánh 80% với 47% cho thấy tín hiệu đáng chú ý về khả năng xử lý tuần tự, chứ chưa cho biết hệ thống có hoạt động ổn định khi hồ sơ thiếu, thông tin bệnh nhân thay đổi hoặc thời gian ra quyết định bị giới hạn.
Chi phí xét nghiệm là phần quan trọng bên cạnh độ chính xác
SDBench theo dõi cả xét nghiệm mà hệ thống yêu cầu và ước tính chi phí cho hướng xử lý. Microsoft cho biết MAI-DxO có thể duy trì kết quả khi tối ưu mạnh hơn cho chi phí, và không có phương pháp nào khác trong các tập dữ liệu vừa chính xác hơn vừa ít tốn kém hơn trong đánh giá của hãng.
Đây là tiêu chí có ý nghĩa thực tế: một công cụ đề nghị quá nhiều xét nghiệm có thể làm tăng chi phí và kéo dài quy trình, kể cả khi cuối cùng tìm đúng bệnh. Nhưng ước tính trong benchmark không đồng nghĩa với khoản tiết kiệm đã được đo tại một bệnh viện. Chi phí còn phụ thuộc biểu giá, quy trình, nhóm bệnh nhân và việc bác sĩ có chấp nhận đề xuất của hệ thống hay không.
Thử nghiệm hồi cứu chưa chứng minh hiệu quả tại bệnh viện
MAI-DxO hiện được đánh giá trên hồ sơ bệnh án đã có kết quả, nên hệ thống không phải đối diện đầy đủ với những điều kiện của một ca khám đang diễn ra: dữ liệu đến không đồng đều, bệnh nhân có thể mô tả thiếu chính xác, xét nghiệm có thể chưa sẵn có và quyết định phải gắn với trách nhiệm chuyên môn. Benchmark cũng không thay thế đánh giá về an toàn, quyền riêng tư hay quy trình phê duyệt y tế.
Microsoft cho biết đang lên kế hoạch thử nghiệm hệ thống trong môi trường bệnh viện cùng Beth Israel Deaconess Medical Center. Đây mới là bước cần thiết để xem công cụ vận hành ra sao với quy trình thực tế; công ty chưa công bố mốc triển khai thương mại cụ thể và hệ thống chưa được cấp phép để thay thế bác sĩ.
Với người dùng, kết quả hiện tại đáng xem như một phép thử về cách phối hợp AI trong chẩn đoán, không phải lời khuyên dùng chatbot để tự xác định bệnh. Giá trị của MAI-DxO sẽ chỉ rõ hơn khi thử nghiệm lâm sàng cho thấy nó hỗ trợ quyết định của bác sĩ mà không tạo thêm rủi ro hoặc xét nghiệm không cần thiết.
Nguồn tham khảo: Microsoft AI · GitHub SDBench · The Verge
