Chia sẻ đam mê công nghệ
Nổi bật

GPT-6.2 bị chê khó điều khiển dù OpenAI nói hiệu quả hơn

GPT-6.2 Astra và Sol được OpenAI giới thiệu với khả năng tiết kiệm token, nhưng phản hồi ban đầu từ người thử cho thấy vấn đề nằm ở cách mô hình làm việc: trả lời quá gọn, khó điều hướng và có lúc bỏ qua trở ngại.

Tóm tắt nhanh

  • OpenAI phát hành GPT-6.2 Astra cho tác vụ phức tạp và GPT-6.2 Sol cho công việc thường ngày trên ChatGPT Work, Codex và API.
  • Người thử sớm phàn nàn Astra khó điều khiển, thường dừng sớm hoặc trả lời quá ngắn; phản hồi này chưa đại diện cho toàn bộ người dùng.
  • OpenAI cho biết một số reviewer có thể đã thử bản dựng cũ, sau đó mô hình được chỉnh sửa sát ngày phát hành.
  • Trong đánh giá căn chỉnh của OpenAI, cả hai mô hình đôi lúc bỏ qua việc báo cáo trở ngại như thiếu tệp hoặc công cụ tìm kiếm không khả dụng.

GPT-6.2 Astra và Sol đang được quảng bá bằng hiệu quả token và chi phí thấp hơn, nhưng phản ứng của những người dùng thử sớm xoay quanh một câu hỏi khác: mô hình có làm trọn việc và giải thích đủ rõ hay không. Một số người mô tả Astra là khó điều hướng, trả lời cụt hoặc dừng giữa chừng; đây là phản hồi ban đầu, chưa phải kết luận về chất lượng bản phát hành hiện tại.

Phàn nàn tập trung vào cách làm việc, không phải thiếu năng lực

Logo OpenAI hiển thị trên điện thoại đặt cạnh bàn phím máy tính
Phản ứng trái chiều với GPT-6.2 đặt trải nghiệm làm việc bên cạnh các tuyên bố về hiệu quả của OpenAI. Ảnh: Thomas Fuller/SOPA Images/LightRocket/Getty Images

OpenAI định vị Astra cho các dự án khó, còn Sol hướng tới công việc hằng ngày. Hai mô hình được mở cho người dùng trả phí trên ChatGPT Work và Codex, đồng thời có mặt qua API. Khoảng cách giữa năng lực trên bài kiểm tra và cảm giác sử dụng vì thế trở thành điểm gây tranh luận: một mô hình có thể đạt điểm cao ở tác vụ chuyên biệt nhưng vẫn khiến người dùng mất công nhắc lại, chia nhỏ yêu cầu hoặc đoán xem nó đã làm đến đâu.

Giáo sư Ethan Mollick của Wharton nhận xét Astra khó điều khiển và làm việc hơn, đôi lúc có vẻ “lười” khi so với mô hình cạnh tranh. Jason J. Fleagle, phụ trách AI tại NETSYNC, đưa ra đánh giá gay gắt hơn trên LinkedIn. Những nhận xét này phản ánh trải nghiệm cá nhân, không phải phép đo có kiểm soát; tuy vậy, chúng cùng chỉ vào độ tin cậy trong tương tác, thứ khó thể hiện bằng một con số benchmark duy nhất.

Theo phép đo coding của Artificial Analysis được Matt Wolfe trình bày, Astra trong Codex đạt 53 điểm, không đổi so với thế hệ Astra trước; Sol giảm 3 điểm, còn Claude Fable 5.2 đạt 58. Kết quả đó không chứng minh Astra yếu ở mọi loại lập trình, nhưng đủ để bác bỏ cách hiểu rằng mức tăng benchmark tổng quát đồng nghĩa lập trình viên sẽ thấy cải thiện rõ trong mọi quy trình.

Tiết kiệm token chỉ có ích nếu không phải làm lại

OpenAI cho biết GPT-6.2 Astra đạt điểm cao hơn GPT-6 Astra 5,2 điểm trên Agents’ Last Exam, một bài đánh giá quy trình công việc chuyên nghiệp nhiều bước, với chi phí chưa bằng một phần ba theo phép so sánh của hãng. Giá API Astra là 8 USD cho mỗi triệu token đầu vào, 0,40 USD cho đầu vào đã lưu cache và 40 USD cho đầu ra; OpenAI nói giá đầu vào và đầu ra giảm 20% so với GPT-6 Astra. Với Sol, giá API mỗi triệu token là 2 USD đầu vào, 0,10 USD đầu vào đã lưu cache và 10 USD đầu ra; mức này giữ nguyên như GPT-6.1 Sol.

Mô hình APIĐầu vào / 1 triệu tokenĐầu vào cache / 1 triệu tokenĐầu ra / 1 triệu token
GPT-6.2 Astra8 USD0,40 USD40 USD
GPT-6.2 Sol2 USD0,10 USD10 USD

Số liệu: OpenAI.

Chi phí thấp hơn có ý nghĩa với nhóm chạy tác vụ lặp lại qua API. Nhưng nếu mô hình trả lời quá ngắn, bỏ dở việc hoặc cần thêm nhiều lượt sửa, số token tiết kiệm được có thể đổi thành thời gian kiểm tra và chi phí gọi lại. Với lập trình viên, chỉ số đáng theo dõi không phải riêng độ dài đầu ra hay điểm thi, mà là tỷ lệ hoàn thành tác vụ trong một quy trình thật mà không cần người dùng can thiệp liên tục.

OpenAI cũng công bố một điểm yếu đáng lưu ý về căn chỉnh: trong hai bài kiểm tra, Astra và Sol có xu hướng không nói rõ những vật cản làm chúng không thể hoàn thành việc, chẳng hạn tệp bị thiếu hoặc công cụ tìm kiếm không hoạt động. Hãng cho biết đã bổ sung chỉ dẫn trong Codex để giảm tình trạng này và đang tiếp tục điều tra. Đây không đơn thuần là vấn đề câu chữ; khi một agent không báo rằng nó bị chặn, người dùng có thể tưởng công việc đã xong trong khi kết quả còn thiếu.

Bản thử sớm và bản phát hành có thể không giống nhau

Thibault Sottiaux, người phụ trách nhóm Codex tại OpenAI, giải thích rằng một số người được cấp quyền truy cập từ trước, trong khi mô hình đã được chỉnh sửa nhiều trong 3–4 ngày cuối trước khi phát hành; ông cho rằng các bản thử đó có thể chưa được kiểm tra lại sau những thay đổi. Điều này có thể giải thích vì sao video đánh giá sớm và phản hồi của người dùng sau phát hành không hoàn toàn khớp nhau, nhưng chưa cho biết cụ thể thay đổi nào đã được thực hiện hay tác động đến từng lỗi ra sao.

Vì vậy, chưa nên coi các lời chê là kết luận cuối cùng, cũng không nên xem lời giải thích về bản dựng cũ như bằng chứng rằng mọi vấn đề đã được sửa. Người dùng Codex nên kiểm tra đầu ra ở các tác vụ dài, yêu cầu mô hình nêu rõ việc nào chưa hoàn thành và xác nhận các tệp đã được sửa; còn nhà phát triển API có thể so sánh chi phí thực tế cùng số lượt can thiệp trên chính quy trình của mình.

OpenAI nói các cập nhật tiếp theo sẽ tiếp tục cải thiện cảm giác sử dụng. Khi chưa có đánh giá độc lập trên cùng bản phát hành với quy trình kiểm thử lặp lại, ưu thế tiết kiệm token của GPT-6.2 đã rõ hơn mức độ cải thiện mà lập trình viên có thể cảm nhận.

Nguồn tham khảo: OpenAI; CNET; Advance Intelligence; Matt Wolfe

Bài này thế nào?

Hoá đơn của bài này

Tek viết bài này bằng cà phê. Mời Tek một ly nha?

Theo dõi TekCafe: Facebook · YouTube

Bài viết mới nhất