Chia sẻ đam mê công nghệ
Giải thích

SNES 35 năm tuổi chạy chatbot nhờ chip đồ họa Super FX 2

Dự án ChatGPT for SNES đưa mô hình ngôn ngữ 2,2 triệu tham số lên băng game Super Nintendo, dùng chip Super FX 2 để xử lý nhanh hơn CPU chính. Đây là thử nghiệm chạy cục bộ, không phải ChatGPT của OpenAI.

Tóm tắt nhanh

  • ChatGPT for SNES là dự án thử nghiệm không chính thức của Benj Edwards, chạy mô hình ngôn ngữ nhỏ khoảng 2,2 triệu tham số trên chip Super FX 2.
  • Super FX 2 có CPU RISC 21,47 MHz, cao hơn xung nhịp 2,68 MHz của CPU chính Ricoh 5A22 trong SNES.
  • Bản mở rộng lưu câu mở đầu của 150.000 bài Simple English Wikipedia trong dữ liệu MSU-1 để chatbot tra cứu.
  • Mô hình chỉ biết khoảng 8.000 từ và thường trả lời sai; đây không phải ChatGPT của OpenAI hay một trợ lý hữu dụng.

Một băng game SNES có thể chạy chatbot bằng chính phần cứng của máy, nhưng thứ làm được điều đó không phải CPU chính. Dự án ChatGPT for SNES của Benj Edwards đưa mô hình ngôn ngữ 2,2 triệu tham số lên chip Super FX 2, bộ xử lý phụ vốn được dùng để tăng tốc đồ họa trong một số trò chơi.

Chip đồ họa phụ có lợi thế xử lý hơn CPU chính

Máy chơi game Super Nintendo và băng game
Băng game Super FX 2 cung cấp bộ xử lý phụ mà dự án tận dụng để chạy mô hình nhỏ. Ảnh: Tom's Hardware / Future

Super FX 2 chứa CPU RISC chạy ở 21,47 MHz, trong khi Ricoh 5A22 của SNES hoạt động ở 2,68 MHz. Chênh lệch xung nhịp giúp giải thích vì sao tác giả chọn chip trên băng game để chạy suy luận: phần cứng phụ có tốc độ cao hơn đáng kể so với bộ xử lý trung tâm của máy.

Super FX vốn được tích hợp vào một số băng game để bổ sung khả năng xử lý đồ họa. Ở dự án này, cùng bộ xử lý đó đảm nhận một tác vụ khác: lần lượt tạo câu trả lời của mô hình nhỏ. Mỗi từ xuất hiện từng bước, phù hợp với năng lực hạn chế của một hệ máy ra mắt từ nhiều thập niên trước, thay vì tạo phản hồi tức thì như chatbot hiện đại.

Điểm đáng chú ý không phải SNES đã biến thành máy chạy ChatGPT theo nghĩa thông thường. Đây là mô hình nhỏ chạy cục bộ trên phần cứng tương thích; tên gọi mô tả kiểu giao diện trò chuyện, không có nghĩa máy kết nối dịch vụ OpenAI hay gọi API qua Internet.

Mô hình nhỏ đổi độ chính xác lấy khả năng chạy trên băng game

Phiên bản 0.7 dùng mô hình khoảng 2,2 triệu tham số. Các hội thoại huấn luyện được tạo bằng gpt-oss-120b, mô hình trọng số mở của OpenAI, nhưng bản chạy trên SNES không phải mô hình lớn đó. Nó là phiên bản được thu nhỏ mạnh để vừa với giới hạn phần cứng, với vốn từ khoảng 8.000 từ.

Đánh đổi thể hiện rõ trong kết quả: mô hình thường trả lời sai, đôi khi vẫn nói rất chắc chắn. Vì vậy, nó phù hợp hơn với một thử nghiệm về cách đưa mô hình ngôn ngữ lên nền tảng cũ, chứ không phải công cụ để hỏi đáp đáng tin cậy. Việc dùng mô hình lớn tạo dữ liệu hội thoại cũng không khiến bản chạy cuối cùng có năng lực tương đương mô hình tạo dữ liệu.

Fact book bổ sung tra cứu nhưng không biến chatbot thành trợ lý đáng tin

Máy Super Nintendo chạy ChatGPT for SNES trên TV CRT
Máy SNES thật có thể chạy dự án qua băng flash tương thích Super FX. Ảnh: BX Foundry / Benj Edwards

Bản mở rộng thêm một kho dữ kiện gồm câu mở đầu của 150.000 bài Simple English Wikipedia, lưu trong tệp dữ liệu MSU-1 đi kèm. Khi cần, mô hình có thể chọn tra cứu và in nội dung từ kho này, thay vì chỉ dựa vào những gì nó học được trong quá trình huấn luyện. Cách làm gợi nhớ cơ chế truy xuất thông tin của các chatbot hiện đại, nhưng phạm vi dữ liệu ở đây được đóng gói sẵn và có thể chứa lỗi.

Màn hình CRT hiển thị cuộc trò chuyện của ChatGPT for SNES
Trên TV CRT, chatbot vẫn phản hồi bằng mô hình nhỏ chạy trong giới hạn phần cứng của SNES. Ảnh: BX Foundry / Benj Edwards

Để chạy bản có fact book trên máy thật, người dùng cần băng flash hỗ trợ Super FX và MSU-1; bản ROM cơ bản chỉ cần hỗ trợ Super FX. Dự án cũng chạy được trong trình giả lập Snes9x trên trình duyệt. Đây là phần mềm thử nghiệm miễn phí, không phải sản phẩm thương mại đang bán tại Việt Nam.

Giá trị của dự án nằm ở cách tận dụng một bộ xử lý phụ vốn dành cho đồ họa để chạy mô hình ngôn ngữ cực nhỏ. Nó cho thấy một tác vụ AI có thể được điều chỉnh để hoạt động trên phần cứng cũ, nhưng không xóa được giới hạn về vốn từ, độ chính xác và tốc độ. Với người dùng, đây là màn trình diễn kỹ thuật thú vị hơn là một lựa chọn thay thế chatbot hiện nay.

Nguồn tham khảo: BX Foundry; Tom’s Hardware

Bài này thế nào?

Hoá đơn của bài này

Tek viết bài này bằng cà phê. Mời Tek một ly nha?

Theo dõi TekCafe: Facebook · YouTube

Bài viết mới nhất