Chia sẻ đam mê công nghệ
Phần mềm

Tiny 2.1 đưa transformer hỏi-đáp lên máy 486DX với 540 KB RAM

Tiny 2.1 là transformer hỏi-đáp 367.000 tham số viết bằng Turbo C 2.0, chạy trên MS-DOS và cần khoảng 540 KB bộ nhớ quy ước trống. Mô hình nằm gọn trên đĩa mềm, nhưng kiến thức chỉ xoay quanh khoảng 3.500 sự kiện.

Tóm tắt nhanh

  • Tiny 2.1 là transformer hỏi-đáp viết bằng Turbo C 2.0, chạy trên máy 486DX hoặc Pentium với MS-DOS thuần.
  • Mô hình có 367.000 tham số; bộ trọng số 8-bit chiếm 380 KB và chương trình cần khoảng 540 KB bộ nhớ quy ước trống.
  • Nó được huấn luyện trên khoảng 3.500 sự kiện, nên không thể xem như một LLM đa năng.
  • Dự án mã nguồn mở miễn phí cho phép người dùng bổ sung dữ kiện và huấn luyện lại bằng máy tính thông thường.

Một chiếc PC chạy MS-DOS có thể hỏi-đáp bằng transformer: Tiny 2.1 của WollyMonjac gồm 367.000 tham số, vừa trên đĩa mềm và cần khoảng 540 KB bộ nhớ quy ước còn trống. Điểm đáng chú ý không nằm ở việc biến máy 486 thành ChatGPT; đây là một mô hình nhỏ, được thiết kế quanh một kho kiến thức giới hạn.

380 KB trọng số là phần cốt lõi, không phải toàn bộ giới hạn chạy

Giao diện Tiny 2.1 chạy trên MS-DOS với khung hội thoại và bảng theo dõi mạng nơ-ron
Giao diện DOS của Tiny 2.1 hiển thị lịch sử hỏi-đáp và hoạt động của mạng bốn lớp. Ảnh: Tom's Hardware / WollyMonjac

Tiny 2.1 có bốn lớp, độ rộng 96 và xử lý đầu vào, đầu ra theo từng ký tự. Các trọng số được lưu ở dạng 8-bit, kèm một hệ số tỷ lệ cho mỗi hàng; toàn bộ phần này chiếm 380 KB. Dung lượng ấy giúp mô hình nằm trong giới hạn của một đĩa mềm thời 486, nhưng không đồng nghĩa cả chương trình chỉ dùng đúng 380 KB: máy vẫn cần khoảng 540 KB bộ nhớ quy ước trống để chạy.

Đĩa mềm có nhãn LLM đặt trên mặt bàn
Đĩa mềm được dùng để minh họa cách Tiny 2.1 gói mô hình hỏi-đáp cho máy tính DOS đời 486DX và Pentium. Ảnh: Tom's Hardware / Future

Đây là cách thu hẹp bài toán từ đầu. Tiny 2.1 không cố giữ nguyên quy mô hay khả năng của các mô hình ngôn ngữ hiện đại rồi tìm cách nhồi chúng vào phần cứng cũ. Nó dùng kiến trúc transformer với số tham số rất nhỏ, bộ trọng số nén gọn và cách đọc-viết từng ký tự. Vì vậy, mốc 540 KB nói lên giới hạn vận hành của chương trình DOS, còn 380 KB là dung lượng trọng số được công bố; hai con số mô tả những phần khác nhau.

Khoảng 3.500 sự kiện cũng là ranh giới kiến thức của mô hình

WollyMonjac cho biết Tiny 2.1 được huấn luyện trên khoảng 3.500 sự kiện, mỗi sự kiện được diễn đạt thành nhiều cách hỏi. Cách tổ chức này phù hợp với một công cụ hỏi-đáp chuyên biệt: mô hình có thể trả lời các câu nằm trong phạm vi dữ liệu đã học, nhưng không có nền kiến thức rộng như một LLM lớn.

Giới hạn ấy thể hiện rõ khi mô hình gặp câu hỏi ngoài tập huấn luyện. Tác giả cảnh báo rằng Tiny 2.1 có thể bịa câu trả lời một cách tự tin. Vì vậy, giao diện neon, bảng theo dõi hoạt động của bốn lớp hay giọng robot phát qua loa PC chủ yếu làm trải nghiệm DOS thú vị hơn; chúng không phải bằng chứng cho thấy câu trả lời luôn đáng tin.

Bộ công cụ huấn luyện mở rộng được chủ đề, không tự động bảo đảm độ đúng

Dự án phát hành theo giấy phép MIT và đi kèm thư mục huấn luyện gồm dữ kiện, công cụ tạo nhiều cách hỏi cùng mã huấn luyện PyTorch. Theo kho mã nguồn, có thể bổ sung dữ kiện của riêng mình rồi huấn luyện trên CPU thông thường. Cách làm này biến Tiny 2.1 thành một thử nghiệm có thể tùy biến cho một chủ đề hẹp, thay vì một trợ lý đa năng chạy trên phần cứng cũ.

Việc thêm dữ liệu giúp thay đổi những gì mô hình được học, nhưng chất lượng câu trả lời vẫn phụ thuộc vào tập dữ kiện và cách huấn luyện. Đó là đánh đổi rõ ràng của một mô hình chỉ có 367.000 tham số: nó trình diễn được rằng transformer có thể chạy trong môi trường DOS rất hạn chế, chứ không chứng minh rằng mọi máy tính cá nhân cũ đều có thể thay thế dịch vụ AI hiện đại.

Nguồn tham khảo: WollyMonjac/Tiny-2.1 trên GitHub; Tom’s Hardware.

Bài này thế nào?

Hoá đơn của bài này

Tek viết bài này bằng cà phê. Mời Tek một ly nha?

Theo dõi TekCafe: Facebook · YouTube

Bài viết mới nhất