Tóm tắt nhanh
- Tiny 2.1 là transformer hỏi-đáp viết bằng Turbo C 2.0, chạy trên máy 486DX hoặc Pentium với MS-DOS thuần.
- Mô hình có 367.000 tham số; bộ trọng số 8-bit chiếm 380 KB và chương trình cần khoảng 540 KB bộ nhớ quy ước trống.
- Nó được huấn luyện trên khoảng 3.500 sự kiện, nên không thể xem như một LLM đa năng.
- Dự án mã nguồn mở miễn phí cho phép người dùng bổ sung dữ kiện và huấn luyện lại bằng máy tính thông thường.
Một chiếc PC chạy MS-DOS có thể hỏi-đáp bằng transformer: Tiny 2.1 của WollyMonjac gồm 367.000 tham số, vừa trên đĩa mềm và cần khoảng 540 KB bộ nhớ quy ước còn trống. Điểm đáng chú ý không nằm ở việc biến máy 486 thành ChatGPT; đây là một mô hình nhỏ, được thiết kế quanh một kho kiến thức giới hạn.
380 KB trọng số là phần cốt lõi, không phải toàn bộ giới hạn chạy

Tiny 2.1 có bốn lớp, độ rộng 96 và xử lý đầu vào, đầu ra theo từng ký tự. Các trọng số được lưu ở dạng 8-bit, kèm một hệ số tỷ lệ cho mỗi hàng; toàn bộ phần này chiếm 380 KB. Dung lượng ấy giúp mô hình nằm trong giới hạn của một đĩa mềm thời 486, nhưng không đồng nghĩa cả chương trình chỉ dùng đúng 380 KB: máy vẫn cần khoảng 540 KB bộ nhớ quy ước trống để chạy.

Đây là cách thu hẹp bài toán từ đầu. Tiny 2.1 không cố giữ nguyên quy mô hay khả năng của các mô hình ngôn ngữ hiện đại rồi tìm cách nhồi chúng vào phần cứng cũ. Nó dùng kiến trúc transformer với số tham số rất nhỏ, bộ trọng số nén gọn và cách đọc-viết từng ký tự. Vì vậy, mốc 540 KB nói lên giới hạn vận hành của chương trình DOS, còn 380 KB là dung lượng trọng số được công bố; hai con số mô tả những phần khác nhau.
Khoảng 3.500 sự kiện cũng là ranh giới kiến thức của mô hình
WollyMonjac cho biết Tiny 2.1 được huấn luyện trên khoảng 3.500 sự kiện, mỗi sự kiện được diễn đạt thành nhiều cách hỏi. Cách tổ chức này phù hợp với một công cụ hỏi-đáp chuyên biệt: mô hình có thể trả lời các câu nằm trong phạm vi dữ liệu đã học, nhưng không có nền kiến thức rộng như một LLM lớn.
Giới hạn ấy thể hiện rõ khi mô hình gặp câu hỏi ngoài tập huấn luyện. Tác giả cảnh báo rằng Tiny 2.1 có thể bịa câu trả lời một cách tự tin. Vì vậy, giao diện neon, bảng theo dõi hoạt động của bốn lớp hay giọng robot phát qua loa PC chủ yếu làm trải nghiệm DOS thú vị hơn; chúng không phải bằng chứng cho thấy câu trả lời luôn đáng tin.
Bộ công cụ huấn luyện mở rộng được chủ đề, không tự động bảo đảm độ đúng
Dự án phát hành theo giấy phép MIT và đi kèm thư mục huấn luyện gồm dữ kiện, công cụ tạo nhiều cách hỏi cùng mã huấn luyện PyTorch. Theo kho mã nguồn, có thể bổ sung dữ kiện của riêng mình rồi huấn luyện trên CPU thông thường. Cách làm này biến Tiny 2.1 thành một thử nghiệm có thể tùy biến cho một chủ đề hẹp, thay vì một trợ lý đa năng chạy trên phần cứng cũ.
Việc thêm dữ liệu giúp thay đổi những gì mô hình được học, nhưng chất lượng câu trả lời vẫn phụ thuộc vào tập dữ kiện và cách huấn luyện. Đó là đánh đổi rõ ràng của một mô hình chỉ có 367.000 tham số: nó trình diễn được rằng transformer có thể chạy trong môi trường DOS rất hạn chế, chứ không chứng minh rằng mọi máy tính cá nhân cũ đều có thể thay thế dịch vụ AI hiện đại.
Nguồn tham khảo: WollyMonjac/Tiny-2.1 trên GitHub; Tom’s Hardware.







