Phép đo với RTX 4070 Ti Super cho thấy tiền điện sinh token khá thấp, nhưng máy bật chờ cả ngày và khoản đầu tư phần cứng mới quyết định bài toán tiết kiệm.
Sửa câu, tóm tắt ngắn hay giải thích khái niệm cơ bản không nhất thiết phải dùng mô hình AI đám mây. Gemma chạy ngay trên điện thoại hoặc laptop có thể xử lý nh…
Một cấu hình suy luận tùy biến đưa Qwen3.8-27B từ 82 lên 382 token/giây trên RTX 3090 khi trích dẫn tài liệu dài. Chat thông thường đạt khoảng 133 token/giây; m…
Thời gian chờ token đầu tiên và nhịp sinh phần còn lại đến từ hai pha khác nhau của LLM. KV cache, PagedAttention và spe…
Tesla V100 32GB vẫn có thể chạy LLM cục bộ nhờ băng thông HBM2 900 GB/s, nhưng card máy chủ đời 2017 đòi hỏi hệ thống là…
Một người dùng cho biết chuyển dây màn hình từ RTX 4090 sang cổng đồ họa tích hợp giúp tăng cửa sổ ngữ cảnh Qwen3.8-27B…
Mac mini có thể chạy mô hình AI cục bộ, nhưng dung lượng bộ nhớ, thời gian chờ token đầu tiên và cấu hình thử nghiệm quan trọng hơn một con số tok/s. Đây là các…
Nghiên cứu của Lasso Security cho thấy watermark cấp độ token có thể làm giảm độ chính xác tool calling và khiến LLM dễ chấp thuận yêu cầu nguy hại hơn khi gặp…
Chưa có bài nào. Bấm “Lưu” ở trang bài để đọc sau.
Tek chạy bằng cà phê. Mỗi ly giúp Tek viết thêm bài cho bạn.
Nội dung chuyển khoản
Số tiền
Quầy chưa có hướng dẫn chuyển tiền, bạn quay lại sau nha.
Cảm ơn bạn! Tek nhận ly rồi nha ☕ Hôm nay bạn cứ nhắn Tek thoải mái.
Hỏi Tek về bài đang đọc hoặc chuyện công nghệ nha. Tek trả lời ngắn thôi.
Tek đang gõ…
