#LLM cục bộ

Tối ưu

Cách tối ưu LLM trên GPU 8GB: dành bộ nhớ trước, chỉnh Min-p sau

Chạy LLM cục bộ cần chừa bộ nhớ cho cả model lẫn ngữ cảnh. Chọn model vừa sức, giới hạn context và thử Min-p có kiểm soát hữu ích hơn việc đẩy mọi thiết lập lên…