#llama.cpp

Tối ưu

Cách dùng llama.cpp để chạy mô hình MoE lớn trên GPU 8GB

Cờ --n-cpu-moe cho phép llama.cpp đưa expert của mô hình MoE sang RAM, giúp GPU 8GB chạy được mô hình lớn hơn nhưng cần cân bằng giữa VRAM, tốc độ và độ dài ngữ…