Tóm tắt nhanh
- Jan có thể kết nối mô hình ngôn ngữ chạy tại máy với công cụ tìm kiếm và đọc trang web, nhưng hai bước này phục vụ những việc khác nhau.
- Có đường dẫn tham khảo chưa đủ bảo đảm câu trả lời đúng: mô hình vẫn có thể trộn thông tin của ứng dụng với tiện ích bên thứ ba.
- Bộ nhớ dành cho nội dung trang web là một giới hạn đáng chú ý, bên cạnh dung lượng của bản thân mô hình.
- Nên tận dụng máy sẵn có để thử, thay vì mua GPU chỉ vì kỳ vọng thay thế hoàn toàn Google Search.
Một lượt tìm kiếm đã chiếm 70% cửa sổ ngữ cảnh dù Qwen được đặt ở mức 30.000 token, theo ghi nhận của XDA Developers. Con số này cho thấy đánh đổi ít được chú ý khi đưa web vào AI cục bộ: câu trả lời gọn trên màn hình có thể đòi hỏi mô hình xử lý khá nhiều văn bản phía sau.
Jan giúp đưa cách hỏi bằng câu tự nhiên lên máy cá nhân, thay cho việc mở công cụ tìm kiếm rồi tự ghép thông tin từ các trang. Giá trị của cách làm này nằm ở khả năng hỗ trợ đọc và tổng hợp, chứ chưa phải lời hứa loại bỏ Google hay giao luôn việc kiểm chứng cho một mô hình nhỏ.
Câu trả lời có nguồn vẫn có thể sai ngay ở tên bản cập nhật
Công cụ tìm kiếm giúp mô hình tiếp cận thông tin mới, nhưng không bảo đảm nó hiểu đúng quan hệ giữa các trang. Một kết quả nói về tiện ích của Obsidian không tự động trở thành bằng chứng cho bản phát hành của chính Obsidian, kể cả khi tên ứng dụng xuất hiện liên tục trong cả hai tài liệu.
Trong câu hỏi về những gì Obsidian phát hành trong tháng, XDA Developers ghi nhận Qwen lấy 10 nguồn rồi trả về mốc tháng 10/2035, trong khi một tiêu đề khác lại ghi năm 2045. Phần lớn nguồn là nhật ký thay đổi của plugin bên thứ ba, chỉ một nguồn thuộc Obsidian; số phiên bản được trả lời cũng không tìm thấy để đối chiếu. Đây là lỗi của việc tổng hợp, không đơn thuần là thiếu kết nối internet.
Danh sách tham khảo dài trong tình huống đó dễ tạo cảm giác đáng tin hơn nội dung thực sự. Khi các trang cùng nhắc một tên phần mềm nhưng nói về những thành phần khác nhau, mô hình có thể ghép thời điểm từ trang này với tính năng ở trang khác. Việc mở được trang chỉ xác nhận công cụ đã lấy nội dung, chưa xác nhận câu trả lời sử dụng nội dung ấy đúng cách.
Vì vậy, câu hỏi về phiên bản nên chỉ rõ ứng dụng chính hay plugin, nền tảng cần xem và khoảng thời gian cụ thể. Yêu cầu trả lời từ trang phát hành chính thức, kèm ngày của từng mục, giúp thu hẹp phạm vi tài liệu cần đọc. Nếu trang đó không có bản phát hành phù hợp, một câu trả lời thừa nhận không tìm thấy sẽ hữu ích hơn việc cố điền đủ các trường thông tin.
Người đọc vẫn cần mở nguồn gốc để kiểm tra những chi tiết có thể ảnh hưởng đến quyết định cài đặt hoặc cập nhật. Liên kết dưới câu trả lời là lối quay về bằng chứng, không phải dấu chứng nhận rằng mọi câu ở phía trên đều đúng.
Search tìm đường dẫn, Fetch mới lấy nội dung để phân tích
Muốn đánh giá AI có thật sự tra cứu hay không, cần tách bước tìm kết quả khỏi bước đọc trang. Search thường trả về tiêu đề, đường dẫn và đoạn trích ngắn; phần này phù hợp để chọn trang có liên quan, nhưng có thể bỏ qua điều kiện áp dụng hoặc chi tiết nằm sâu trong bài.
Fetch là bước lấy nội dung của một trang đã chọn để đưa cho mô hình xử lý. Với câu hỏi về bản cập nhật, đoạn trích có thể chỉ nhắc tên phần mềm và vài tính năng, còn nội dung trang mới cho biết chúng thuộc phiên bản nào. Nếu chỉ dựa vào đoạn trích, mô hình vẫn đang suy luận từ một phần rất nhỏ của bằng chứng.
Ở cấu hình được mô tả, Web Search của Jan dùng Exa qua endpoint miễn phí không cần API key. Việc bật tính năng đi cùng cài tiện ích trình duyệt Jan, còn giao diện cho biết công cụ nào đang được gọi. Chi tiết đáng quan tâm là khả năng phân biệt lượt tìm danh sách với lượt mở trang, thay vì chỉ nhìn dòng thông báo chung rằng AI đang tìm kiếm.
Trong luồng này, mô hình có thể tìm trước, chọn kết quả rồi đọc trang phù hợp trước khi tạo câu trả lời. Nội dung lấy về được giới hạn độ dài, nên chữ “đọc” cũng không nên hiểu thành cam kết đã xem mọi phần của một trang dài. Nếu chi tiết cần kiểm chứng nằm ngoài phần văn bản được đưa vào, kết luận vẫn có thể thiếu căn cứ.
Đây cũng là lý do câu trả lời trôi chảy không phải tiêu chí đủ để chọn mô hình. Với tác vụ tra cứu, khả năng gọi đúng công cụ và chọn đúng nguồn có thể hữu ích hơn một đoạn văn diễn đạt đẹp nhưng được viết hoàn toàn từ kiến thức cũ. Khi hỏi về thông tin mới, nên xem dấu vết gọi công cụ trước khi tin vào độ tự tin của câu chữ.
Đọc thêm trang web cũng làm tăng gánh nặng bộ nhớ
Cửa sổ ngữ cảnh là lượng văn bản mô hình có thể xử lý trong một lượt, bao gồm câu hỏi, lịch sử hội thoại và nội dung công cụ trả về. Token là đơn vị mà mô hình dùng để biểu diễn văn bản; nó không tương đương cố định với một từ tiếng Việt. Khi thêm nhiều trang, phần chỗ trống còn lại cho cuộc trò chuyện sẽ giảm.
Ghi nhận 70% ở cửa sổ 30.000 token của XDA Developers là một tình huống cụ thể, không phải mức tiêu hao cố định của Jan hay mọi truy vấn web. Dù vậy, nó cho thấy giới hạn độ dài từng trang không đồng nghĩa cả lượt tìm sẽ nhẹ. Nhiều trang đã rút gọn cộng lại vẫn có thể chiếm phần lớn dung lượng xử lý.
Với máy có bộ nhớ đồ họa hạn chế, chỉ nhìn dung lượng tệp mô hình là chưa đủ. Cấu hình còn phải dành chỗ cho dữ liệu xử lý trong hội thoại, vì thế tăng ngữ cảnh có thể làm thay đổi bài toán bộ nhớ ngay cả khi giữ nguyên mô hình. Một bản chạy được ở cuộc trò chuyện ngắn chưa chắc giữ nguyên tốc độ khi phải đọc nhiều kết quả tìm kiếm.
Tài liệu phát hành Jan v0.8.6 trên GitHub có một ví dụ riêng về cấu hình bộ nhớ: Qwen3.8 dùng MTP bị chậm sau bản v0.8.5 vì chế độ Parallel Sequences tự động dành bộ nhớ cho 4 luồng. Trên card khoảng 12 GB, việc này đẩy mô hình sang bộ nhớ hệ thống; bản sửa chuyển trường hợp MTP ở chế độ tự động về một luồng. Đây là lỗi ở cấu hình và phiên bản cụ thể, không phải phép đo tốc độ cho Qwen 3.5 trong bài thử tìm kiếm.
Hệ quả thực dụng là nên thu hẹp công việc trước khi tăng ngữ cảnh. Một yêu cầu có tên sản phẩm rõ ràng, mốc thời gian cụ thể và ưu tiên tài liệu chính thức có thể giảm số trang phải xử lý. Kéo dài ngữ cảnh để chứa thêm mọi kết quả không giải quyết được chuyện chọn nhầm nguồn, mà còn làm máy phải gánh nhiều văn bản hơn.
AI chạy tại máy không biến truy vấn web thành dữ liệu ngoại tuyến
Chạy suy luận cục bộ và tìm kiếm riêng tư là hai vấn đề khác nhau. Mô hình tạo câu trả lời trên máy cá nhân, nhưng khi gọi dịch vụ tìm kiếm, nội dung truy vấn vẫn phải đi tới dịch vụ đó; bước mở trang cũng cần giao tiếp với website bên ngoài. Thay nhà cung cấp tìm kiếm không đồng nghĩa ngừng gửi dữ liệu ra mạng.
Với Jan trong cách thiết lập kể trên, Exa vẫn là một thành phần bên ngoài máy. Vì thế, việc không dùng Google chỉ mô tả một lựa chọn công cụ, chưa đủ để kết luận toàn bộ chuỗi xử lý không có bên thứ ba. Phần suy luận cục bộ đem lại quyền kiểm soát ở một khâu, còn đường đi của truy vấn phải được xem riêng.
Điểm này đặc biệt đáng lưu ý khi câu hỏi chứa nội dung công việc. Không nên đưa nguyên tài liệu nội bộ vào truy vấn web chỉ vì ứng dụng đang dùng mô hình đã tải về máy. Cách thận trọng hơn là tách phần cần tra cứu công khai khỏi thông tin riêng, rồi kiểm tra công cụ và quyền truy cập đang bật trước khi thực hiện.
Tiện ích trình duyệt và MCP, cơ chế kết nối mô hình với công cụ, làm việc tra cứu thuận tiện hơn nhưng cũng mở rộng những gì ứng dụng có thể làm. Chỉ nên cấp các quyền cần cho mục đích đang dùng. Quyền đọc trang web không phải lý do để cấp thêm quyền truy cập dữ liệu cá nhân không liên quan.
Ở góc độ lựa chọn phần mềm, khả năng quan sát công cụ được gọi có ích hơn một lời quảng bá chung về quyền riêng tư. Người dùng cần biết khi nào mô hình chỉ xử lý nội dung tại máy và khi nào nó đang hỏi một dịch vụ trên mạng, nhất là lúc chuyển từ giải thích kiến thức có sẵn sang tìm thông tin mới.
Nên thử trên máy sẵn có trước khi nghĩ tới nâng cấp GPU
Tận dụng phần cứng hiện có hợp lý hơn mua một card đồ họa để theo đuổi lời hứa thay Google. Với người dùng tại Việt Nam, một ứng dụng không thu phí sử dụng vẫn chưa loại bỏ chi phí phần cứng, điện và thời gian thiết lập. Nếu mục đích chỉ là mở nhanh một trang quen thuộc, việc thêm mô hình vào giữa có thể không đem lại lợi ích tương xứng.
XDA Developers nêu Qwen 3.5 4B Q4_K_M cho hội thoại nhẹ và bản 9B Q4_K_M cho công việc nặng hơn trên GPU có 8 GB bộ nhớ. Đây là lựa chọn cấu hình trong bài trải nghiệm, không phải chứng nhận mọi card cùng dung lượng sẽ chạy mượt với mọi độ dài ngữ cảnh. Bài không đưa bảng tốc độ để biến khuyến nghị ấy thành bảo đảm hiệu năng.
Q4_K_M là tên một kiểu lượng tử hóa, tức cách biểu diễn trọng số gọn hơn để giảm nhu cầu bộ nhớ. Nhưng dùng bản gọn hơn không làm chi phí đọc web biến mất, và mô hình có nhiều tham số hơn cũng không tự bảo đảm chọn nguồn tốt hơn. Nên đánh giá cả quá trình từ câu hỏi đến nguồn được đọc, thay vì chỉ so dung lượng tệp tải về.
Một cách thử phù hợp là dùng những câu hỏi công việc mà người dùng đã biết nguồn kiểm chứng: giải thích một tùy chọn phần mềm, đối chiếu nhật ký thay đổi, hoặc tổng hợp khác biệt giữa các tài liệu chính thức. Sau đó xem mô hình có gọi web khi cần, có đọc đúng trang và có giữ được điều kiện trong câu trả lời hay không. Mục tiêu là tìm việc nó giúp tiết kiệm thao tác, không phải cố chuyển mọi truy vấn sang AI.
Các nhu cầu như tìm quán đang mở gần vị trí hiện tại hay đi tới trang đăng nhập vẫn nên ưu tiên công cụ chuyên dụng hoặc đường dẫn đã biết. Thêm một lớp diễn giải không mang lại nhiều giá trị khi người dùng cần địa chỉ chính xác hơn là một câu trả lời tổng hợp.
Jan đáng thử như một công cụ hỗ trợ đọc web có thể quan sát được quá trình làm việc. Nhưng tiêu chuẩn để giữ nó trong thói quen hằng ngày phải là giảm công đọc mà vẫn kiểm chứng được kết quả; nếu mất nhiều thời gian sửa câu trả lời hơn tự mở nguồn, chưa có lý do nâng cấp phần cứng chỉ để tiếp tục dùng cách tìm ấy.
Nguồn tham khảo: XDA Developers, Jan HQ – ghi chú phát hành v0.8.6
