Block tạo Dessa, mô hình AI có thể nghe và nói cùng lúc

Block vừa công bố Dessa, một mô hình AI hội thoại được huấn luyện chỉ bằng âm thanh, với khả năng nghe và trả lời đồng thời thay vì chuyển lời nói thành văn bản rồi mới tạo câu trả lời. Điểm đáng chú ý không nằm ở việc mô hình có giọng nói, mà ở chỗ âm thanh được xử lý trực tiếp từ đầu đến cuối.

Dessa bỏ bước chuyển lời nói thành văn bản

Nhiều hệ thống trợ lý giọng nói xử lý yêu cầu theo chuỗi: nhận dạng lời nói, chuyển giọng thành chữ, đưa phần chữ vào mô hình ngôn ngữ rồi tạo giọng nói cho câu trả lời. Cách này thuận tiện để dùng các mô hình văn bản sẵn có, nhưng có thể làm mất thông tin nằm ngoài câu chữ như ngữ điệu, nhịp ngắt, tiếng cười hay tiếng thở dài.

Dessa được Block mô tả là mô hình speech-to-speech: âm thanh đi vào và âm thanh được tạo ra trực tiếp. Công ty cho biết mô hình được huấn luyện từ đầu trên hội thoại của con người, không dùng văn bản hoặc mô hình đã tiền huấn luyện. Các ví dụ trình diễn trên trang Dessa cho thấy mô hình có thể chen lời, phản hồi bằng những tiếng đệm ngắn và thay đổi cách nói theo tình huống.

Thiết kế full-duplex cho phép mô hình vừa nghe vừa nói. Trong hội thoại tự nhiên, người nói thường phản hồi bằng một tiếng “ừ” hoặc ngắt lời để làm rõ ý trước khi đối phương nói hết câu. Một hệ thống chờ đến khi người dùng im lặng, hoàn tất nhận dạng rồi mới bắt đầu trả lời khó giữ nhịp tương tác ấy, kể cả khi tốc độ tạo giọng đã được cải thiện.

Giữ ngữ điệu có thể giúp AI hiểu đúng tình huống hơn

Cùng một câu chữ có thể mang ý khác nhau tùy từ được nhấn, giọng mỉa mai hay trạng thái cảm xúc của người nói. Khi âm thanh bị rút thành văn bản, những tín hiệu này thường không còn nguyên vẹn. Xử lý trực tiếp lời nói mở ra khả năng phản hồi phù hợp hơn với cách người dùng nói, nhất là khi họ đang bối rối, khó chịu hoặc cần ngắt lời.

Block nêu an toàn là một lý do phát triển Dessa: một hệ thống hỗ trợ bằng giọng nói nên nhận ra khi người dùng đang đau đớn hoặc căng thẳng, thay vì tiếp tục cuộc hội thoại như thể mọi thứ bình thường. Nhưng khả năng nhận biết cảm xúc không đồng nghĩa mô hình đã hiểu chính xác trạng thái của người nói. Cảm xúc qua giọng nói khác nhau theo ngôn ngữ, văn hóa và từng cá nhân; việc đoán sai có thể khiến phản hồi trở nên khó chịu hoặc làm tình huống xấu hơn.

Vì vậy, cách tiếp cận này cần được đánh giá không chỉ qua các đoạn demo tự nhiên mà còn qua những trường hợp mô hình hiểu sai, nói chen không đúng lúc hoặc diễn giải nhầm sắc thái. Block cho biết sẽ cấp quyền truy cập sớm cho một nhóm nhỏ nhà nghiên cứu an toàn AI để tìm các rủi ro chưa được dự đoán.

Chạy cục bộ là hướng đáng chú ý, nhưng chưa phải quyền truy cập rộng rãi

Block cho biết Dessa có thể chạy suy luận nhanh hơn thời gian thực trên MacBook Pro dùng chip M4 Max hoặc cao hơn. Nếu khả năng chạy cục bộ được duy trì trong sản phẩm hoàn chỉnh, âm thanh có thể được xử lý ngay trên máy thay vì phải gửi liên tục lên máy chủ đám mây. Điều đó có tiềm năng giảm phụ thuộc mạng và hạn chế việc truyền giọng nói ra ngoài thiết bị, dù mức độ riêng tư thực tế còn phụ thuộc cách ứng dụng lưu trữ và xử lý dữ liệu.

Yêu cầu phần cứng M4 Max trở lên cũng đặt ra giới hạn đáng kể: đây chưa phải mô hình có thể mặc định chạy trên điện thoại hay máy tính phổ thông. Block chưa công bố kích thước mô hình, mức sử dụng bộ nhớ, chất lượng theo ngôn ngữ hoặc kết quả đánh giá độc lập. Do đó, lời giới thiệu về khả năng chạy cục bộ chưa đủ để kết luận Dessa sẽ sớm trở thành trợ lý giọng nói dùng được trên thiết bị đại chúng.

Ở chiều ngược lại, Block nói nhóm đã huấn luyện Dessa trên một hệ thống NVIDIA GB200 NVL72 duy nhất. Công ty cũng tuyên bố mô hình học ngôn ngữ với số từ ít hơn hàng trăm lần so với các mô hình ngôn ngữ lớn; phép so sánh này do chính nhóm phát triển đưa ra và không nên hiểu thành bằng chứng rằng chi phí hay tài nguyên tổng thể thấp hơn tương ứng. Học từ âm thanh đặt ra bài toán khác văn bản, vì cùng một câu nói có thể biến đổi theo giọng, tốc độ, khoảng dừng và cảm xúc.

Dessa vẫn là thử nghiệm nghiên cứu, chưa phải sản phẩm phổ thông

Trang của Block hiện mời người quan tâm đăng ký danh sách chờ, còn quyền truy cập sớm dành cho một nhóm nhỏ nhà nghiên cứu an toàn AI. Chưa có thông tin về ngày phát hành rộng rãi, ứng dụng hoàn chỉnh, giá bán hay hỗ trợ tiếng Việt. Vì vậy, người dùng tại Việt Nam chưa thể xem đây là một trợ lý giọng nói sẵn sàng cài đặt và sử dụng.

Giá trị của Dessa trước mắt nằm ở câu hỏi kỹ thuật mà nó đặt ra: liệu AI có thể giữ được nhiều tín hiệu của hội thoại bằng cách học trực tiếp từ âm thanh, thay vì buộc lời nói phải đi qua lớp văn bản hay không. Câu trả lời sẽ phụ thuộc vào khả năng hoạt động ổn định ngoài các đoạn trình diễn, mức độ hiểu sai trong hội thoại thật và cách Block xử lý âm thanh khi mô hình được mở rộng.

Nguồn tham khảo: Block – Dessa; The Verge; Unite.AI