66B là một mô hình ngôn ngữ lớn được thiết kế để hiểu và sinh văn bản bằng tiếng Việt và nhiều ngôn ngữ khác. Với quy mô khoảng 66 tỷ tham số, nó có khả năng nắm bắt các mẫu ngôn ngữ phức tạp và hỗ trợ nhiều tác vụ như trả lời câu hỏi, tóm tắt, và sáng tác văn bản.
66B được xây dựng trên một biến thể của kiến trúc tự chú ý, với nhiều lớp và tối ưu hóa cho hiệu suất nhanh. Dựa trên cơ chế này, tham số lớn cho phép học các mối quan hệ ngữ nghĩa phức tạp, nhưng cũng đòi hỏi phần cứng đủ mạnh để huấn luyện và triển khai.
Quá trình đào tạo của 66B dựa trên tập dữ liệu đa dạng từ sách, bài báo, trang web và văn bản xã hội. Việc làm sạch và lọc dữ liệu là yếu tố quan trọng để giảm rủi ro sai lệch và đầu tư vào an toàn nội dung. Mô hình được huấn luyện bằng tối ưu hóa log-likelihood và các biến thể hiện đại của huấn luyện không giám sát có điều khiển.
66B có thể trả lời câu hỏi, viết văn bản sáng tạo, hỗ trợ lập trình, dịch thuật và tổng hợp nội dung. Nó có thể được tinh chỉnh cho các tác vụ chuyên ngành như y tế hoặc pháp lý, giúp tăng năng suất và hỗ trợ ra quyết định ở quy mô lớn.
Như mọi mô hình lớn, 66B đối mặt với rủi ro về sai lệch, tạo thông tin sai sự thật hoặc phụ thuộc vào dữ liệu đầu vào. Bảo mật, quyền riêng tư và quản trị rủi ro là yếu tố cần thiết khi triển khai trong thực tế. Ngoài ra, tính tối ưu hóa tài nguyên và chi phí vẫn là thách thức khi triển khai trên quy mô lớn.
66B biểu thị một bước tiến trong lĩnh vực mô hình ngôn ngữ lớn ở mức vừa phải về quy mô nhưng mạnh về khả năng ứng dụng. Với cải tiến về hiệu suất, an toàn và sự tinh chỉnh cho các tác vụ chuyên môn, 66B có tiềm năng đóng vai trò nền tảng cho các giải pháp AI ở khu vực châu Á và toàn cầu.
