Mô hình 66B là một mô hình ngôn ngữ lớn với khoảng 66 tỷ tham số, được thiết kế để hiểu và sinh văn bản có chất lượng cao. Nó có khả năng trả lời câu hỏi, tóm tắt văn bản, viết mã và tham gia vào các cuộc đối thoại tự nhiên.
66B chủ yếu dựa trên kiến trúc transformer, với nhiều tầng self-attention và các lớp feed-forward. Số tham số 66 tỷ được phân bổ cho các ma trận trọng số của các lớp này, cùng với các công cụ tối ưu hóa và kỹ thuật tiền huấn luyện trên tập dữ liệu khổng lồ.
Mô hình có thể hỗ trợ viết văn, trả lời câu hỏi, tóm tắt văn bản, phân tích ý kiến và hỗ trợ lập trình. Tuy nhiên, chi phí đào tạo và vận hành lớn, cùng với các rủi ro về thiên vị, an toàn và quyền riêng tư, đòi hỏi các biện pháp kiểm soát và đánh giá chất lượng nghiêm ngặt.