Xiaomi AI model MiLM-6B lần đầu lộ diện: 6,4 tỷ thông số, xếp thứ 10 trong danh sách C-Eval

Vn-Z.vn Ngày 12 tháng 08 năm 2023, Hiện tại Xiaomi chưa "chính thức" tham gia vào lĩnh vực mô hình AI lớn. Tuy nhiên, người ta đã phát hiện ra mô hình AI lớn của Xiaomi, MiLM-6B, đã âm thầm xuất hiện trong danh sách đánh giá mô hình trí tuệ nhân tạo C-Eval và CMMLU. Hiện tại, mô hình lớn của Xiaomi đứng thứ 10 trong bảng tổng hợp C-Eval và đứng đầu trong cùng phân loại tham số.
Theo thông tin từ trang GitHub, MiLM-6B là mô hình ngôn ngữ tiền huấn luyện quy mô lớn được phát triển bởi Xiaomi, với kích thước tham số lên đến 6,4 tỷ.

Quy mô tham số (parameter scale) trong ngữ cảnh mô hình trí tuệ nhân tạo (AI) đề cập đến số lượng tham số (weights) có trong một mô hình cụ thể. Tham số là các giá trị số được mô hình học để điều chỉnh và tùy chỉnh quá trình dự đoán và học từ dữ liệu.

Trong các mô hình AI, quy mô tham số thường được sử dụng để đo lường độ phức tạp và khả năng biểu diễn của mô hình. Một quy mô tham số lớn hơn thường đề cập đến mô hình có nhiều tham số hơn, điều này có thể ám chỉ đến một mô hình có khả năng học tốt hơn và có khả năng biểu diễn thông tin phức tạp hơn. Tuy nhiên, quy mô tham số cũng có thể tạo ra các mô hình to lớn, tốn nhiều tài nguyên tính toán và khó huấn luyện.

Quy mô tham số được đo bằng số lượng tham số trong mô hình, thường được đếm dựa trên số lượng trọng số (weights) trong các lớp mạng nơ-ron, các ma trận trọng số và các tham số khác có trong mô hình.

Nhấn để mở rộng...

Theo thông tin từ C-Eval, mô hình MiLM-6B đã đạt được độ chính xác cao trong nhiều mục tiêu trong các môn STEM (khoa học, công nghệ, kỹ thuật và toán học). Đặc biệt, mô hình đã đạt được độ chính xác cao trong các môn như kế toán, vật lý, hóa học, sinh học và nhiều môn khác.

Theo thông tin, mô hình MiLM-6B hiện đang có độ chính xác tương đối tốt trong hầu hết các môn học thuộc lĩnh vực văn học xã hội. Tuy nhiên, trong các môn như "pháp luật, toán học, lập trình, lý thuyết xác suất và toán rời rạc" liên quan đến "tư duy trừu tượng", vẫn còn một số vấn đề cần cải thiện.

Trong 10 môn học "khoa học xã hội", ngoại trừ "giáo dục học và địa lý", mô hình này đã đạt được độ chính xác lý tưởng trong 8 môn học khác. Trong 11 môn học "khoa học nhân văn", MiLM-6B đã có hiệu suất đáng chú ý trong "lịch sử và luật pháp".

Mô hình AI MiLM-6B có thể được xem là lần đầu tiên được tiết lộ, nhưng đã có mức hoàn thiện khá cao. Trong tương lai, mô hình này có thể được sử dụng trong các dịch vụ trợ lý ảo của Xiaomi như "Xiao Ai Tongxue".

Bạn đọc có thể tham khảo thêm thông tin về mô hình AI MiLM-6B của Xiaomi tại đây

Danh sách C-Eval (C-Evaluation) là một danh sách đánh giá các mô hình trí tuệ nhân tạo (AI) được thực hiện bởi tổ chức hoặc cộng đồng nghiên cứu. Danh sách này thường được xem là một công cụ để so sánh và đánh giá hiệu suất của các mô hình AI trong các tác vụ cụ thể.

C-Eval có thể đánh giá các mô hình AI dựa trên nhiều tiêu chí khác nhau như độ chính xác, tốc độ xử lý, khả năng tự học, khả năng tổng quát hóa, khả năng giải quyết vấn đề, và nhiều yếu tố khác tùy thuộc vào tác vụ cụ thể mà mô hình được đánh giá.
C-Eval là một bộ đánh giá tiếng Trung toàn diện cho các mô hình cơ bản. Nó bao gồm 13.948 câu hỏi đa lựa chọn trải rộng qua 52 ngành học đa dạng và bốn mức độ khó khác nhau

GitHub - hkust-nlp/ceval: Official github repo for C-Eval, a Chinese evaluation suite for foundation models [NeurIPS 2023]

Official github repo for C-Eval, a Chinese evaluation suite for foundation models [NeurIPS 2023] - hkust-nlp/ceval

github.com

Nhấn để mở rộng...