Microsoft đã giới thiệu phiên bản tiếp theo của mô hình trí tuệ nhân tạo (AI) hạng nhẹ, được gọi là Phi-3. Dòng cập nhật bao gồm Phi-3 Mini 3,8 tỷ thông số, Phi-3 nhỏ 7 tỷ thông số và Phi-3 Medium 14 tỷ thông số.
Bản phát hành này xuất hiện sau khi mẫu Phi-2, được giới thiệu vào tháng 12 năm 2023 , đã bị các mẫu như dòng Llama-3 của Meta vượt qua về hiệu suất. Trước sự cạnh tranh ngày càng tăng, Microsoft Research đã áp dụng các kỹ thuật mới hơn vào phương pháp học tập trong chương trình giảng dạy của mình.
Mô hình tham số 3,8 tỷ mới cải tiến trên mô hình Phi-2 trước đó trong khi sử dụng ít tài nguyên hơn đáng kể so với các mô hình ngôn ngữ lớn hơn. Chỉ với 3,8 tỷ tham số, Phi-3 Mini vượt trội hơn cả Llama với 8 tỷ tham số của Meta và GPT-3 với 3,5 tỷ tham số của OpenAI , theo tiêu chuẩn riêng của Microsoft.
Chúng tôi giới thiệu phi-3-mini, một mô hình ngôn ngữ tham số 3,8 tỷ được đào tạo trên 3,3 nghìn tỷ mã thông báo, có hiệu suất tổng thể, được đo bằng cả điểm chuẩn học thuật và thử nghiệm nội bộ, đối thủ của các mô hình như Mixtral 8x7B và GPT-3.5 (ví dụ: phi -3-mini đạt 69% trên MMLU và 8,38 trên MT-bench), mặc dù đủ nhỏ để triển khai trên điện thoại.
Chúng tôi cũng cung cấp một số kết quả mở rộng tham số ban đầu với mô hình 7B và 14B được đào tạo cho mã thông báo 4,8T, được gọi là phi-3-small và phi-3-medium, cả hai đều có khả năng cao hơn đáng kể so với phi-3-mini (ví dụ: tương ứng là 75% và 78% trên MMLU, và 8,7 và 8,9 trên băng ghế dự bị MT).
Do kích thước nhỏ hơn nên dòng Phi-3 được tối ưu hóa cho các thiết bị tiêu thụ điện năng thấp so với các mẫu lớn hơn. Phó chủ tịch Microsoft Eric Boyd cho biết (thông qua The Verge ) rằng model mới có khả năng xử lý ngôn ngữ tự nhiên tiên tiến trực tiếp trên điện thoại thông minh. Điều này làm cho Phi-3 Mini rất phù hợp cho các ứng dụng mới cần hỗ trợ AI ở mọi nơi.
Mặc dù Phi-3 Mini vượt trội so với các đối thủ ở cùng hạng cân nhưng nó không thể sánh được với bề rộng kiến thức của những người mẫu khổng lồ được đào tạo trên Internet. Tuy nhiên, Boyd lưu ý rằng các mô hình nhỏ hơn, chất lượng cao có xu hướng hoạt động tốt hơn vì các bộ dữ liệu nội bộ thường có quy mô hạn chế hơn.