Theo báo cáo từ Webmaster Home ngày 30/8, các nhà khoa học máy tính gần đây đã đánh giá phản hồi của một số mô hình ngôn ngữ quy mô lớn đối với các câu hỏi mã hóa Java của Stack Overflow và nhận thấy chất lượng mã của các mô hình này vẫn chưa đạt yêu cầu. Các mô hình AI vẫn gặp phải nhiều vấn đề lạm dụng API khi trả lời các câu hỏi về mã hóa Java. Tỷ lệ lạm dụng API của GPT-3.5 và GPT-4 lần lượt đạt 49,83% và 62,09%. API Llama2 có tỷ lệ sử dụng sai thấp nhất, nhưng vì nó tạo ra ít mã hơn nên nó khá sai lệch. Một khi có thêm mã được tạo ra, tỷ lệ sử dụng sai mã cũng tăng lên đáng kể. Việc thêm các ví dụ sử dụng API có liên quan sẽ cải thiện kết quả một chút nhưng vẫn còn chỗ cần cải thiện. Độ tin cậy và độ mạnh mẽ của mã vẫn là vấn đề khó khăn.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Theo báo cáo từ Webmaster Home ngày 30/8, các nhà khoa học máy tính gần đây đã đánh giá phản hồi của một số mô hình ngôn ngữ quy mô lớn đối với các câu hỏi mã hóa Java của Stack Overflow và nhận thấy chất lượng mã của các mô hình này vẫn chưa đạt yêu cầu. Các mô hình AI vẫn gặp phải nhiều vấn đề lạm dụng API khi trả lời các câu hỏi về mã hóa Java. Tỷ lệ lạm dụng API của GPT-3.5 và GPT-4 lần lượt đạt 49,83% và 62,09%. API Llama2 có tỷ lệ sử dụng sai thấp nhất, nhưng vì nó tạo ra ít mã hơn nên nó khá sai lệch. Một khi có thêm mã được tạo ra, tỷ lệ sử dụng sai mã cũng tăng lên đáng kể. Việc thêm các ví dụ sử dụng API có liên quan sẽ cải thiện kết quả một chút nhưng vẫn còn chỗ cần cải thiện. Độ tin cậy và độ mạnh mẽ của mã vẫn là vấn đề khó khăn.