LM Playground

LM Playground được thiết kế như một nền tảng phổ quát để thử nghiệm nhiều loại Mô hình ngôn ngữ lớn (LLM) khác nhau trên thiết bị của bạn. Nó cho phép người dùng tải xuống các LLM khác nhau, tải chúng vào ứng dụng và trò chuyện với các mô hình này. Thiết lập này cho phép khám phá thực tế các khả năng và sự khác biệt giữa các LLM khác nhau, khiến nó trở thành một công cụ vô giá cho những người đam mê, nhà nghiên cứu hoặc bất kỳ ai tò mò về những tiến bộ trong công nghệ mô hình ngôn ngữ.

Các mô hình hiện được hỗ trợ:

• Meta Llama 3.2 1B và 3B

• Qwen 2,5 0,5B và 1,5B

• Google Gemma2 2B và 9B

• Microsoft Phi3.5

• Mistral 7B

• Lạc đà 3.1 8B

Dự án này được xây dựng dựa trên dự án llama.cpp với tối ưu hóa OpenCL để có hiệu suất tốt hơn. Ứng dụng sử dụng các mô hình định dạng GGUF với lượng tử hóa Q4KM, sẽ được lưu vào thư mục Tải xuống.