LM Playground

LM Playground는 장치에서 다양한 유형의 LLM(대형 언어 모델)을 실험하기 위한 범용 플랫폼으로 설계되었습니다. 이를 통해 사용자는 다양한 LLM을 다운로드하여 애플리케이션에 로드하고 이러한 모델과 대화할 수 있습니다. 이 설정을 통해 다양한 LLM 간의 기능과 차이점을 직접 탐색할 수 있으므로 매니아, 연구자 또는 언어 모델 기술의 발전에 대해 궁금한 모든 사람에게 귀중한 도구가 됩니다.

현재 지원되는 모델:

• 메타 라마 3.2 1B 및 3B

• Qwen 2.5 0.5B 및 1.5B

• 구글 Gemma2 2B 및 9B

• 마이크로소프트 Phi3.5

• 미스트랄 7B

• 라마 3.1 8B

이 프로젝트는 더 나은 성능을 위해 OpenCL 최적화를 사용하여 llama.cpp 프로젝트를 기반으로 구축되었습니다. 이 애플리케이션은 다운로드 폴더에 저장되는 Q4KM 양자화 기능이 있는 GGUF 형식 모델을 사용합니다.