LM Playground

LM Playground został zaprojektowany jako uniwersalna platforma do eksperymentowania z różnymi typami dużych modeli językowych (LLM) na Twoim urządzeniu. Umożliwia użytkownikom pobieranie różnych LLM, ładowanie ich do aplikacji i rozmowę z tymi modelami. Taka konfiguracja pozwala na praktyczną eksplorację możliwości i różnic między różnymi LLM, co czyni go nieocenionym narzędziem dla entuzjastów, badaczy i wszystkich zainteresowanych postępem w technologii modeli językowych.

Aktualnie obsługiwane modele:

• Meta Lama 3.2 1B i 3B

• Qwen 2,5 0,5B i 1,5B

• Google Gemma2 2B i 9B

• Microsoft Phi3.5

• Mistral 7B

• Lama 3.1 8B

Projekt ten został zbudowany w oparciu o projekt llama.cpp z optymalizacją OpenCL dla lepszej wydajności. Aplikacja wykorzystuje modele w formacie GGUF z kwantyzacją Q4KM, które zostaną zapisane w folderze Pobrane.