Sherpa

Een implementatie van llama.cpp die probeert een chatbot na te maken

Deze app is een demo van het lama.cpp-model.

Je vindt de broncode van deze app op GitHub

Het is gemaakt op Flutter met behulp van een implementatie van ggerganov/llama.cpp die opnieuw is gecompileerd om op mobiele telefoons te werken.

Het probeert een chatbot na te maken die offline is en werkt als OpenAI's ChatGPT.

Je kunt het fijn afstemmen met preprompts.

Meta levert het 7B lama-model voor onderzoek. U moet het downloaden op uw apparaat, het hernoemen naar ggml-model.bin en het in uw downloadmap plaatsen om deze app uit te voeren.

De LLaMA-modellen worden officieel gedistribueerd door Meta en zullen nooit door ons worden geleverd.