Sherpa

Uma implementação de llama.cpp que tenta recriar um chatbot

Este aplicativo é uma demonstração do modelo llama.cpp.

Você pode encontrar o código-fonte deste aplicativo no GitHub

Foi feito no Flutter usando uma implementação do ggerganov/llama.cpp recompilado para funcionar em mobiles.

Ele tenta recriar um chatbot que está offline e funciona como o ChatGPT da OpenAI.

Você pode ajustá-lo com pré-prompts.

A Meta fornece o modelo de lhama 7B para pesquisa. Você precisa baixá-lo em seu dispositivo, renomeá-lo ggml-model.bin e colocá-lo em sua pasta de download para executar este aplicativo.

Os modelos LLaMA são distribuídos oficialmente pela Meta e nunca serão fornecidos por nós.