Sherpa

Việc triển khai llama.cpp cố gắng tạo lại một chatbot

Ứng dụng này là bản demo của mô hình llama.cpp.

Bạn có thể tìm mã nguồn của ứng dụng này trên GitHub

Nó được tạo trên Flutter bằng cách sử dụng triển khai ggerganov/llama.cpp được biên dịch lại để hoạt động trên điện thoại di động.

Nó cố gắng tạo lại một chatbot ngoại tuyến và hoạt động giống như ChatGPT của OpenAI.

Bạn có thể tinh chỉnh nó với dấu nhắc trước.

Meta cung cấp mô hình 7B llama để nghiên cứu. Bạn cần tải xuống trên thiết bị của mình, đổi tên thành ggml-model.bin và đặt nó vào thư mục tải xuống để chạy ứng dụng này.

Các mô hình LLaMA được phân phối chính thức bởi Meta và sẽ không bao giờ được cung cấp bởi chúng tôi.