LLM Hoster

گوشی اندروید خود را به یک سرور هوش مصنوعی قدرتمند و خصوصی تبدیل کنید - بدون نیاز به فضای ابری، بدون نیاز به اشتراک و بدون نیاز به خروج داده از دستگاه.

LLM Hoster به شما امکان می‌دهد مدل‌های زبانی بزرگ (LLM) را مستقیماً با استفاده از موتور استنتاج llama.cpp روی گوشی خود دانلود و اجرا کنید و یک API کاملاً سازگار را از طریق شبکه محلی خود در معرض نمایش قرار می‌دهد. از آن با هر کلاینتی که از baseAPI/v1API پشتیبانی می‌کند استفاده کنید - Open WebUI، Continue.dev، Chatbox، LM Studio یا برنامه‌های خودتان.

━━━━━━━━━━━━━━━━━━━━━━

🔒 کاملاً خصوصی

داده‌های شما هرگز از دستگاه شما خارج نمی‌شوند. برای استنتاج نیازی به اینترنت نیست. بدون کلید API، بدون هزینه‌های ابری، بدون تله‌متری. آنچه در گوشی شما اتفاق می‌افتد، در گوشی شما باقی می‌ماند.

📥 دانلود مدل با یک لمس

مدل‌های GGUF را از Hugging Face با یک لمس مرور و دانلود کنید. فقط نام مخزن را مانند "author/model_name-GGUF" وارد کنید - برنامه به طور خودکار بهترین نسخه کوانتیزه شده برای موبایل را پیدا و دانلود می‌کند.

🌐 API سازگار با v1

یک API REST واقعی را در شبکه محلی خود قرار دهید:

• GET /v1/models

• POST /v1/chat/completions

• POST /v1/completions

از لپ‌تاپ، تبلت یا هر دستگاهی در همان شبکه متصل شوید.

💬 چت داخلی

با مدل بارگذاری شده خود مستقیماً در داخل برنامه چت کنید. برای مکالمات سریع به هیچ کلاینت خارجی نیاز نیست.

⚡ تنظیم عملکرد

استنتاج دقیق برای دستگاه شما:

• تخصیص هسته پردازنده (۲-۸ رشته)

• کوانتیزاسیون حافظه نهان KV (q4_0، q8_0)

• اندازه پنجره زمینه (توکن‌های ۲K-۱۶K)

• کنترل اندازه دسته‌ای

• تخلیه بار لایه GPU

• پشتیبانی از Flash Attention

🔧 اجرا در پس‌زمینه

یک سرویس پیش‌زمینه، سرور را حتی هنگام تغییر برنامه‌ها فعال نگه می‌دارد. آن را هر زمان که بخواهید از طریق نوار اعلان‌ها متوقف کنید.

━━━━━━━━━━━━━━━━━━━━━

مدل‌های پشتیبانی‌شده

با هر مدل با فرمت GGUF کار می‌کند. نقاط شروع پیشنهادی:

• لاما ۳.۲ (۱B / ۳B)

• فی-۳ مینی

• جما ۲ (۲B)

• کوئن ۲.۵ (۱.۵B / ۳B)

• میسترال ۷بی (کوانتیزه شده با Q4)

مدل‌های کوانتیزه شده کوچکتر (Q4_K_M، Q4_0) به بهترین شکل روی تلفن‌ها اجرا می‌شوند. مدل‌ها به صورت محلی ذخیره می‌شوند و در طول جلسات باقی می‌مانند.

━━━━━━━━━━━━━━━━━━━━

موارد استفاده

• دستیار هوش مصنوعی خصوصی بدون وابستگی به فضای ابری

• توسعه و آزمایش برنامه‌های مبتنی بر LLM

• هوش مصنوعی آفلاین در مناطقی با اتصال محدود

• یادگیری و آزمایش با مدل‌های متن‌باز

• ارائه هوش مصنوعی به چندین دستگاه در شبکه خانگی شما

━━━━━━━━━━━━━━━━━━━━━━

بدون تبلیغات. بدون ردیابی. بدون حساب کاربری. فقط هوش مصنوعی روی گوشی شما.

LLM Hoster را دانلود کنید و همین امروز میزبانی سرور هوش مصنوعی خصوصی خود را شروع کنید.