LLM AI Server with llama.cpp

لامحدود AI، صفر کلاؤڈ۔ آپ کا فون سرور ہے۔

طاقتور LLMs کو مقامی طور پر، نجی طور پر اور آزادانہ طور پر چلائیں — ہلکے وزن والے UI کے ساتھ جو کوئی بھی استعمال کر سکتا ہے۔

ایک اینڈرائیڈ ڈیوائس آپ کا ذاتی AI بیک اینڈ بن جاتا ہے، جو اسی نیٹ ورک پر PCs، ٹیبلیٹس اور دیگر آلات سے قابل رسائی ہے۔

---

1. جائزہ

llama.cpp کے ساتھ LLM AI سرور Android کے لیے مکمل طور پر مقامی LLM سرور ہے، جو نجی، آف لائن ٹیکسٹ اور ملٹی موڈل جنریشن کو فعال کرتا ہے۔

یہ ہگنگ فیس ماڈل سرچ، GGUF ڈاؤن لوڈ، مقامی ماڈل لوڈنگ، اور تیز تر اندازہ کے لیے اختیاری MTP قیاس آرائی پر مبنی ضابطہ کشائی کی حمایت کرتا ہے۔

معاون ماڈل فیملیز میں Gemma‑4 / Gemma‑4 Vision، Qwen / Qwen Vision، Mistral، LLaMA، Phi، Bonsai، اور دیگر شامل ہیں۔

ایک بلٹ ان API سرور Ollama، OpenAI، اور Anthropic (Claude) Messages APIs کے ساتھ مطابقت رکھتا ہے — چیٹ، تکمیل، جنریشن، ایمبیڈنگ، ٹوکنائز/ٹوکن کاؤنٹ، اور ماڈل لسٹنگ اینڈ پوائنٹس فراہم کرتا ہے، اس لیے موجودہ OpenAI، Ollama، اور Claude کلائنٹس اور SDKs آپ کے فون پر براہ راست پوائنٹ کر سکتے ہیں۔

بنڈل WebUI اسی پورٹ پر چلتا ہے اور ماڈل سوئچنگ، پیرامیٹر ایڈیٹنگ، لاگ ویونگ، اور PWA انسٹالیشن کو سپورٹ کرتا ہے۔

MCP اور فنکشن کالنگ ٹول سے بڑھے ہوئے ورک فلو کو فعال کرتی ہے، اور GBNF اور JSON اسکیما کے ذریعے ساختی آؤٹ پٹ سپورٹ کیا جاتا ہے۔

---

2. مطلوبہ صارفین اور معاون آلات

ان صارفین کے لیے ڈیزائن کیا گیا جو نجی، مکمل طور پر مقامی LLM ماحول چاہتے ہیں:

- آف لائن پہلے صارفین

- مقامی پسدید کو مربوط کرنے والے ڈویلپرز

- اعلی درجے کے صارفین نمونے لینے اور کارکردگی کو دیکھتے ہیں۔

- محققین تخمینہ سلوک کی جانچ کر رہے ہیں۔

- رازداری پر مرکوز صارفین

کارکردگی کو سیاق و سباق کے سائز، دھاگوں، بیچ سائز، GPU آف لوڈ، KV کیشے کوانٹائزیشن، اور اختیاری MTP ضابطہ کشائی کے ذریعے ٹیون کیا جا سکتا ہے۔

---

3. کلیدی خصوصیات

- گلے لگانا چہرہ GGUF تلاش اور ڈاؤن لوڈ کریں۔

- Qwen3-VL ویژن ماڈل (بنڈلڈ ڈیفالٹ) خودکار پروجیکٹر (mmproj) کا پتہ لگانے کے ساتھ

- بڑی تصاویر اور طویل اشارے کے لیے خودکار سیاق و سباق (n_ctx) کی توسیع

- GPU init ناکام ہونے پر خودکار GPU→ CPU فال بیک

- ہوشیار گلے لگانے والے چہرے کی تلاش: ماڈل/سائز/کوانٹائزیشن گائیڈنس، ڈیوائس کے لیے موزوں درجہ بندی، اور ایک ٹیپ ایم ایم پروج ڈاؤن لوڈ

- اپ گریڈ شدہ llama.cpp انجن (b10621, v0.3.0) - نئے ماڈلز اور Adreno OpenCL GPU

- GET /api/diagnostics کے ذریعے آن ڈیوائس لاگ کی بازیافت

- مقامی GGUF لوڈنگ

- MTP قیاس آرائی پر مبنی ضابطہ کشائی

- تفصیلی پیرامیٹر کنٹرول (Mirostat، DRY، XTC، Min‑p، Typical‑p، جرمانے، متحرک درجہ حرارت)

- انٹیگریٹڈ اولاما / اوپن اے آئی / اینتھروپک (کلاڈ) میسجز-مطابق API سرور

- ایمبیڈنگ API

- خودکار پرامپٹ ٹیمپلیٹ کا انتخاب

- کثیر زبان کی حمایت کے ساتھ بہتر WebUI

- پی ڈبلیو اے سپورٹ

- MCP اور فنکشن کالنگ

- پروفائل کا بیک اپ اور سپورٹ کو بحال کریں۔

اولاما-، اوپن اے آئی-، اور انتھروپک-(کلاڈ-)مطابق اختتامی پوائنٹس؛ نیچے ٹیسٹر کے صفحے پر مکمل فہرست۔

مکمل API دستاویزات، مثالیں اور ایک انٹرایکٹو ٹیسٹر:

https://micklab.web.app/llama-tester-en.html

---

4. شروع کرنا

آپ مندرجہ ذیل طریقوں میں سے کسی ایک طریقے سے فوری طور پر ایپ کا استعمال شروع کر سکتے ہیں:

A) اسٹارٹ API/WebUI → براؤزر میں کھولیں۔

1۔ مین اسکرین پر اسٹارٹ API/WebUI کو تھپتھپائیں۔

2. بنڈل WebUI کو لانچ کرنے کے لیے براؤزر میں کھولیں پر ٹیپ کریں۔

3. آپ WebUI سے براہ راست ماڈل کو چیٹ اور چلا سکتے ہیں۔

- نوٹ: پہلے استعمال پر، اگر ماڈل ابھی ڈاؤن لوڈ نہیں ہوا ہے، تو WebUI اسے ڈاؤن لوڈ کرے گا جب آپ پہلا پیغام بھیجیں گے۔

بڑے ماڈلز کو ڈاؤن لوڈ کرنے میں وقت لگ سکتا ہے۔

ب) براہ راست رن

1۔ مین اسکرین پر ڈائریکٹ رن سیکشن کھولیں۔

2۔ ایک پرامپٹ درج کریں اور ماڈل کو براہ راست ایپ کے اندر چلانے کے لیے بھیجیں کو تھپتھپائیں۔

- اگر ماڈل ابھی تک ڈاؤن لوڈ نہیں ہوا ہے تو ایپ ڈاؤن لوڈ کرنے سے پہلے ایک نوٹس دکھائے گی۔

C) یا پہلے ماڈل تیار کرنے کے لیے سیٹنگز کا استعمال کریں۔

1. ترتیبات کھولیں۔

2. GGUF ماڈل کے لیے Hugging Face تلاش کریں یا براہ راست URL درج کریں یا مقامی GGUF فائل درآمد کریں۔

3. پیرامیٹرز کو ایڈجسٹ کریں (سیاق و سباق کا سائز، درجہ حرارت، جرمانے، MTP، GPU آف لوڈ، وغیرہ)۔

4. ماڈل کو لوڈ کرنے کے لیے Save Config کو تھپتھپائیں، پھر محفوظ کریں اور بند کریں۔

5. بعد میں بحالی کے لیے اختیاری طور پر پروفائل کا بیک اپ بنائیں۔