Local LLM

Локальная LLM запускает модели искусственного интеллекта с открытыми весами прямо на вашем телефоне. После загрузки модели не требуется сервер, учетная запись и подключение к интернету. Ваши разговоры никогда не покидают устройство.

ПОЧЕМУ НА УСТРОЙСТВЕ

На каждый ваш запрос отвечает модель, работающая на вашем собственном оборудовании. Ничего не загружается, ничего не записывается на сервер и ничего не используется для обучения чьей-либо модели. Переведите телефон в режим полета, и он все равно будет работать.

ВЫБЕРИТЕ СВОЮ МОДЕЛЬ

В приложении доступны семь моделей, от 369 МБ SmolLM2, которая комфортно работает на скромном оборудовании, до Llama 3.2 3B для более мощных ответов:

• SmolLM2 360M — самая быстрая, с минимальным объемом оперативной памяти

• Qwen2.5 0.5B — очень быстрая, стабильное качество

• TinyLlama 1.1B — легкая классическая

• Llama 3.2 1B — сбалансированная по умолчанию

• Qwen2.5 1.5B — более мощная

• Gemma 2 2B — высокое качество, медленнее

• Llama 3.2 3B — лучшее качество, требует запаса по производительности

Перед подтверждением загрузки отображается точный размер каждой модели. Вы также можете вставить прямую ссылку на любую понравившуюся модель GGUF и переключать модели в любое время, не выходя из чата.

ЧАТ, КОТОРЫЙ ПОМНИТ

Разговоры сохраняются в частной базе данных на вашем устройстве. Заголовки создаются самой моделью, поэтому вашу историю легко просмотреть. Вы можете открыть любой прошлый чат или очистить все одним касанием. Markdown отображается корректно, с подсветкой синтаксиса блоков кода и копированием одним касанием.

ЛОКАЛЬНЫЙ API ДЛЯ ДРУГИХ ВАШИХ УСТРОЙСТВ

Включите дополнительную службу API, и ваш телефон будет предоставлять модель доступ к ней через совместимую с OpenAI HTTP-точку доступа в вашей локальной сети. Направьте на нее любой клиент OpenAI — curl, Python SDK, ваши собственные скрипты — и получайте автодополнение от модели прямо у себя в кармане, через USB или Wi-Fi. Поддерживается потоковая передача. Она остается выключенной, пока вы ее не включите, и работает с видимым уведомлением во время активности.

СОЗДАНО ДЛЯ КОНФИДЕНЦИАЛЬНОСТИ

• Нет учетной записи, нет входа в систему, нет рекламы

• Чаты хранятся только на вашем устройстве

• Текст сообщений никогда никуда не передается

• Только анонимная аналитика использования, никогда не содержимое сообщений

ЗАМЕЧАНИЕ О ВЫХОДНЫХ ДАННЫХ ИИ

Ответы поступают от моделей с открытыми весами, работающих локально. Они могут быть неверными, устаревшими или неподходящими, и никто их не проверяет. Пожалуйста, не полагайтесь на них при принятии медицинских, юридических или финансовых решений.

ТРЕБОВАНИЯ

Android 7.0 или более поздняя версия, 64-битное устройство. Одноразовая загрузка модели размером 369 МБ или более и примерно 1-3 ГБ свободной оперативной памяти в зависимости от выбранной модели. Более крупные модели заметно медленнее работают на старых телефонах.