TurboLLM: Offline AI Chat

A TurboLLM valódi, nagyméretű nyelvi modelleket futtat közvetlenül az Android-telefonod CPU-ján – nincs szükség felhőre, fiókra, előfizetésre és internetkapcsolatra a modell letöltése után.

MIÉRT A HELYI MI?

A legtöbb „MI alapú csevegőalkalmazás” csak egy vékony réteg valaki más felhőalapú API-ja körül: a promptjaid elhagyják a telefonodat, a beszélgetéseid egy olyan szerveren tárolódnak, amelyet nem te irányítasz, és az alkalmazás leáll, amint elveszíted a jelet. A TurboLLM más. A modell egy valódi, eszközön lévő következtetőmotorban fut (llama.cpp, Androidra fordítva), és a beszélgetésednek soha nem kell elhagynia a telefonodat.

MIT TEHETNÉL?

- Csevegj nyílt súlyú helyi LLM-ekkel – Llama, Qwen, Gemma és bármilyen más GGUF modell – teljesen offline, akár repülőgép üzemmódban is.
- Fedezz fel és tölts le modelleket közvetlenül a Hugging Face-ből, közvetlenül az alkalmazáson belül, egyetlen koppintással.
- A következtetőmotor automatikusan települ, amikor először szükséged van rá – nincs kézi beállítás, fordítás, nincs terminál. - Hozz létre egyéni MI-ügynököket saját rendszerkérdésekkel és készség-/eszközhozzáféréssel, különböző feladatokhoz – kódolási segítség, írás, kutatás vagy teljesen üres lap befecskendezett utasítások nélkül.

- Kövesd nyomon a saját használatodat az idő múlásával: munkamenetek, üzenetek, generált tokenek száma, sorozatok és a leggyakrabban használt modelled – mindezt helyben, a saját előzményeidből számítva.

- Finomhangold a generálást csevegésenkénti vezérlőkkel: gondolkodási költségvetés, mintavételezés és érvelési erőfeszítés, az ezeket támogató modellekhez.

- Ugyanaz a felület, mint a TurboLLM asztali alkalmazásában (Windows, Mac, Linux) – ha számítógépen használtad a TurboLLM-et, a telefonod pontosan ugyanúgy fog működni.

BETERVEZETT ADATVÉDELEM

- Nincs fiók, nincs bejelentkezés, nincs felhőalapú háttérrendszer a beszélgetéseidhez.

- Ebben a buildben nincs telemetria, nincs analitika, nincs összeomlást jelentő SDK.

- A csevegések és a letöltött modellek csak az alkalmazás privát tárolójában élnek az eszközödön.

- A kéréseid, fájljaid és modellsúlyaid soha nem kerülnek elküldésre nekünk vagy bárki másnak. Ez az alkalmazás csak azokat a hálózati kéréseket küldi, amelyeket Ön aktivált: egy Ön által kiválasztott modell letöltése, a következtetőmotor bináris fájljának lekérése az első alkalommal, amikor szükség van rá, vagy egy kifejezetten Ön által jóváhagyott eszközhívás.

ÉRDEMES TUDNI

A következtetés a telefon CPU-ján fut, így a sebesség a chipsettől és a kiválasztott modell méretétől függ – a kisebb modellek (1-4B paraméterrel) a legtöbb telefonon a legreszponzívabbak, a nagyobbak pedig akkor, ha a hardver elbírja őket. Az aktív generálás valódi számítási munka, ezért számítson a normál akkumulátor- és hőterhelésre, ugyanúgy, mint bármely eszközön futó MI-feladat esetében.

KINEK SZÓL?

Adatvédelem-tudatos felhasználóknak, helyi MI-rajongóknak, fejlesztőknek, akik már futtatják a TurboLLM-et vagy a llama.cpp-t számítógépen, és bárkinek, aki kíváncsi, milyen egy valóban offline LLM-csevegés egy telefonon – az Ön irányítása alatt, a hardverén, anélkül, hogy bármi is elhagyná az eszközt.