TurboLLM: Offline AI Chat

TurboLLM spúšťa skutočné rozsiahle jazykové modely priamo na procesore vášho telefónu s Androidom – po stiahnutí modelu nie je potrebný cloud, žiadny účet, žiadne predplatné ani žiadne internetové pripojenie.

PREČO LOKÁLNA AI

Väčšina aplikácií „AI chat“ je tenkým obalom okolo cloudového API niekoho iného: vaše výzvy opúšťajú váš telefón, vaše konverzácie sa nachádzajú na serveri, ktorý neovládate, a aplikácia prestane fungovať v momente, keď stratíte signál. TurboLLM je iný. Model beží v skutočnom inferenčnom engine na zariadení (llama.cpp, kompilovaný pre Android) a vaša konverzácia nikdy nemusí opustiť váš telefón.

ČO MÔŽETE UROBIŤ

- Chatujte s lokálnymi LLM s otvorenou váhou – Llama, Qwen, Gemma a akýmkoľvek iným modelom GGUF – úplne offline, dokonca aj v režime lietadlo.
- Objavujte a sťahujte modely priamo z Hugging Face, priamo v aplikácii, jedným klepnutím.
- Inferenčný engine sa automaticky nainštaluje pri prvej potrebe – žiadne manuálne nastavenie, žiadna kompilácia, žiadny terminál.
- Vytvorte si vlastných AI agentov s vlastnými systémovými výzvami a prístupom k zručnostiam/nástrojom pre rôzne úlohy – pomoc s kódovaním, písanie, výskum alebo úplne prázdny list bez vložených inštrukcií.
- Sledujte svoje vlastné používanie v priebehu času: relácie, správy, celkový počet vygenerovaných tokenov, série a váš najpoužívanejší model – všetko vypočítané lokálne z vašej vlastnej histórie.
- Dolaďte generovanie pomocou ovládacích prvkov pre jednotlivé chaty: rozpočet na myslenie, vzorkovanie a úsilie o uvažovanie pre modely, ktoré ich podporujú.
- Rovnaké rozhranie ako desktopová aplikácia TurboLLM (Windows, Mac, Linux) – ak ste používali TurboLLM na počítači, váš telefón funguje úplne rovnako.

OCHRANA SÚKROMIA UŽ VYTVORENÁ

- Žiadny účet, žiadne prihlásenie, žiadny cloudový backend pre vaše konverzácie.
- Žiadna telemetria, žiadna analytika, žiadna SDK na hlásenie zlyhaní, ktorá by sa v tejto zostave odosielala domov.
- Chaty a stiahnuté modely sú k dispozícii iba v súkromnom úložisku tejto aplikácie vo vašom zariadení.
- Vaše výzvy, súbory a váhy modelov sa nikdy neodosielajú nám ani nikomu inému. Jediné sieťové požiadavky, ktoré táto aplikácia vykonáva, sú tie, ktoré ste sami spustili: sťahovanie modelu, ktorý ste si vybrali, načítanie binárneho súboru inferenčného enginu pri prvej potrebe alebo volanie nástroja, ktoré ste explicitne schválili.

STAČÍ VEDIEŤ

Inferencia beží na procesore vášho telefónu, takže rýchlosť závisí od čipovej sady a veľkosti modelu, ktorú si vyberiete – menšie modely (parametre 1 – 4B) sa na väčšine telefónov zdajú byť najresponzívnejšie a väčšie sú k dispozícii, ak ich váš hardvér zvládne. Aktívne generovanie je skutočná výpočtová práca, takže očakávajte normálne zaťaženie batérie a teplo, rovnako ako pri akejkoľvek úlohe umelej inteligencie na zariadení.

PRE KOHO JE URČENÉ

Používatelia, ktorí si uvedomujú súkromie, nadšenci lokálnej umelej inteligencie, vývojári, ktorí už na počítači používajú TurboLLM alebo llama.cpp, a všetci, ktorí sa zaujímajú o to, aký je to skutočne offline chat LLM na telefóne – pod vašou kontrolou, na vašom hardvéri, bez toho, aby čokoľvek opúšťalo zariadenie.