TurboLLM: Offline AI Chat

TurboLLM ले तपाईंको एन्ड्रोइड फोनको CPU मा सिधै ठूला भाषा मोडेलहरू चलाउँछ — कुनै क्लाउड छैन, कुनै खाता छैन, कुनै सदस्यता छैन, र मोडेल डाउनलोड गरेपछि इन्टरनेट जडान आवश्यक पर्दैन।

किन स्थानीय AI

धेरैजसो "AI च्याट" एपहरू अरू कसैको क्लाउड API वरिपरि पातलो र्‍यापर हुन्: तपाईंको प्रम्प्टहरू तपाईंको फोन छोड्छन्, तपाईंको कुराकानीहरू तपाईंले नियन्त्रण नगर्ने सर्भरमा बस्छन्, र तपाईंले सिग्नल गुमाउने बित्तिकै एपले काम गर्न बन्द गर्छ। TurboLLM फरक छ। मोडेल वास्तविक अन-डिभाइस इन्फरन्स इन्जिन (llama.cpp, एन्ड्रोइडको लागि कम्पाइल गरिएको) मा चल्छ, र तपाईंको कुराकानी कहिल्यै तपाईंको फोन छोड्नु पर्दैन।

तपाईं के गर्न सक्नुहुन्छ

- खुला-वजन भएका स्थानीय LLM हरूसँग कुराकानी गर्नुहोस् — Llama, Qwen, Gemma, र कुनै पनि अन्य GGUF मोडेल — पूर्ण रूपमा अफलाइन, हवाइजहाज मोडमा पनि।
- Hugging Face बाट सिधै मोडेलहरू पत्ता लगाउनुहोस् र डाउनलोड गर्नुहोस्, एप भित्र, एकै ट्यापमा।
- अनुमान इन्जिनले तपाईंलाई पहिलो पटक आवश्यक पर्दा स्वचालित रूपमा स्थापना गर्दछ — कुनै म्यानुअल सेटअप छैन, कुनै कम्पाइल छैन, कुनै टर्मिनल छैन।
- विभिन्न कार्यहरूको लागि आफ्नै प्रणाली प्रम्प्ट र सीप/उपकरण पहुँचको साथ अनुकूलन एआई एजेन्टहरू सिर्जना गर्नुहोस् — कोडिङ मद्दत, लेखन, अनुसन्धान, वा शून्य इन्जेक्टेड निर्देशनहरू सहितको पूर्ण रूपमा खाली स्लेट।
- समयसँगै आफ्नो प्रयोग ट्र्याक गर्नुहोस्: सत्रहरू, सन्देशहरू, उत्पन्न हुने कुल टोकनहरू, स्ट्रिक्सहरू, र तपाईंको सबैभन्दा धेरै प्रयोग गरिएको मोडेल — सबै तपाईंको आफ्नै इतिहासबाट स्थानीय रूपमा गणना गरिएको।
- प्रति-च्याट नियन्त्रणहरूको साथ फाइन-ट्यून जेनेरेसन: सोच बजेट, नमूना, र तर्क प्रयास, तिनीहरूलाई समर्थन गर्ने मोडेलहरूको लागि।
- TurboLLM को डेस्कटप एप (Windows, Mac, Linux) जस्तै इन्टरफेस — यदि तपाईंले कम्प्युटरमा TurboLLM प्रयोग गर्नुभएको छ भने, तपाईंको फोन ठ्याक्कै उस्तै तरिकाले काम गर्दछ।

डिजाइन द्वारा गोपनीयता

- तपाईंको कुराकानीको लागि कुनै खाता छैन, कुनै लगइन छैन, कुनै क्लाउड ब्याकएन्ड छैन।
- यस निर्माणमा कुनै टेलिमेट्री छैन, कुनै विश्लेषण छैन, कुनै क्र्यास-रिपोर्टिङ SDK फोनिङ होम छैन।
- च्याटहरू र डाउनलोड गरिएका मोडेलहरू तपाईंको उपकरणमा यो एपको निजी भण्डारणमा मात्र रहन्छन्।
- तपाईंको प्रम्प्टहरू, फाइलहरू, र मोडेल वजनहरू हामीलाई वा अरू कसैलाई कहिल्यै पठाइँदैनन्। यो एपले गर्ने नेटवर्क अनुरोधहरू तपाईंले आफैंले ट्रिगर गरेका मात्र हुन्: तपाईंले रोज्नुभएको मोडेल डाउनलोड गर्ने, पहिलो पटक आवश्यक पर्दा अनुमान इन्जिन बाइनरी ल्याउने, वा तपाईंले स्पष्ट रूपमा अनुमोदन गर्नुभएको उपकरण कल।

जान्न लायक

अनुमान तपाईंको फोनको CPU मा चल्छ, त्यसैले गति तपाईंको चिपसेट र तपाईंले रोज्नुभएको मोडेल आकारमा निर्भर गर्दछ — साना मोडेलहरू (१-४B प्यारामिटरहरू) धेरैजसो फोनहरूमा सबैभन्दा प्रतिक्रियाशील महसुस गर्छन्, र यदि तपाईंको हार्डवेयरले तिनीहरूलाई बोक्न सक्छ भने ठूलाहरू त्यहाँ हुन्छन्। सक्रिय उत्पादन वास्तविक कम्प्युट कार्य हो, त्यसैले सामान्य ब्याट्री र थर्मल लोडको अपेक्षा गर्नुहोस्, जुन कुनै पनि अन-डिभाइस AI कार्य जस्तै हो।

यो कसको लागि हो

गोपनीयता-सचेत प्रयोगकर्ताहरू, स्थानीय-AI उत्साहीहरू, विकासकर्ताहरू जसले पहिले नै कम्प्युटरमा TurboLLM वा llama.cpp चलाउँछन्, र जो कोही पनि जिज्ञासु छन् कि फोनमा साँच्चै अफलाइन LLM च्याट कस्तो लाग्छ — तपाईंको नियन्त्रणमा, तपाईंको हार्डवेयरमा, उपकरण छोडेर केही पनि छैन।