Skip to content

Latest commit

 

History

History
45 lines (27 loc) · 5.99 KB

Android_Inference.md

File metadata and controls

45 lines (27 loc) · 5.99 KB

Android मध्ये Phi-3 वर अनुमान लावणे

चला पाहूया की Phi-3-mini चा उपयोग Android डिव्हाइसवर कसा करता येतो. Phi-3-mini हे Microsoft चे नवीन मॉडेल्सचे एक मालिकासंच आहे, जे मोठ्या भाषा मॉडेल्सना (LLMs) एज डिव्हाइस आणि IoT डिव्हाइसवर तैनात करण्यास सक्षम करते.

सेमॅंटिक कर्नल आणि अनुमान

सेमॅंटिक कर्नल हे एक अॅप्लिकेशन फ्रेमवर्क आहे जे Azure OpenAI Service, OpenAI मॉडेल्स आणि स्थानिक मॉडेल्ससह सुसंगत अॅप्लिकेशन्स तयार करण्यास परवानगी देते. तुम्ही सेमॅंटिक कर्नलसाठी नवीन असाल, तर आम्ही तुम्हाला सेमॅंटिक कर्नल कुकबुक पाहण्याचा सल्ला देतो.

सेमॅंटिक कर्नलद्वारे Phi-3-mini वापरण्यासाठी

तुम्ही सेमॅंटिक कर्नलमध्ये Hugging Face Connector सोबत ते एकत्र करू शकता. या उदाहरण कोड ला संदर्भ द्या.

डिफॉल्टनुसार, ते Hugging Face वरील मॉडेल ID शी संबंधित असते. मात्र, तुम्ही स्थानिकरित्या तयार केलेल्या Phi-3-mini मॉडेल सर्व्हरशी देखील कनेक्ट होऊ शकता.

Ollama किंवा LlamaEdge सह क्वांटाइझ्ड मॉडेल्स कॉल करणे

खूपसे वापरकर्ते स्थानिकरित्या मॉडेल्स चालवण्यासाठी क्वांटाइझ्ड मॉडेल्स वापरणे पसंत करतात. Ollama आणि LlamaEdge वैयक्तिक वापरकर्त्यांना विविध क्वांटाइझ्ड मॉडेल्स कॉल करण्याची परवानगी देतात:

Ollama

तुम्ही ollama run Phi-3 थेट चालवू शकता किंवा Modelfile तयार करून ते ऑफलाइन कॉन्फिगर करू शकता, ज्यामध्ये तुमच्या .gguf फाइलचा मार्ग असेल.

FROM {Add your gguf file path}
TEMPLATE \"\"\"<|user|> .Prompt<|end|> <|assistant|>\"\"\"
PARAMETER stop <|end|>
PARAMETER num_ctx 4096

उदाहरण कोड

LlamaEdge

जर तुम्हाला .gguf फाइल्स क्लाउड आणि एज डिव्हाइसवर एकाच वेळी वापरायच्या असतील, तर LlamaEdge हा एक उत्कृष्ट पर्याय आहे. सुरुवात करण्यासाठी तुम्ही या उदाहरण कोड ला संदर्भ देऊ शकता.

Android फोनवर इंस्टॉल करा आणि चालवा

  1. MLC Chat अॅप डाउनलोड करा (फ्री) Android फोनसाठी.
  2. APK फाइल (148MB) डाउनलोड करा आणि ती तुमच्या डिव्हाइसवर इंस्टॉल करा.
  3. MLC Chat अॅप लॉन्च करा. तुम्हाला AI मॉडेल्सची यादी दिसेल, ज्यामध्ये Phi-3-mini देखील असेल.

थोडक्यात, Phi-3-mini एज डिव्हाइससाठी जनरेटिव्ह AI च्या रोमांचक शक्यता उघडते, आणि तुम्ही Android वर त्याच्या क्षमतांचा शोध घेण्यास सुरुवात करू शकता.

अस्वीकरण:
हा दस्तऐवज मशीन-आधारित एआय अनुवाद सेवांचा वापर करून अनुवादित करण्यात आला आहे. आम्ही अचूकतेसाठी प्रयत्नशील असलो तरी, कृपया लक्षात ठेवा की स्वयंचलित अनुवादांमध्ये त्रुटी किंवा अचूकतेचा अभाव असू शकतो. मूळ भाषेतील मूळ दस्तऐवज हा अधिकृत स्रोत मानला जावा. महत्त्वाच्या माहितीसाठी व्यावसायिक मानवी अनुवादाची शिफारस केली जाते. या अनुवादाचा वापर करून उद्भवलेल्या कोणत्याही गैरसमज किंवा चुकीच्या अर्थासाठी आम्ही जबाबदार राहणार नाही.