Skip to content

Latest commit

 

History

History
70 lines (47 loc) · 8.9 KB

WebGPUWithPhi35Readme.md

File metadata and controls

70 lines (47 loc) · 8.9 KB

Phi-3.5-Instruct WebGPU RAG Chatbot

WebGPU आणि RAG पॅटर्नसाठी डेमो

Phi-3.5 Onnx Hosted मॉडेलसह RAG पॅटर्न Retrieval-Augmented Generation दृष्टिकोनाचा वापर करतो, जो Phi-3.5 मॉडेल्सची क्षमता आणि ONNX होस्टिंग एकत्रित करून AI तैनातीसाठी कार्यक्षमतेचा लाभ देतो. हा पॅटर्न डोमेन-विशिष्ट कार्यांसाठी मॉडेल्स ट्यून करण्यासाठी उपयुक्त आहे, गुणवत्ता, खर्च-प्रभावीता, आणि लांब-कॉन्टेक्स्ट समज यांचे मिश्रण प्रदान करतो. हा Azure AI च्या मॉडेल्सच्या विस्तृत श्रेणीचा एक भाग आहे, जो विविध उद्योगांच्या सानुकूलन गरजांना पूर्तता करणारे मॉडेल्स सहज शोधणे, वापरणे आणि आजमावण्यासाठी सोयीस्कर बनवतो.

WebGPU म्हणजे काय?

WebGPU ही एक आधुनिक वेब ग्राफिक्स API आहे, जी वेब ब्राउझरमधून थेट डिव्हाइसच्या ग्राफिक्स प्रोसेसिंग युनिट (GPU) पर्यंत कार्यक्षम प्रवेश प्रदान करण्यासाठी डिझाइन केली गेली आहे. हे WebGL चे उत्तराधिकारी मानले जाते आणि यामध्ये काही महत्त्वपूर्ण सुधारणा आहेत:

  1. आधुनिक GPUs सोबत सुसंगतता: WebGPU समकालीन GPU आर्किटेक्चर्ससोबत अखंडपणे कार्य करण्यासाठी तयार केले आहे, जसे की Vulkan, Metal, आणि Direct3D 12 सारख्या प्रणाली API चा लाभ घेते.
  2. उन्नत कार्यक्षमता: हे सामान्य-उद्देश GPU संगणना आणि जलद ऑपरेशन्ससाठी समर्थन देते, ज्यामुळे ग्राफिक्स रेंडरिंग आणि मशीन लर्निंग कार्यांसाठी ते उपयुक्त ठरते.
  3. प्रगत वैशिष्ट्ये: WebGPU अधिक प्रगत GPU क्षमता प्रदान करते, ज्यामुळे अधिक जटिल आणि डायनॅमिक ग्राफिक्स आणि संगणकीय कार्यभार शक्य होतात.
  4. जावास्क्रिप्ट वर्कलोड कमी करणे: GPU वर अधिक कार्य सोपवून, WebGPU जावास्क्रिप्टवरील वर्कलोड लक्षणीयरीत्या कमी करते, ज्यामुळे चांगली कार्यक्षमता आणि गुळगुळीत अनुभव मिळतो.

WebGPU सध्या Google Chrome सारख्या ब्राउझरमध्ये समर्थित आहे, आणि इतर प्लॅटफॉर्मवर समर्थन विस्तृत करण्याचे काम सुरू आहे.

03.WebGPU

आवश्यक पर्यावरण:

समर्थित ब्राउझर:

  • Google Chrome 113+
  • Microsoft Edge 113+
  • Safari 18 (macOS 15)
  • Firefox Nightly

WebGPU सक्षम करा:

  • Chrome/Microsoft Edge मध्ये

chrome://flags/#enable-unsafe-webgpu फ्लॅग सक्षम करा.

तुमचा ब्राउझर उघडा:

Google Chrome किंवा Microsoft Edge सुरू करा.

फ्लॅग्स पृष्ठावर जा:

पत्त्याच्या बारमध्ये chrome://flags टाइप करा आणि Enter दाबा.

फ्लॅग शोधा:

पृष्ठाच्या शीर्षस्थानी असलेल्या शोध बॉक्समध्ये 'enable-unsafe-webgpu' टाइप करा.

फ्लॅग सक्षम करा:

परिणामांच्या यादीत #enable-unsafe-webgpu फ्लॅग शोधा.

त्याच्या बाजूला असलेल्या ड्रॉपडाउन मेनूमध्ये क्लिक करा आणि Enabled निवडा.

तुमचा ब्राउझर पुन्हा सुरू करा:

फ्लॅग सक्षम केल्यानंतर, बदल लागू होण्यासाठी तुम्हाला तुमचा ब्राउझर पुन्हा सुरू करावा लागेल. पृष्ठाच्या तळाशी दिसणाऱ्या Relaunch बटणावर क्लिक करा.

  • Linux साठी, ब्राउझर --enable-features=Vulkan सह लाँच करा.
  • Safari 18 (macOS 15) मध्ये WebGPU डीफॉल्टने सक्षम आहे.
  • Firefox Nightly मध्ये, पत्त्याच्या बारमध्ये about:config टाइप करा आणि set dom.webgpu.enabled to true.

Microsoft Edge साठी GPU सेटअप करा

Windows वर Microsoft Edge साठी उच्च-कार्यक्षमता GPU सेट करण्यासाठी खालील चरणांचे अनुसरण करा:

  • सेटिंग्ज उघडा: Start मेनूमध्ये क्लिक करा आणि सेटिंग्ज निवडा.
  • सिस्टम सेटिंग्ज: System मध्ये जा आणि नंतर Display निवडा.
  • ग्राफिक्स सेटिंग्ज: खाली स्क्रोल करा आणि Graphics settings वर क्लिक करा.
  • अ‍ॅप निवडा: “Choose an app to set preference” अंतर्गत, Desktop app निवडा आणि नंतर Browse करा.
  • Edge निवडा: Edge च्या इंस्टॉलेशन फोल्डरमध्ये जा (सामान्यतः C:\Program Files (x86)\Microsoft\Edge\Application) आणि msedge.exe निवडा.
  • प्राधान्य सेट करा: Options वर क्लिक करा, High performance निवडा, आणि Save करा. हे Microsoft Edge ला चांगल्या कार्यक्षमतेसाठी तुमचा उच्च-कार्यक्षमता GPU वापरण्यास सक्षम करेल.
  • मशीन पुन्हा सुरू करा: या सेटिंग्ज प्रभावी होण्यासाठी तुमचे मशीन पुन्हा सुरू करा.

अस्वीकरण:
हे दस्तऐवज मशीन-आधारित AI भाषांतर सेवांचा वापर करून भाषांतरित केले गेले आहे. आम्ही अचूकतेसाठी प्रयत्नशील असलो तरी कृपया लक्षात घ्या की स्वयंचलित भाषांतरे त्रुटी किंवा अचूकतेचा अभाव असू शकतात. मूळ भाषेतील मूळ दस्तऐवज प्राधिकृत स्रोत मानावा. महत्त्वाच्या माहितीसाठी, व्यावसायिक मानवी भाषांतराची शिफारस केली जाते. या भाषांतराच्या वापरामुळे होणाऱ्या कोणत्याही गैरसमजुतीसाठी किंवा चुकीच्या अर्थ लावण्यास आम्ही जबाबदार राहणार नाही.