Azure AI Foundry मध्ये Microsoft च्या जबाबदार AI तत्त्वांवर लक्ष केंद्रित करत Phi-3 / Phi-3.5 मॉडेलचे मूल्यांकन करा
हा पूर्ण-टप्पा (E2E) नमुना Microsoft Tech Community च्या "Evaluate Fine-tuned Phi-3 / 3.5 Models in Azure AI Foundry Focusing on Microsoft's Responsible AI" मार्गदर्शकावर आधारित आहे.
मॉडेलचे फाइन-ट्यूनिंग कधीकधी अनपेक्षित किंवा अवांछित प्रतिसाद निर्माण करू शकते. मॉडेल सुरक्षित आणि प्रभावी राहते याची खात्री करण्यासाठी, त्याच्या संभाव्यतेचे मूल्यांकन करणे महत्त्वाचे आहे, जसे की ते हानिकारक सामग्री निर्माण करते किंवा अचूक, सुसंगत आणि सुस्पष्ट प्रतिसाद देते. या ट्युटोरियलमध्ये, Azure AI Foundry मध्ये Prompt flow सह एकत्रित केलेल्या Phi-3 / Phi-3.5 मॉडेलचे सुरक्षितता आणि कार्यप्रदर्शन कसे मूल्यांकन करायचे हे शिकाल.
Azure AI Foundry चे मूल्यांकन प्रक्रिया येथे दिली आहे.
प्रतिमा स्रोत: जनरेटिव्ह AI अनुप्रयोगांचे मूल्यांकन
Note
Phi-3 / Phi-3.5 बद्दल अधिक सविस्तर माहिती आणि अतिरिक्त संसाधने शोधण्यासाठी कृपया Phi-3CookBook भेट द्या.
- Python
- Azure subscription
- Visual Studio Code
- फाइन-ट्यून केलेले Phi-3 / Phi-3.5 मॉडेल
-
प्रकरण 1: Azure AI Foundry च्या Prompt flow मूल्यांकनाची ओळख
-
प्रकरण 2: Azure AI Foundry मध्ये Phi-3 / Phi-3.5 मॉडेलचे मूल्यांकन करणे
तुमचे AI मॉडेल नैतिक आणि सुरक्षित आहे याची खात्री करण्यासाठी, Microsoft च्या जबाबदार AI तत्त्वांनुसार त्याचे मूल्यांकन करणे महत्त्वाचे आहे. Azure AI Foundry मध्ये, सुरक्षितता मूल्यांकन तुम्हाला तुमच्या मॉडेलच्या जेलब्रेक हल्ल्यांपासून होणाऱ्या असुरक्षिततेचे आणि हानिकारक सामग्री निर्माण करण्याच्या संभाव्यतेचे मूल्यांकन करण्यास परवानगी देते, जे या तत्त्वांशी थेट संरेखित आहे.
प्रतिमा स्रोत: जनरेटिव्ह AI अनुप्रयोगांचे मूल्यांकन
तांत्रिक पायऱ्या सुरू करण्यापूर्वी, Microsoft चे जबाबदार AI तत्त्व समजून घेणे महत्त्वाचे आहे. हे नैतिक फ्रेमवर्क AI प्रणालींच्या जबाबदार विकास, तैनात आणि ऑपरेशनचे मार्गदर्शन करण्यासाठी डिझाइन केले आहे. AI प्रणाली निष्पक्ष, पारदर्शक आणि सर्वसमावेशक पद्धतीने तयार केल्या गेल्या आहेत याची खात्री करण्यासाठी ही तत्त्वे मार्गदर्शक म्हणून काम करतात.
Microsoft चे जबाबदार AI तत्त्वे:
-
निष्पक्षता आणि सर्वसमावेशकता: AI प्रणालींनी सर्वांना समान वागणूक दिली पाहिजे आणि समान परिस्थितीत असलेल्या गटांवर वेगळा परिणाम होणार नाही याची खात्री केली पाहिजे. उदाहरणार्थ, जेव्हा AI प्रणाली वैद्यकीय उपचार, कर्ज अर्ज किंवा रोजगाराबद्दल मार्गदर्शन प्रदान करते, तेव्हा ती समान परिस्थितीतील प्रत्येकासाठी समान शिफारसी करेल.
-
विश्वसनीयता आणि सुरक्षितता: विश्वास निर्माण करण्यासाठी, AI प्रणाली विश्वसनीय, सुरक्षित आणि सातत्यपूर्णपणे कार्य करणे आवश्यक आहे. या प्रणालींनी डिझाइन केलेल्या उद्देशानुसार कार्य करणे, अनपेक्षित परिस्थितींना सुरक्षित प्रतिसाद देणे आणि हानिकारक हेरफेरला प्रतिकार करणे आवश्यक आहे.
-
पारदर्शकता: जेव्हा AI प्रणाली लोकांच्या जीवनावर प्रचंड प्रभाव टाकणाऱ्या निर्णयांना माहिती देण्यासाठी मदत करतात, तेव्हा लोकांना हे समजणे महत्त्वाचे आहे की ते निर्णय कसे घेतले गेले. उदाहरणार्थ, एक बँक AI प्रणालीचा वापर करून व्यक्तीला क्रेडिटवर्दी आहे की नाही हे ठरवू शकते.
-
गोपनीयता आणि सुरक्षा: AI प्रणालींना अचूक आणि माहितीपूर्ण अंदाज आणि निर्णय घेण्यासाठी डेटाचा प्रवेश आवश्यक असल्याने गोपनीयता आणि डेटा सुरक्षा महत्त्वाची आहे.
-
जबाबदारी: AI प्रणाली डिझाइन करणाऱ्या आणि तैनात करणाऱ्या व्यक्तींनी त्यांच्या प्रणाली कशा कार्य करतात यासाठी जबाबदार असणे आवश्यक आहे.
प्रतिमा स्रोत: जबाबदार AI म्हणजे काय?
Note
Microsoft च्या जबाबदार AI तत्त्वांबद्दल अधिक जाणून घेण्यासाठी, जबाबदार AI म्हणजे काय? ला भेट द्या.
या ट्युटोरियलमध्ये, Azure AI Foundry च्या सुरक्षितता मेट्रिक्सचा वापर करून फाइन-ट्यून केलेल्या Phi-3 मॉडेलचे सुरक्षिततेचे मूल्यांकन कराल. हे मेट्रिक्स तुम्हाला मॉडेलच्या हानिकारक सामग्री निर्माण करण्याच्या संभाव्यतेचे आणि त्याच्या जेलब्रेक हल्ल्यांपासून असुरक्षिततेचे मूल्यांकन करण्यात मदत करतात. सुरक्षितता मेट्रिक्समध्ये समाविष्ट आहे:
- स्वत:ला हानी पोहोचवणारी सामग्री: मॉडेल स्वत:ला हानी पोहोचवणारी सामग्री निर्माण करण्याची प्रवृत्ती आहे का हे मूल्यांकन करते.
- द्वेषपूर्ण आणि अन्यायकारक सामग्री: मॉडेल द्वेषपूर्ण किंवा अन्यायकारक सामग्री निर्माण करण्याची प्रवृत्ती आहे का हे मूल्यांकन करते.
- हिंसक सामग्री: मॉडेल हिंसक सामग्री निर्माण करण्याची प्रवृत्ती आहे का हे मूल्यांकन करते.
- लैंगिक सामग्री: मॉडेल अनुचित लैंगिक सामग्री निर्माण करण्याची प्रवृत्ती आहे का हे मूल्यांकन करते.
या पैलूंचे मूल्यांकन केल्याने AI मॉडेल समाजाच्या मूल्यांशी आणि नियामक मानकांशी सुसंगत राहते याची खात्री होते.
तुमचे AI मॉडेल अपेक्षेनुसार कार्य करत आहे याची खात्री करण्यासाठी, कार्यप्रदर्शन मेट्रिक्सच्या आधारे त्याचे मूल्यांकन करणे महत्त्वाचे आहे. Azure AI Foundry मध्ये, कार्यप्रदर्शन मूल्यांकन तुम्हाला अचूक, सुसंगत आणि सुस्पष्ट प्रतिसाद निर्माण करण्याच्या तुमच्या मॉडेलच्या कार्यक्षमतेचे मूल्यांकन करण्याची परवानगी देते.
प्रतिमा स्रोत: जनरेटिव्ह AI अनुप्रयोगांचे मूल्यांकन
या ट्युटोरियलमध्ये, Azure AI Foundry च्या कार्यप्रदर्शन मेट्रिक्सचा वापर करून फाइन-ट्यून केलेल्या Phi-3 / Phi-3.5 मॉडेलचे कार्यप्रदर्शन मूल्यांकन कराल. हे मेट्रिक्स तुम्हाला अचूक, सुसंगत आणि सुस्पष्ट प्रतिसाद निर्माण करण्याच्या मॉडेलच्या कार्यक्षमतेचे मूल्यांकन करण्यात मदत करतात. कार्यप्रदर्शन मेट्रिक्समध्ये समाविष्ट आहे:
- ग्राउंडेडनेस: निर्माण केलेले उत्तर इनपुट स्रोताच्या माहितीसोबत किती सुसंगत आहे हे मूल्यांकन करा.
- संबंधितता: दिलेल्या प्रश्नांशी निर्माण केलेल्या प्रतिसादाची सुसंगतता मूल्यांकन करा.
- सुसंगती: निर्माण केलेला मजकूर कसा सहजतेने वाहतो, नैसर्गिकरित्या वाचतो आणि मानवी भाषेसारखा आहे हे मूल्यांकन करा.
- प्रवाहशीलता: निर्माण केलेल्या मजकूराच्या भाषेची प्रवीणता मूल्यांकन करा.
- GPT साम्य: निर्माण केलेला प्रतिसाद आणि मूळ सत्य यांच्यातील साम्य तुलना करा.
- F1 स्कोअर: निर्माण केलेल्या प्रतिसाद आणि स्रोत डेटामधील सामायिक शब्दांचे प्रमाण मोजा.
हे मेट्रिक्स तुम्हाला अचूक, सुसंगत आणि सुस्पष्ट प्रतिसाद निर्माण करण्याच्या मॉडेलच्या कार्यक्षमतेचे मूल्यांकन करण्यात मदत करतात.
हा ट्युटोरियल मागील ब्लॉग पोस्ट्सचा विस्तार आहे, "Fine-Tune and Integrate Custom Phi-3 Models with Prompt Flow: Step-by-Step Guide" आणि "Fine-Tune and Integrate Custom Phi-3 Models with Prompt Flow in Azure AI Foundry." या पोस्ट्समध्ये, Azure AI Foundry मध्ये Phi-3 / Phi-3.5 मॉडेलचे फाइन-ट्यूनिंग आणि Prompt flow सह एकत्रीकरणाची प्रक्रिया शिकवली गेली.
या ट्युटोरियलमध्ये, Azure AI Foundry मध्ये मूल्यांकनकर्ता म्हणून Azure OpenAI मॉडेल तैनात कराल आणि तुमच्या फाइन-ट्यून केलेल्या Phi-3 / Phi-3.5 मॉडेलचे मूल्यांकन करण्यासाठी त्याचा वापर कराल.
- फाइन-ट्यून केलेल्या Phi-3 / Phi-3.5 मॉडेलचे मूल्यांकन करण्यासाठी तयार केलेला डेटा संच.
- Azure Machine Learning मध्ये फाइन-ट्यून आणि तैनात केलेले Phi-3 / Phi-3.5 मॉडेल.
- Azure AI Foundry मध्ये तुमच्या फाइन-ट्यून केलेल्या Phi-3 / Phi-3.5 मॉडेलसह एकत्रित Prompt flow.
Note
test_data.jsonl फाईल, जी मागील ब्लॉग पोस्ट्समधून डाउनलोड केलेल्या ULTRACHAT_200k डेटासेटच्या डेटा फोल्डरमध्ये आहे, तुम्ही फाइन-ट्यून केलेल्या Phi-3 / Phi-3.5 मॉडेलचे मूल्यांकन करण्यासाठी वापरणार आहात.
Note
जर तुम्ही "Fine-Tune and Integrate Custom Phi-3 Models with Prompt Flow in Azure AI Foundry" मध्ये वर्णन केलेली लो-कोड पद्धत अनुसरली असेल, तर तुम्ही हा भाग वगळून पुढील भागावर जाऊ शकता. मात्र, जर तुम्ही "Fine-Tune and Integrate Custom Phi-3 Models with Prompt Flow: Step-by-Step Guide" मध्ये वर्णन केलेली कोड-प्रथम पद्धत अनुसरली असेल, तर Prompt flow सह तुमच्या मॉडेलला जोडण्याची प्रक्रिया थोडी वेगळी आहे. या सरावामध्ये तुम्हाला ही प्रक्रिया शिकवली जाईल.
प्रोजेक्ट तयार करण्यापूर्वी तुम्हाला एक हब तयार करणे आवश्यक आहे. हब हे एका Resource Group प्रमाणे काम करते, ज्यामुळे तुम्हाला Azure AI Foundry मध्ये अनेक प्रकल्प आयोजित आणि व्यवस्थापित करता येतात.
-
Azure AI Foundry वर साइन इन करा.
-
डाव्या बाजूच्या टॅबमधून All hubs निवडा.
-
नेव्हिगेशन मेनूमधून + New hub निवडा.
-
पुढील कार्ये पूर्ण करा:
- Hub name प्रविष्ट करा. हे नाव अद्वितीय असणे आवश्यक आहे.
- तुमचे Azure Subscription निवडा.
- वापरण्यासाठी Resource group निवडा (आवश्यक असल्यास नवीन तयार करा).
- वापरण्यासाठी Location निवडा.
- वापरण्यासाठी Connect Azure AI Services निवडा (आवश्यक असल्यास नवीन तयार करा).
- Connect Azure AI Search साठी Skip connecting निवडा.
-
Next निवडा.
-
तुम्ही तयार केलेल्या हबमध्ये, डाव्या बाजूच्या टॅबमधून All projects निवडा.
-
नेव्हिगेशन मेनूमधून + New project निवडा.
-
Project name भरा. हे नाव अद्वितीय असले पाहिजे.
-
Create a project निवडा.
तुमच्या कस्टम Phi-3 / Phi-3.5 मॉडेलला Prompt flow मध्ये एकत्रित करण्यासाठी, तुम्हाला मॉडेलचा endpoint आणि key कस्टम कनेक्शनमध्ये जतन करणे आवश्यक आहे. हे सेटअप Prompt flow मध्ये तुमच्या कस्टम मॉडेलचा प्रवेश सुनिश्चित करते.
-
Azure ML Studio ला भेट द्या.
-
तुम्ही तयार केलेल्या Azure Machine Learning Workspace वर जा.
-
डाव्या बाजूच्या टॅबमधून Endpoints निवडा.
-
तुम्ही तयार केलेला endpoint निवडा.
-
नेव्हिगेशन मेनूमधून Consume निवडा.
-
तुमचा REST endpoint आणि Primary key कॉपी करा.
-
Azure AI Foundry ला भेट द्या.
-
तुम्ही तयार केलेल्या Azure AI Foundry प्रोजेक्टवर जा.
-
तुम्ही तयार केलेल्या प्रोजेक्टमध्ये, डाव्या बाजूच्या टॅबमधून Settings निवडा.
-
+ New connection निवडा.
-
नेव्हिगेशन मेनूमधून Custom keys निवडा.
-
खालील टास्क पूर्ण करा:
- + Add key value pairs निवडा.
- key name साठी endpoint भरा आणि Azure ML Studio मधून कॉपी केलेला endpoint value फील्डमध्ये पेस्ट करा.
- पुन्हा + Add key value pairs निवडा.
- key name साठी key भरा आणि Azure ML Studio मधून कॉपी केलेला key value फील्डमध्ये पेस्ट करा.
- keys जोडल्यावर, is secret निवडा जेणेकरून key उघड होणार नाही.
-
Add connection निवडा.
तुम्ही Azure AI Foundry मध्ये कस्टम कनेक्शन जोडले आहे. आता, खालील पायऱ्या वापरून Prompt flow तयार करूया. नंतर, तुम्ही Prompt flow कस्टम कनेक्शनशी जोडाल जेणेकरून Fine-tuned मॉडेल Prompt flow मध्ये वापरता येईल.
-
तुम्ही तयार केलेल्या Azure AI Foundry प्रोजेक्टवर जा.
-
डाव्या बाजूच्या टॅबमधून Prompt flow निवडा.
-
नेव्हिगेशन मेनूमधून + Create निवडा.
-
नेव्हिगेशन मेनूमधून Chat flow निवडा.
-
वापरण्यासाठी Folder name भरा.
-
Create निवडा.
तुम्हाला Fine-tuned Phi-3 / Phi-3.5 मॉडेल Prompt flow मध्ये समाकलित करायचे आहे. मात्र, विद्यमान Prompt flow यासाठी डिझाइन केलेले नाही. म्हणून, तुम्हाला कस्टम मॉडेलच्या समाकलनासाठी Prompt flow पुन्हा डिझाइन करावे लागेल.
-
Prompt flow मध्ये, विद्यमान flow पुन्हा तयार करण्यासाठी खालील टास्क करा:
-
Raw file mode निवडा.
-
flow.dag.yml फाइलमधील सर्व विद्यमान कोड हटवा.
-
flow.dag.yml मध्ये खालील कोड जोडा.
inputs: input_data: type: string default: "Who founded Microsoft?" outputs: answer: type: string reference: ${integrate_with_promptflow.output} nodes: - name: integrate_with_promptflow type: python source: type: code path: integrate_with_promptflow.py inputs: input_data: ${inputs.input_data}
-
Save निवडा.
-
-
Prompt flow मध्ये कस्टम Phi-3 / Phi-3.5 मॉडेल वापरण्यासाठी integrate_with_promptflow.py मध्ये खालील कोड जोडा.
import logging import requests from promptflow import tool from promptflow.connections import CustomConnection # Logging setup logging.basicConfig( format="%(asctime)s - %(levelname)s - %(name)s - %(message)s", datefmt="%Y-%m-%d %H:%M:%S", level=logging.DEBUG ) logger = logging.getLogger(__name__) def query_phi3_model(input_data: str, connection: CustomConnection) -> str: """ Send a request to the Phi-3 / Phi-3.5 model endpoint with the given input data using Custom Connection. """ # "connection" is the name of the Custom Connection, "endpoint", "key" are the keys in the Custom Connection endpoint_url = connection.endpoint api_key = connection.key headers = { "Content-Type": "application/json", "Authorization": f"Bearer {api_key}" } data = { "input_data": [input_data], "params": { "temperature": 0.7, "max_new_tokens": 128, "do_sample": True, "return_full_text": True } } try: response = requests.post(endpoint_url, json=data, headers=headers) response.raise_for_status() # Log the full JSON response logger.debug(f"Full JSON response: {response.json()}") result = response.json()["output"] logger.info("Successfully received response from Azure ML Endpoint.") return result except requests.exceptions.RequestException as e: logger.error(f"Error querying Azure ML Endpoint: {e}") raise @tool def my_python_tool(input_data: str, connection: CustomConnection) -> str: """ Tool function to process input data and query the Phi-3 / Phi-3.5 model. """ return query_phi3_model(input_data, connection)
Note
Azure AI Foundry मध्ये Prompt flow वापरण्याबाबत अधिक माहिती मिळवण्यासाठी Prompt flow in Azure AI Foundry पहा.
-
Chat input, Chat output निवडा जेणेकरून मॉडेलशी चॅट करता येईल.
-
आता तुम्ही तुमच्या कस्टम Phi-3 / Phi-3.5 मॉडेलशी चॅट करण्यासाठी तयार आहात. पुढील व्यायामामध्ये, तुम्हाला Prompt flow सुरू करण्याची आणि Fine-tuned मॉडेलशी चॅट करण्यासाठी त्याचा वापर कसा करायचा हे शिकवले जाईल.
Note
पुन्हा तयार केलेला flow खालील प्रतिमेसारखा दिसायला हवा:
-
Prompt flow सुरू करण्यासाठी Start compute sessions निवडा.
-
पॅरामीटर्स रिन्यू करण्यासाठी Validate and parse input निवडा.
-
तुम्ही तयार केलेल्या कस्टम कनेक्शनच्या connection च्या Value निवडा. उदाहरणार्थ, connection.
-
Chat निवडा.
-
उदाहरण परिणाम: आता तुम्ही तुमच्या कस्टम Phi-3 / Phi-3.5 मॉडेलशी चॅट करू शकता. Fine-tuning साठी वापरलेल्या डेटावर आधारित प्रश्न विचारण्याची शिफारस केली जाते.
Azure AI Foundry मध्ये Phi-3 / Phi-3.5 मॉडेलचे मूल्यांकन करण्यासाठी, तुम्हाला Azure OpenAI मॉडेल डिप्लॉय करावे लागेल. हे मॉडेल Phi-3 / Phi-3.5 मॉडेलच्या कार्यक्षमतेचे मूल्यांकन करण्यासाठी वापरले जाईल.
-
Azure AI Foundry मध्ये साइन इन करा.
-
तुम्ही तयार केलेल्या Azure AI Foundry प्रोजेक्टवर जा.
-
तुम्ही तयार केलेल्या प्रोजेक्टमध्ये, डाव्या बाजूच्या टॅबमधून Deployments निवडा.
-
नेव्हिगेशन मेनूमधून + Deploy model निवडा.
-
Deploy base model निवडा.
-
वापरण्यासाठी Azure OpenAI मॉडेल निवडा. उदाहरणार्थ, gpt-4o.
-
Confirm निवडा.
Azure AI Foundry च्या Prompt flow मूल्यांकनाचा वापर करून Fine-tuned Phi-3 / Phi-3.5 मॉडेलचे मूल्यांकन करा
-
Azure AI Foundry ला भेट द्या.
-
तुम्ही तयार केलेल्या Azure AI Foundry प्रोजेक्टवर जा.
-
तुम्ही तयार केलेल्या प्रोजेक्टमध्ये, डाव्या बाजूच्या टॅबमधून Evaluation निवडा.
-
नेव्हिगेशन मेनूमधून + New evaluation निवडा.
-
Prompt flow मूल्यमापन निवडा.
-
पुढील कार्ये करा:
- मूल्यमापनाचे नाव प्रविष्ट करा. हे नाव अद्वितीय असले पाहिजे.
- कार्य प्रकार म्हणून Question and answer without context निवडा. कारण या ट्यूटोरियलमध्ये वापरलेले UlTRACHAT_200k डेटासेट कोणताही संदर्भ समाविष्ट करत नाही.
- तुम्हाला मूल्यमापन करायचा असलेला prompt flow निवडा.
-
Next निवडा.
-
पुढील कार्ये करा:
- डेटासेट अपलोड करण्यासाठी Add your dataset निवडा. उदाहरणार्थ, तुम्ही test_data.json1 सारखी टेस्ट डेटासेट फाइल अपलोड करू शकता, जी ULTRACHAT_200k डेटासेट डाउनलोड केल्यावर उपलब्ध होते.
- तुमच्या डेटासेटशी जुळणारा योग्य Dataset column निवडा. उदाहरणार्थ, जर तुम्ही ULTRACHAT_200k डेटासेट वापरत असाल, तर ${data.prompt} डेटासेट कॉलम म्हणून निवडा.
-
Next निवडा.
-
कार्यप्रदर्शन आणि गुणवत्ता मेट्रिक्स कॉन्फिगर करण्यासाठी पुढील कार्ये करा:
- तुम्हाला वापरायचे असलेले कार्यप्रदर्शन आणि गुणवत्ता मेट्रिक्स निवडा.
- मूल्यमापनासाठी तुम्ही तयार केलेले Azure OpenAI मॉडेल निवडा. उदाहरणार्थ, gpt-4o निवडा.
-
धोका आणि सुरक्षितता मेट्रिक्स कॉन्फिगर करण्यासाठी पुढील कार्ये करा:
- तुम्हाला वापरायचे असलेले धोका आणि सुरक्षितता मेट्रिक्स निवडा.
- दोष दर गणना करण्यासाठी तुम्हाला वापरायचा असलेला थ्रेशोल्ड निवडा. उदाहरणार्थ, Medium निवडा.
- question साठी, Data source ला {$data.prompt} निवडा.
- answer साठी, Data source ला {$run.outputs.answer} निवडा.
- ground_truth साठी, Data source ला {$data.message} निवडा.
-
Next निवडा.
-
मूल्यमापन सुरू करण्यासाठी Submit निवडा.
-
मूल्यमापन पूर्ण होण्यासाठी काही वेळ लागू शकतो. तुम्ही Evaluation टॅबमध्ये प्रगती मॉनिटर करू शकता.
Note
खालील परिणाम मूल्यमापन प्रक्रियेचे स्पष्टीकरण देण्यासाठी दिले आहेत. या ट्यूटोरियलमध्ये, तुलनेने लहान डेटासेटवर ट्यून केलेले मॉडेल वापरले आहे, ज्यामुळे परिणाम कमी प्रभावी होऊ शकतात. प्रत्यक्ष परिणाम डेटासेटच्या आकार, गुणवत्ता, विविधता आणि मॉडेलच्या विशिष्ट कॉन्फिगरेशनवर अवलंबून मोठ्या प्रमाणात बदलू शकतात.
मूल्यमापन पूर्ण झाल्यावर, तुम्ही कार्यप्रदर्शन आणि सुरक्षितता मेट्रिक्ससाठी परिणाम पाहू शकता.
-
कार्यप्रदर्शन आणि गुणवत्ता मेट्रिक्स:
- मॉडेलने सुसंगत, प्रवाही, आणि सुसंगत प्रतिसाद तयार करण्याच्या क्षमतेचे मूल्यमापन करा.
-
धोका आणि सुरक्षितता मेट्रिक्स:
- सुनिश्चित करा की मॉडेलचे आउटपुट सुरक्षित आहेत आणि जबाबदार AI तत्त्वांशी सुसंगत आहेत, कोणत्याही हानिकारक किंवा आक्षेपार्ह सामग्रीपासून दूर आहेत.
-
Detailed metrics result पाहण्यासाठी स्क्रोल करा.
-
तुमच्या कस्टम Phi-3 / Phi-3.5 मॉडेलचे कार्यप्रदर्शन आणि सुरक्षितता मेट्रिक्सच्या विरोधात मूल्यमापन करून, तुम्ही पुष्टी करू शकता की मॉडेल प्रभावी आहे तसेच जबाबदार AI पद्धतींचे पालन करते, जे वास्तविक जगातील उपयोजनासाठी तयार आहे.
तुम्ही Azure AI Foundry मध्ये Prompt flow सह एकत्रित केलेले ट्यून केलेले Phi-3 मॉडेल यशस्वीरीत्या मूल्यमापन केले आहे. हे सुनिश्चित करण्यासाठी एक महत्त्वाचे पाऊल आहे की तुमची AI मॉडेल्स फक्त चांगली कामगिरी करत नाहीत, तर Microsoft च्या जबाबदार AI तत्त्वांचे पालन करतात, ज्यामुळे तुम्हाला विश्वासार्ह आणि विश्वसनीय AI अनुप्रयोग तयार करण्यात मदत होते.
तुमच्या खात्यावर अतिरिक्त शुल्क टाळण्यासाठी Azure संसाधने साफ करा. Azure पोर्टलवर जा आणि खालील संसाधने हटवा:
- Azure Machine learning संसाधन.
- Azure Machine learning मॉडेल एन्डपॉइंट.
- Azure AI Foundry प्रोजेक्ट संसाधन.
- Azure AI Foundry Prompt flow संसाधन.
- Responsible AI डॅशबोर्ड वापरून AI प्रणालींचे मूल्यमापन करा
- जनरेटिव्ह AI साठी मूल्यमापन आणि मॉनिटरिंग मेट्रिक्स
- Azure AI Foundry दस्तऐवज
- Prompt flow दस्तऐवज
- जबाबदार AI म्हणजे काय?
- विश्वासार्ह आणि सुरक्षित जनरेटिव्ह AI अनुप्रयोग तयार करण्यात मदत करणारी Azure AI मधील नवीन साधने जाहीर करत आहोत
- जनरेटिव्ह AI अनुप्रयोगांचे मूल्यमापन
अस्वीकरण:
हे दस्तऐवज मशीन-आधारित एआय अनुवाद सेवांचा वापर करून भाषांतरित केले गेले आहे. आम्ही अचूकतेसाठी प्रयत्नशील असलो तरी, कृपया लक्षात घ्या की स्वयंचलित अनुवादांमध्ये त्रुटी किंवा अचूकतेचा अभाव असू शकतो. मूळ भाषेतील मूळ दस्तऐवज प्राधिकृत स्रोत मानला जावा. महत्त्वाच्या माहितीसाठी, व्यावसायिक मानवी अनुवादाची शिफारस केली जाते. या अनुवादाचा वापर केल्यामुळे उद्भवणाऱ्या कोणत्याही गैरसमजांबद्दल किंवा चुकीच्या अर्थ लावल्याबद्दल आम्ही जबाबदार राहणार नाही.