README.md

Phi Szakácskönyv: Gyakorlati példák a Microsoft Phi modellekkel

A Phi a Microsoft által fejlesztett nyílt forráskódú AI modellek sorozata.

Jelenleg a Phi a legerősebb és legköltséghatékonyabb kis nyelvi modell (SLM), amely kiváló eredményeket ér el többnyelvűség, érvelés, szöveg/csevegés generálás, kódolás, képek, hangok és más forgatókönyvek terén.

A Phi telepíthető felhőbe vagy peremhálózati eszközökre, és könnyen építhetők generatív AI alkalmazások korlátozott számítási kapacitással.

Kövesse az alábbi lépéseket, hogy elkezdje használni ezeket az erőforrásokat:

1. Forkolja a repót: Kattintson ide
2. Klónozza a repót: git clone https://github.com/microsoft/PhiCookBook.git
3. Csatlakozzon a Microsoft AI Discord közösséghez, és találkozzon szakértőkkel és más fejlesztőkkel

Tartalomjegyzék

• Bevezetés

  • Üdvözöljük a Phi családban
  • Környezet beállítása
  • Kulcstechnológiák megértése
  • AI biztonság a Phi modelleknél
  • Phi hardvertámogatás
  • Phi modellek és elérhetőség platformokon
  • Guidance-ai és Phi használata
  • GitHub Marketplace modellek
  • Azure AI Model Katalógus

• Phi következtetések különböző környezetekben

  • Hugging face
  • GitHub modellek
  • Azure AI Foundry Model Katalógus
  • Ollama
  • AI Toolkit VSCode (AITK)
  • NVIDIA NIM

• Phi család következtetések

  • Phi következtetés iOS-en
  • Phi következtetés Androidon

• Phi következtetés Jetsonon

  • Phi következtetés AI PC-n
  • Phi következtetés az Apple MLX Framework segítségével
  • Phi következtetés helyi szerveren
  • Phi következtetés távoli szerveren AI Toolkit használatával
  • Phi következtetés Rusttal
  • Phi--Vision következtetés helyben
  • Phi következtetés Kaito AKS-szel és Azure Containers-szel (hivatalos támogatás)

• Phi család kvantifikálása

  • Phi-3.5 / 4 kvantifikálása llama.cpp használatával
  • Phi-3.5 / 4 kvantifikálása Generative AI kiterjesztésekkel az onnxruntime-hoz
  • Phi-3.5 / 4 kvantifikálása Intel OpenVINO használatával
  • Phi-3.5 / 4 kvantifikálása az Apple MLX Framework segítségével

• Phi értékelése

  • Felelős AI
  • Azure AI Foundry az értékeléshez
  • Promptflow használata értékeléshez

• RAG az Azure AI Search segítségével

  • Hogyan használjuk a Phi-4-mini és Phi-4-multimodal (RAG) modelleket az Azure AI Search-el

• Phi alkalmazásfejlesztési minták

  • Szöveg- és chatalkalmazások
    • Phi-4 minták 🆕
      • [📓] Chat Phi-4-mini ONNX modellel
      • Chat Phi-4 helyi ONNX modellel .NET-en
      • Chat .NET konzolos alkalmazás Phi-4 ONNX modellel Sementic Kernel használatával
    • Phi-3 / 3.5 minták
      • Helyi chatbot a böngészőben Phi3, ONNX Runtime Web és WebGPU használatával
      • OpenVino Chat
      • Többmodell - Interaktív Phi-3-mini és OpenAI Whisper
      • MLFlow - Burkoló készítése és Phi-3 használata MLFlow-val
      • Model optimalizálás - Hogyan optimalizáljuk a Phi-3-min modellt az ONNX Runtime Webhez Olive segítségével
      • WinUI3 alkalmazás Phi-3 mini-4k-instruct-onnx modellel
      • WinUI3 többmodell mesterséges intelligenciával támogatott jegyzetalkalmazás minta
      • Phi-3 egyedi modellek finomhangolása és integrálása Promptflow-val
      • Phi-3 egyedi modellek finomhangolása és integrálása Promptflow-val az Azure AI Foundry-ban
      • Finomhangolt Phi-3 / Phi-3.5 modellek értékelése az Azure AI Foundry-ban a Microsoft Felelős AI elveire összpontosítva

• [📓] Phi-3.5-mini-instruct nyelvi előrejelzési példa (kínai/angol) - Phi-3.5-Instruct WebGPU RAG Chatbot - Windows GPU használata Prompt flow megoldás létrehozásához Phi-3.5-Instruct ONNX segítségével - Microsoft Phi-3.5 tflite használata Android alkalmazás készítéséhez - Q&A .NET példa helyi ONNX Phi-3 modell használatával a Microsoft.ML.OnnxRuntime segítségével - Konzolos chat .NET alkalmazás Semantic Kernel-lel és Phi-3-mal

  • Azure AI Inference SDK kód alapú példák

    • Phi-4 példák 🆕
      • [📓] Projektkód generálása Phi-4-multimodal segítségével
    • Phi-3 / 3.5 példák
      • Saját Visual Studio Code GitHub Copilot Chat létrehozása Microsoft Phi-3 családdal
      • Saját Visual Studio Code Chat Copilot Agent létrehozása Phi-3.5-tel GitHub Modellek segítségével

  • Haladó érvelési példák

    • Phi-4 példák 🆕
      • [📓] Phi-4-mini érvelési példák

  • Demók

    • Phi-4-mini demók a Hugging Face Spaces-en
    • Phi-4-multimodal demók a Hugging Face Spaces-en

  • Látvány példák

    • Phi-4 példák 🆕
      • [📓] Phi-4-multimodal használata képek olvasására és kód generálására
    • Phi-3 / 3.5 példák
      • [📓]Phi-3-vision - Kép szövegből szövegbe
      • Phi-3-vision-ONNX
      • [📓]Phi-3-vision CLIP Beágyazás
      • DEMO: Phi-3 Újrahasznosítás
      • Phi-3-vision - Vizuális nyelvi asszisztens - Phi3-Vision és OpenVINO segítségével
      • Phi-3 Vision Nvidia NIM
      • Phi-3 Vision OpenVino
      • [📓]Phi-3.5 Vision többképes vagy többkeretes példa
      • Phi-3 Vision helyi ONNX modell a Microsoft.ML.OnnxRuntime .NET segítségével
      • Menübázisú Phi-3 Vision helyi ONNX modell a Microsoft.ML.OnnxRuntime .NET segítségével

  • Hang példák

    • Phi-4 példák 🆕
      • [📓] Hangátiratok kinyerése Phi-4-multimodal segítségével
      • [📓] Phi-4-multimodal hang példa
      • [📓] Phi-4-multimodal beszéd fordítási példa
      • .NET konzolos alkalmazás Phi-4-multimodal hang használatával egy hangfájl elemzésére és átirat készítésére

  • MOE példák

    • Phi-3 / 3.5 példák
      • [📓] Phi-3.5 Mixture of Experts Models (MoEs) közösségi média példa
      • [📓] Visszakeresésen alapuló generálási (RAG) folyamat létrehozása NVIDIA NIM Phi-3 MOE, Azure AI Search és LlamaIndex segítségével

  • Funkcióhívási példák

    • Phi-4 példák 🆕
      • [📓] Funkcióhívás használata Phi-4-mini segítségével

  • Multimodális keverési példák

    • Phi-4 példák 🆕

• [📓] Phi-4-multimodal használata technológiai újságíróként

  • .NET konzolos alkalmazás, amely a Phi-4-multimodalt használja képek elemzésére

• Phi finomhangolási minták

  • Finomhangolási forgatókönyvek
  • Finomhangolás vs RAG
  • Finomhangolás: Phi-3 iparági szakértővé válik
  • Phi-3 finomhangolása az AI Toolkit segítségével a VS Code-ban
  • Phi-3 finomhangolása az Azure Machine Learning Service-szel
  • Phi-3 finomhangolása Lorával
  • Phi-3 finomhangolása QLorával
  • Phi-3 finomhangolása az Azure AI Foundry segítségével
  • Phi-3 finomhangolása az Azure ML CLI/SDK-val
  • Finomhangolás a Microsoft Olive segítségével
  • Finomhangolás a Microsoft Olive gyakorlati laborral
  • Phi-3-vision finomhangolása a Weights and Bias segítségével
  • Phi-3 finomhangolása az Apple MLX Frameworkkel
  • Phi-3-vision finomhangolása (hivatalos támogatás)
  • Phi-3 és Kaito AKS, Azure Containers finomhangolása (hivatalos támogatás)
  • Phi-3 és 3.5 Vision finomhangolása

• Gyakorlati labor

  • Új generációs modellek felfedezése: LLM-ek, SLM-ek, helyi fejlesztés és még sok más
  • NLP lehetőségek kiaknázása: Finomhangolás a Microsoft Olive-val

• Tudományos kutatási cikkek és publikációk

  • Textbooks Are All You Need II: phi-1.5 technikai jelentés
  • Phi-3 technikai jelentés: Egy rendkívül fejlett nyelvi modell helyileg a telefonodon
  • Phi-4 technikai jelentés
  • Kis nyelvi modellek optimalizálása járművekben történő funkcióhívásokhoz
  • (WhyPHI) PHI-3 finomhangolása feleletválasztós kérdések megválaszolására: Módszertan, eredmények és kihívások

Phi modellek használata

Phi az Azure AI Foundry-ban

Megtanulhatod, hogyan használd a Microsoft Phi-t, és hogyan építs E2E megoldásokat különböző hardvereszközeiden. Ha szeretnéd magad kipróbálni a Phi-t, kezdd a modellek tesztelésével és testreszabásával a saját forgatókönyveidhez az Azure AI Foundry Azure AI Model Catalog segítségével. További információt találsz az Azure AI Foundry kezdési útmutatóban.

Játszótér
Minden modellhez tartozik egy dedikált játszótér a teszteléshez: Azure AI Playground.

Phi a GitHub modellek között

Megtanulhatod, hogyan használd a Microsoft Phi-t, és hogyan építs E2E megoldásokat különböző hardvereszközeiden. Ha szeretnéd magad kipróbálni a Phi-t, kezdd a modellek tesztelésével és testreszabásával a saját forgatókönyveidhez a GitHub Model Catalog segítségével. További információt találsz a GitHub Model Catalog kezdési útmutatóban.

Játszótér
Minden modellhez tartozik egy játszótér, ahol tesztelheted a modellt.

Phi a Hugging Face-en

A modellt megtalálhatod a Hugging Face platformon is.

Játszótér
Hugging Chat játszótér

Felelős AI

A Microsoft elkötelezett amellett, hogy segítse ügyfeleit mesterséges intelligencia termékeink felelősségteljes használatában, megossza tapasztalatait, és bizalmon alapuló partnerségeket építsen olyan eszközökkel, mint a Transparency Notes és az Impact Assessments. Ezek közül sok erőforrás elérhető itt: https://aka.ms/RAI.
A Microsoft felelős AI megközelítése az AI alapelveinken nyugszik: méltányosság, megbízhatóság és biztonság, adatvédelem és biztonság, befogadás, átláthatóság és elszámoltathatóság.

A nagy léptékű természetes nyelv-, kép- és beszédmodellek – mint amilyeneket ebben a példában is használnak – potenciálisan méltánytalanul, megbízhatatlanul vagy sértően viselkedhetnek, ami károkat okozhat. Kérjük, olvasd el az Azure OpenAI szolgáltatás átláthatósági jegyzetét, hogy tájékozódj a kockázatokról és korlátokról.

A kockázatok mérséklésének ajánlott módja, hogy az architektúrádba egy biztonsági rendszert építesz, amely képes észlelni és megelőzni a káros viselkedést. Az Azure AI Content Safety egy független védelmi réteget biztosít, amely képes felismerni a felhasználók által generált és az AI által létrehozott káros tartalmakat az alkalmazásokban és szolgáltatásokban. Az Azure AI Content Safety szöveg- és kép-API-kat tartalmaz, amelyek lehetővé teszik a káros anyagok felismerését. Az Azure AI Foundry-n belül a Content Safety szolgáltatás lehetőséget nyújt arra, hogy megtekintsd, felfedezd és kipróbáld a káros tartalmak felismerésére szolgáló mintakódokat különböző modalitásokon keresztül. A következő gyorsindítási dokumentáció bemutatja, hogyan küldhetsz kéréseket a szolgáltatásnak.

Egy másik szempont, amit figyelembe kell venni, az alkalmazás általános teljesítménye. Többmodalitású és többmodelles alkalmazások esetében a teljesítményt úgy értelmezzük, hogy a rendszer az elvárásoknak megfelelően működik, ideértve azt is, hogy nem generál káros kimeneteket. Fontos, hogy az alkalmazásod teljesítményét értékeld az Performance and Quality and Risk and Safety evaluators segítségével. Lehetőséged van saját egyéni értékelők létrehozására és használatára is.

AI alkalmazásodat fejlesztési környezetben az Azure AI Evaluation SDK segítségével értékelheted. Egy tesztadatkészlet vagy cél megadása esetén a generatív AI alkalmazás generálásai mennyiségileg mérhetők beépített vagy egyéni értékelők segítségével. Az Azure AI Evaluation SDK használatának megkezdéséhez a rendszer értékeléséhez kövesd a gyorsindítási útmutatót. Miután végrehajtottál egy értékelési futtatást, az eredményeket vizualizálhatod az Azure AI Foundry-ban.

Védjegyek

Ez a projekt tartalmazhat védjegyeket vagy logókat projektekhez, termékekhez vagy szolgáltatásokhoz. A Microsoft védjegyek vagy logók engedélyezett használata a Microsoft védjegy- és márka irányelveinek megfelelően történhet.
A Microsoft védjegyek vagy logók használata a projekt módosított verzióiban nem okozhat félreértést vagy azt a látszatot, hogy a Microsoft támogatja azt. Harmadik felek védjegyeinek vagy logóinak használata az adott harmadik fél irányelveinek hatálya alá tartozik.

Felelősségkizárás:
Ez a dokumentum gépi AI fordítószolgáltatások segítségével került lefordításra. Bár törekszünk a pontosságra, kérjük, vegye figyelembe, hogy az automatikus fordítások hibákat vagy pontatlanságokat tartalmazhatnak. Az eredeti dokumentum az eredeti nyelvén tekintendő hiteles forrásnak. Kritikus információk esetén javasolt a professzionális, emberi fordítás igénybevétele. Nem vállalunk felelősséget az ebből a fordításból eredő félreértésekért vagy téves értelmezésekért.