README.md

Phi Cookbook: Praktyczne przykłady z modelami Phi od Microsoftu

Phi to seria otwartoźródłowych modeli AI opracowanych przez Microsoft.

Phi to obecnie najpotężniejszy i najbardziej opłacalny mały model językowy (SLM), osiągający bardzo dobre wyniki w wielojęzyczności, rozumowaniu, generowaniu tekstu/rozmów, kodowaniu, obrazach, dźwiękach i innych scenariuszach.

Możesz wdrożyć Phi w chmurze lub na urządzeniach brzegowych, a także łatwo tworzyć aplikacje generatywnej sztucznej inteligencji przy ograniczonej mocy obliczeniowej.

Postępuj zgodnie z poniższymi krokami, aby zacząć korzystać z tych zasobów:

1. Forkuj repozytorium: Kliknij
2. Sklonuj repozytorium: git clone https://github.com/microsoft/PhiCookBook.git
3. Dołącz do społeczności Microsoft AI Discord i poznaj ekspertów oraz innych programistów

Spis treści

• Wprowadzenie

  • Witaj w rodzinie Phi
  • Konfiguracja środowiska
  • Zrozumienie kluczowych technologii
  • Bezpieczeństwo AI w modelach Phi
  • Wsparcie sprzętowe dla Phi
  • Modele Phi i ich dostępność na różnych platformach
  • Korzystanie z Guidance-ai i Phi
  • Modele na GitHub Marketplace
  • Katalog modeli Azure AI

• Inference Phi w różnych środowiskach

  • Hugging Face
  • Modele GitHub
  • Katalog modeli Azure AI Foundry
  • Ollama
  • AI Toolkit VSCode (AITK)
  • NVIDIA NIM

• Inference rodziny Phi

  • Inference Phi na iOS
  • Inference Phi na Androidzie

• Wnioskowanie Phi na Jetson

  • Wnioskowanie Phi na komputerze AI PC
  • Wnioskowanie Phi z wykorzystaniem Apple MLX Framework
  • Wnioskowanie Phi na lokalnym serwerze
  • Wnioskowanie Phi na zdalnym serwerze przy użyciu AI Toolkit
  • Wnioskowanie Phi z wykorzystaniem Rust
  • Wnioskowanie Phi--Vision lokalnie
  • Wnioskowanie Phi z Kaito AKS, Azure Containers (oficjalne wsparcie)

• Kwantyfikacja rodziny Phi

  • Kwantyzacja Phi-3.5 / 4 z wykorzystaniem llama.cpp
  • Kwantyzacja Phi-3.5 / 4 z wykorzystaniem rozszerzeń Generative AI dla onnxruntime
  • Kwantyzacja Phi-3.5 / 4 z wykorzystaniem Intel OpenVINO
  • Kwantyzacja Phi-3.5 / 4 z wykorzystaniem Apple MLX Framework

• Ocena Phi

  • Odpowiedzialna AI
  • Azure AI Foundry do oceny
  • Wykorzystanie Promptflow do oceny

• RAG z Azure AI Search

  • Jak używać Phi-4-mini i Phi-4-multimodal (RAG) z Azure AI Search

• Przykłady rozwoju aplikacji Phi

  • Aplikacje tekstowe i czatowe
    • Przykłady Phi-4 🆕
      • [📓] Czat z modelem Phi-4-mini ONNX
      • Czat z lokalnym modelem Phi-4 ONNX w .NET
      • Konsolowa aplikacja .NET do czatu z modelem Phi-4 ONNX przy użyciu Semantic Kernel
    • Przykłady Phi-3 / 3.5
      • Lokalny chatbot w przeglądarce z wykorzystaniem Phi3, ONNX Runtime Web i WebGPU
      • Czat OpenVino
      • Model wielomodelowy - interaktywny Phi-3-mini i OpenAI Whisper
      • MLFlow - Tworzenie wrappera i używanie Phi-3 z MLFlow
      • Optymalizacja modelu - Jak zoptymalizować model Phi-3-mini dla ONNX Runtime Web przy użyciu Olive
      • Aplikacja WinUI3 z modelem Phi-3 mini-4k-instruct-onnx
      • Przykładowa aplikacja notatek AI z wieloma modelami w WinUI3
      • Dostosowanie i integracja niestandardowych modeli Phi-3 z Prompt flow
      • Dostosowanie i integracja niestandardowych modeli Phi-3 z Prompt flow w Azure AI Foundry
      • Ocena dostosowanego modelu Phi-3 / Phi-3.5 w Azure AI Foundry z uwzględnieniem zasad Odpowiedzialnej AI Microsoftu

• [📓] Phi-3.5-mini-instruct przykład przewidywania języka (chiński/angielski) - Phi-3.5-Instruct WebGPU RAG Chatbot - Korzystanie z GPU w systemie Windows do tworzenia rozwiązania Prompt Flow z Phi-3.5-Instruct ONNX - Tworzenie aplikacji na Androida za pomocą Microsoft Phi-3.5 tflite - Przykład Q&A .NET z lokalnym modelem ONNX Phi-3 przy użyciu Microsoft.ML.OnnxRuntime - Konsolowa aplikacja czatu .NET z Semantic Kernel i Phi-3

  • Próbki kodu SDK Azure AI Inference

    • Próbki Phi-4 🆕
      • [📓] Generowanie kodu projektu za pomocą Phi-4-multimodal
    • Próbki Phi-3 / 3.5
      • Stwórz własny czat GitHub Copilot w Visual Studio Code z rodziną Microsoft Phi-3
      • Tworzenie własnego agenta czatu Copilot w Visual Studio Code z Phi-3.5 za pomocą modeli GitHub

  • Zaawansowane przykłady rozumowania

    • Próbki Phi-4 🆕
      • [📓] Phi-4-mini przykłady rozumowania

  • Dema

    • Dema Phi-4-mini hostowane na Hugging Face Spaces
    • Dema Phi-4-multimodal hostowane na Hugging Face Spaces

  • Przykłady wizji komputerowej

    • Próbki Phi-4 🆕
      • [📓] Korzystanie z Phi-4-multimodal do odczytu obrazów i generowania kodu
    • Próbki Phi-3 / 3.5
      • [📓]Phi-3-vision-Image tekst na tekst
      • Phi-3-vision-ONNX
      • [📓]Phi-3-vision osadzanie CLIP
      • DEMO: Phi-3 Recycling
      • Phi-3-vision - Wizualny asystent językowy - z Phi3-Vision i OpenVINO
      • Phi-3 Vision Nvidia NIM
      • Phi-3 Vision OpenVino
      • [📓]Phi-3.5 Vision przykład wieloklatkowy lub wieloobrazowy
      • Phi-3 Vision lokalny model ONNX przy użyciu Microsoft.ML.OnnxRuntime .NET
      • Model ONNX Phi-3 Vision lokalny z menu przy użyciu Microsoft.ML.OnnxRuntime .NET

  • Przykłady audio

    • Próbki Phi-4 🆕
      • [📓] Ekstrakcja transkryptów audio za pomocą Phi-4-multimodal
      • [📓] Phi-4-multimodal przykład audio
      • [📓] Phi-4-multimodal przykład tłumaczenia mowy
      • Konsolowa aplikacja .NET wykorzystująca Phi-4-multimodal Audio do analizy pliku audio i generowania transkryptu

  • Przykłady MOE

    • Próbki Phi-3 / 3.5
      • [📓] Phi-3.5 Modele Mixture of Experts (MoEs) przykład z mediami społecznościowymi
      • [📓] Budowanie pipeline'u Retrieval-Augmented Generation (RAG) z NVIDIA NIM Phi-3 MOE, Azure AI Search i LlamaIndex

  • Przykłady wywoływania funkcji

    • Próbki Phi-4 🆕
      • [📓] Korzystanie z wywoływania funkcji z Phi-4-mini

  • Przykłady mieszania multimodalnego

    • Próbki Phi-4 🆕

• [📓] Korzystanie z Phi-4-multimodal jako dziennikarz technologiczny

  • .NET aplikacja konsolowa wykorzystująca Phi-4-multimodal do analizy obrazów

• Dostosowywanie próbek Phi

  • Scenariusze dostosowywania
  • Dostosowywanie a RAG
  • Dostosowywanie: Pozwól Phi-3 stać się ekspertem branżowym
  • Dostosowywanie Phi-3 z AI Toolkit dla VS Code
  • Dostosowywanie Phi-3 z Azure Machine Learning Service
  • Dostosowywanie Phi-3 z Lora
  • Dostosowywanie Phi-3 z QLora
  • Dostosowywanie Phi-3 z Azure AI Foundry
  • Dostosowywanie Phi-3 z Azure ML CLI/SDK
  • Dostosowywanie z Microsoft Olive
  • Dostosowywanie z Microsoft Olive Hands-On Lab
  • Dostosowywanie Phi-3-vision z Weights and Bias
  • Dostosowywanie Phi-3 z Apple MLX Framework
  • Dostosowywanie Phi-3-vision (oficjalne wsparcie)
  • Dostosowywanie Phi-3 z Kaito AKS, Azure Containers (oficjalne wsparcie)
  • Dostosowywanie Phi-3 i 3.5 Vision

• Laboratorium praktyczne

  • Eksplorowanie najnowszych modeli: LLM, SLM, rozwój lokalny i więcej
  • Odkrywanie potencjału NLP: Dostosowywanie z Microsoft Olive

• Artykuły badawcze i publikacje akademickie

  • Textbooks Are All You Need II: raport techniczny phi-1.5
  • Raport techniczny Phi-3: Wysokowydajny model językowy lokalnie na Twoim telefonie
  • Raport techniczny Phi-4
  • Optymalizacja małych modeli językowych do wywoływania funkcji w pojazdach
  • (WhyPHI) Dostosowywanie PHI-3 do odpowiedzi na pytania wielokrotnego wyboru: Metodologia, wyniki i wyzwania

Korzystanie z modeli Phi

Phi na Azure AI Foundry

Możesz nauczyć się, jak korzystać z Microsoft Phi i jak budować kompleksowe rozwiązania na różnych urządzeniach sprzętowych. Aby samodzielnie wypróbować Phi, zacznij od testowania modeli i dostosowywania Phi do swoich scenariuszy za pomocą Azure AI Foundry Azure AI Model Catalog. Więcej informacji znajdziesz w sekcji Rozpoczęcie pracy z Azure AI Foundry.

Playground
Każdy model ma dedykowane środowisko testowe Azure AI Playground.

Phi na GitHub Models

Możesz nauczyć się, jak korzystać z Microsoft Phi i jak budować kompleksowe rozwiązania na różnych urządzeniach sprzętowych. Aby samodzielnie wypróbować Phi, zacznij od testowania modelu i dostosowywania Phi do swoich scenariuszy za pomocą GitHub Model Catalog. Więcej informacji znajdziesz w sekcji Rozpoczęcie pracy z GitHub Model Catalog.

Playground
Każdy model ma dedykowane środowisko testowe do sprawdzania modelu.

Phi na Hugging Face

Model można również znaleźć na Hugging Face

Środowisko testowe
Hugging Chat playground

Odpowiedzialna sztuczna inteligencja

Microsoft zobowiązuje się do wspierania swoich klientów w odpowiedzialnym korzystaniu z produktów AI, dzielenia się zdobytymi doświadczeniami oraz budowania partnerskich relacji opartych na zaufaniu za pomocą narzędzi takich jak Transparency Notes i Impact Assessments. Wiele z tych zasobów można znaleźć na stronie https://aka.ms/RAI.
Podejście Microsoftu do odpowiedzialnej AI opiera się na naszych zasadach dotyczących AI: sprawiedliwości, niezawodności i bezpieczeństwa, prywatności i ochrony, inkluzywności, przejrzystości oraz odpowiedzialności.

Modele przetwarzania języka naturalnego, obrazu i mowy na dużą skalę - takie jak te używane w tym przykładzie - mogą potencjalnie działać w sposób niesprawiedliwy, zawodny lub obraźliwy, co może powodować szkody. Prosimy o zapoznanie się z notą przejrzystości usługi Azure OpenAI, aby być świadomym ryzyk i ograniczeń.

Zalecanym podejściem do minimalizowania tych ryzyk jest uwzględnienie systemu bezpieczeństwa w swojej architekturze, który może wykrywać i zapobiegać szkodliwym zachowaniom. Azure AI Content Safety zapewnia niezależną warstwę ochrony, zdolną do wykrywania szkodliwych treści generowanych przez użytkowników lub AI w aplikacjach i usługach. Azure AI Content Safety obejmuje API tekstowe i obrazowe, które pozwalają na wykrywanie szkodliwych materiałów. W ramach Azure AI Foundry usługa Content Safety umożliwia przeglądanie, eksplorowanie i testowanie przykładowego kodu do wykrywania szkodliwych treści w różnych modalnościach. Następująca dokumentacja wprowadzająca prowadzi przez proces składania zapytań do tej usługi.

Innym aspektem, który należy wziąć pod uwagę, jest ogólna wydajność aplikacji. W przypadku aplikacji wielomodalnych i wielomodelowych wydajność oznacza, że system działa zgodnie z oczekiwaniami Twoimi i użytkowników, w tym nie generuje szkodliwych wyników. Ważne jest, aby ocenić wydajność swojej aplikacji przy użyciu ocen wydajności, jakości oraz ryzyka i bezpieczeństwa. Możesz również tworzyć i oceniać aplikacje za pomocą niestandardowych ocen.

Możesz oceniać swoją aplikację AI w środowisku deweloperskim, korzystając z Azure AI Evaluation SDK. Na podstawie zestawu testowego lub celu generacje Twojej aplikacji AI są ilościowo mierzone za pomocą wbudowanych lub niestandardowych ocen, które wybierzesz. Aby rozpocząć korzystanie z Azure AI Evaluation SDK do oceny swojego systemu, możesz postępować zgodnie z przewodnikiem wprowadzającym. Po wykonaniu oceny możesz wizualizować wyniki w Azure AI Foundry.

Znaki towarowe

Ten projekt może zawierać znaki towarowe lub logotypy dotyczące projektów, produktów lub usług. Autoryzowane korzystanie ze znaków towarowych lub logotypów Microsoftu podlega i musi być zgodne z wytycznymi dotyczącymi znaków towarowych i marki Microsoftu.
Użycie znaków towarowych lub logotypów Microsoftu w zmodyfikowanych wersjach tego projektu nie może powodować nieporozumień ani sugerować sponsorowania przez Microsoft. Wszelkie użycie znaków towarowych lub logotypów stron trzecich podlega zasadom tych stron trzecich.

Zastrzeżenie:
Ten dokument został przetłumaczony za pomocą usług tłumaczeniowych opartych na sztucznej inteligencji. Chociaż staramy się zapewnić dokładność, prosimy pamiętać, że automatyczne tłumaczenia mogą zawierać błędy lub nieścisłości. Oryginalny dokument w jego rodzimym języku powinien być uznawany za wiarygodne źródło. W przypadku informacji krytycznych zaleca się skorzystanie z profesjonalnego tłumaczenia przez człowieka. Nie ponosimy odpowiedzialności za jakiekolwiek nieporozumienia lub błędne interpretacje wynikające z użycia tego tłumaczenia.