README.md

Phi Cookbook: Практическое руководство по моделям Phi от Microsoft

Phi — это серия моделей искусственного интеллекта с открытым исходным кодом, разработанных Microsoft.

Phi на данный момент является самой мощной и экономически эффективной малой языковой моделью (SLM), показывающей отличные результаты в задачах, связанных с многоязычностью, рассуждением, генерацией текста/чата, программированием, изображениями, аудио и другими сценариями.

Вы можете развернуть Phi в облаке или на устройствах периферии, а также легко создавать приложения генеративного ИИ с ограниченными вычислительными ресурсами.

Следуйте этим шагам, чтобы начать использовать эти ресурсы:

1. Сделайте форк репозитория: Нажмите
2. Клонируйте репозиторий: git clone https://github.com/microsoft/PhiCookBook.git
3. Присоединяйтесь к сообществу Microsoft AI в Discord и общайтесь с экспертами и разработчиками

Содержание

• Введение

  • Добро пожаловать в семейство Phi
  • Настройка вашей среды
  • Понимание ключевых технологий
  • Безопасность ИИ для моделей Phi
  • Поддержка оборудования для Phi
  • Модели Phi и их доступность на разных платформах
  • Использование Guidance-ai и Phi
  • Модели на GitHub Marketplace
  • Каталог моделей Azure AI

• Инференс Phi в различных средах

  • Hugging Face
  • Модели GitHub
  • Каталог моделей Azure AI Foundry
  • Ollama
  • AI Toolkit VSCode (AITK)
  • NVIDIA NIM

• Инференс семейства Phi

  • Инференс Phi на iOS
  • Инференс Phi на Android

• Inference Phi на Jetson

  • Inference Phi на AI PC
  • Inference Phi с использованием Apple MLX Framework
  • Inference Phi на локальном сервере
  • Inference Phi на удаленном сервере с использованием AI Toolkit
  • Inference Phi с использованием Rust
  • Inference Phi--Vision локально
  • Inference Phi с Kaito AKS, Azure Containers (официальная поддержка)

• Квантование семейства Phi

  • Квантование Phi-3.5 / 4 с использованием llama.cpp
  • Квантование Phi-3.5 / 4 с использованием Generative AI расширений для onnxruntime
  • Квантование Phi-3.5 / 4 с использованием Intel OpenVINO
  • Квантование Phi-3.5 / 4 с использованием Apple MLX Framework

• Оценка Phi

  • Ответственный ИИ
  • Azure AI Foundry для оценки
  • Использование Promptflow для оценки

• RAG с Azure AI Search

  • Как использовать Phi-4-mini и Phi-4-multimodal (RAG) с Azure AI Search

• Примеры разработки приложений с Phi

  • Текстовые и чат-приложения
    • Примеры Phi-4 🆕
      • [📓] Чат с моделью Phi-4-mini ONNX
      • Чат с локальной моделью Phi-4 ONNX в .NET
      • Чат-консольное приложение .NET с Phi-4 ONNX, используя Semantic Kernel
    • Примеры Phi-3 / 3.5
      • Локальный чат-бот в браузере с использованием Phi3, ONNX Runtime Web и WebGPU
      • Чат с использованием OpenVino
      • Мультимодельный - интерактивный Phi-3-mini и OpenAI Whisper
      • MLFlow - создание оболочки и использование Phi-3 с MLFlow
      • Оптимизация модели - как оптимизировать модель Phi-3-min для ONNX Runtime Web с помощью Olive
      • Приложение WinUI3 с Phi-3 mini-4k-instruct-onnx
      • Пример приложения заметок на базе ИИ для WinUI3 с мультимодельной поддержкой
      • Тонкая настройка и интеграция кастомных моделей Phi-3 с Prompt flow
      • Тонкая настройка и интеграция кастомных моделей Phi-3 с Prompt flow в Azure AI Foundry
      • Оценка тонко настроенной модели Phi-3 / Phi-3.5 в Azure AI Foundry с акцентом на принципы ответственного ИИ от Microsoft

• [📓] Пример языкового предсказания Phi-3.5-mini-instruct (Китайский/Английский) - Чат-бот RAG на основе Phi-3.5-Instruct с использованием WebGPU - Использование GPU Windows для создания решения Prompt flow с Phi-3.5-Instruct ONNX - Создание Android-приложения с использованием Microsoft Phi-3.5 tflite - Пример вопросов и ответов на .NET с использованием локальной модели ONNX Phi-3 через Microsoft.ML.OnnxRuntime - Консольное чат-приложение на .NET с Semantic Kernel и Phi-3

  • Примеры на основе SDK Azure AI Inference

    • Примеры Phi-4 🆕
      • [📓] Генерация кода проекта с использованием Phi-4-multimodal
    • Примеры Phi-3 / 3.5
      • Создание собственного чат-бота GitHub Copilot для Visual Studio Code с помощью Microsoft Phi-3 Family
      • Создание агента Copilot Chat для Visual Studio Code с использованием Phi-3.5 и моделей GitHub

  • Примеры для продвинутого анализа

    • Примеры Phi-4 🆕
      • [📓] Примеры для продвинутого анализа Phi-4-mini

  • Демонстрации

    • Демонстрации Phi-4-mini, размещенные на Hugging Face Spaces
    • Демонстрации Phi-4-multimodal, размещенные на Hugging Face Spaces

  • Примеры работы с изображениями

    • Примеры Phi-4 🆕
      • [📓] Использование Phi-4-multimodal для чтения изображений и генерации кода
    • Примеры Phi-3 / 3.5
      • [📓]Phi-3-vision-Изображение текст в текст
      • Phi-3-vision-ONNX
      • [📓]Phi-3-vision Встраивание CLIP
      • ДЕМОНСТРАЦИЯ: Phi-3 Переработка
      • Phi-3-vision - Визуальный языковой помощник - с Phi3-Vision и OpenVINO
      • Phi-3 Vision Nvidia NIM
      • Phi-3 Vision OpenVino
      • [📓]Phi-3.5 Vision пример с несколькими кадрами или изображениями
      • Phi-3 Vision локальная модель ONNX с использованием Microsoft.ML.OnnxRuntime .NET
      • Модель Phi-3 Vision ONNX с меню на базе Microsoft.ML.OnnxRuntime .NET

  • Примеры работы с аудио

    • Примеры Phi-4 🆕
      • [📓] Извлечение транскриптов из аудио с использованием Phi-4-multimodal
      • [📓] Пример работы с аудио на Phi-4-multimodal
      • [📓] Пример перевода речи с использованием Phi-4-multimodal
      • Консольное приложение на .NET с использованием Phi-4-multimodal для анализа аудиофайла и создания транскрипта

  • Примеры MOE

    • Примеры Phi-3 / 3.5
      • [📓] Phi-3.5 Модели смеси экспертов (MoEs) Пример для социальных сетей
      • [📓] Создание конвейера генерации с использованием поиска Azure AI, NVIDIA NIM Phi-3 MOE и LlamaIndex

  • Примеры вызова функций

    • Примеры Phi-4 🆕
      • [📓] Использование вызова функций с Phi-4-mini

  • Примеры смешивания мультимодальных данных

    • Примеры Phi-4 🆕

• [📓] Использование Phi-4-multimodal в качестве технологического журналиста - .NET консольное приложение с использованием Phi-4-multimodal для анализа изображений

• Тонкая настройка образцов Phi

  • Сценарии тонкой настройки
  • Тонкая настройка vs RAG
  • Тонкая настройка: Пусть Phi-3 станет экспертом в индустрии
  • Тонкая настройка Phi-3 с помощью AI Toolkit для VS Code
  • Тонкая настройка Phi-3 с использованием Azure Machine Learning Service
  • Тонкая настройка Phi-3 с использованием Lora
  • Тонкая настройка Phi-3 с использованием QLora
  • Тонкая настройка Phi-3 с использованием Azure AI Foundry
  • Тонкая настройка Phi-3 с использованием Azure ML CLI/SDK
  • Тонкая настройка с помощью Microsoft Olive
  • Практическая лаборатория по тонкой настройке с Microsoft Olive
  • Тонкая настройка Phi-3-vision с использованием Weights and Bias
  • Тонкая настройка Phi-3 с использованием Apple MLX Framework
  • Тонкая настройка Phi-3-vision (официальная поддержка)
  • Тонкая настройка Phi-3 с Kaito AKS, Azure Containers (официальная поддержка)
  • Тонкая настройка Phi-3 и 3.5 Vision

• Практические лаборатории

  • Изучение передовых моделей: LLMs, SLMs, локальная разработка и многое другое
  • Раскрытие потенциала NLP: тонкая настройка с Microsoft Olive

• Научные статьи и публикации

  • Textbooks Are All You Need II: технический отчет phi-1.5
  • Технический отчет Phi-3: высокопроизводительная языковая модель для локального использования на вашем телефоне
  • Технический отчет Phi-4
  • Оптимизация малых языковых моделей для вызова функций в автомобиле
  • (WhyPHI) Тонкая настройка PHI-3 для ответов на вопросы с несколькими вариантами: методология, результаты и вызовы

Использование моделей Phi

Phi на Azure AI Foundry

Вы можете узнать, как использовать Microsoft Phi и как строить сквозные решения для различных аппаратных устройств. Чтобы попробовать Phi самостоятельно, начните с тестирования моделей и настройки Phi для ваших сценариев с помощью каталога моделей Azure AI Foundry. Подробнее читайте в разделе Начало работы с Azure AI Foundry.

Песочница Каждая модель имеет свою собственную песочницу для тестирования: Azure AI Playground.

Phi на GitHub Models

Вы можете узнать, как использовать Microsoft Phi и как строить сквозные решения для различных аппаратных устройств. Чтобы попробовать Phi самостоятельно, начните с тестирования модели и настройки Phi для ваших сценариев с помощью каталога моделей GitHub. Подробнее читайте в разделе Начало работы с каталогом моделей GitHub.

Песочница Каждая модель имеет отдельную песочницу для тестирования модели.

Phi на Hugging Face

Вы также можете найти модель на Hugging Face

Песочница
Hugging Chat playground

Ответственный подход к ИИ

Microsoft стремится помогать нашим клиентам использовать продукты ИИ ответственно, делиться нашими знаниями и выстраивать партнерские отношения, основанные на доверии, с помощью таких инструментов, как Прозрачные заметки и Оценка воздействия. Многие из этих ресурсов доступны по адресу https://aka.ms/RAI.
Подход Microsoft к ответственному ИИ основан на наших принципах ИИ: справедливость, надежность и безопасность, конфиденциальность и защита, инклюзивность, прозрачность и подотчетность.

Модели естественного языка, изображения и речи большого масштаба, подобные тем, что используются в этом примере, потенциально могут вести себя несправедливо, ненадежно или оскорбительно, что, в свою очередь, может причинить вред. Ознакомьтесь с Прозрачной заметкой об Azure OpenAI Service, чтобы узнать о рисках и ограничениях.

Рекомендуемый подход к снижению этих рисков — включить систему безопасности в вашу архитектуру, которая сможет обнаруживать и предотвращать вредоносное поведение. Azure AI Content Safety предоставляет независимый уровень защиты, способный обнаруживать вредоносный контент, созданный пользователями или ИИ, в приложениях и сервисах. Azure AI Content Safety включает текстовые и визуальные API, которые позволяют обнаруживать вредоносный материал. В рамках Azure AI Foundry служба Content Safety позволяет просматривать, изучать и тестировать примерный код для обнаружения вредоносного контента в различных модальностях. Следующая документация для быстрого старта проведет вас через процесс создания запросов к сервису.

Еще один аспект, который следует учитывать, — это общая производительность приложения. В многофункциональных и многомодельных приложениях производительность означает, что система работает так, как вы и ваши пользователи ожидаете, включая предотвращение генерации вредоносного контента. Важно оценивать производительность вашего приложения в целом с использованием оценщиков производительности и качества, а также рисков и безопасности. У вас также есть возможность создавать и использовать кастомные оценщики.

Вы можете оценить свое ИИ-приложение в вашей среде разработки с помощью Azure AI Evaluation SDK. Используя либо тестовый набор данных, либо целевой показатель, ваши генерации в приложении на основе генеративного ИИ количественно измеряются с помощью встроенных или кастомных оценщиков по вашему выбору. Чтобы начать работу с Azure AI Evaluation SDK для оценки вашей системы, вы можете следовать руководству по быстрому старту. После выполнения оценки вы можете визуализировать результаты в Azure AI Foundry.

Торговые марки

Этот проект может содержать торговые марки или логотипы для проектов, продуктов или услуг. Авторизованное использование торговых марок или логотипов Microsoft должно соответствовать и подчиняться Руководству по использованию торговых марок и брендов Microsoft.
Использование торговых марок или логотипов Microsoft в измененных версиях этого проекта не должно вызывать путаницу или подразумевать спонсорство со стороны Microsoft. Любое использование торговых марок или логотипов третьих сторон должно соответствовать политике этих третьих сторон.

Отказ от ответственности:
Этот документ был переведен с использованием автоматизированных AI-сервисов перевода. Хотя мы стремимся к точности, имейте в виду, что автоматические переводы могут содержать ошибки или неточности. Оригинальный документ на его родном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется обратиться к профессиональному переводу, выполненному человеком. Мы не несем ответственности за любые недоразумения или неверные интерпретации, возникшие в результате использования данного перевода.