Conversational AI Agents mit Azure AI Foundry bauen

Microsofts Azure AI Foundry vereinfacht die KI-Entwicklung durch eine einheitliche Plattform zum Erstellen, Bereitstellen und Verwalten intelligenter Anwendungen. Sie dient als zentraler Hub für Ihre KI-Entwicklung und bündelt Sprachmodelle, Datenmanagement und Deployment-Tools in einer einzigen Umgebung. Sie abstrahiert die Komplexität der KI-Entwicklung und lässt Engineers zugleich die Flexibilität, die anspruchsvolle Lösungen erfordern.

Wir starten mit einer einfachen Chat-Interaktion, um die grundlegenden Konversationsfähigkeiten eines Large Language Models kennenzulernen. Anschließend schauen wir uns den Azure AI Foundry Agent Service an, mit dem sich spezialisierte Agenten erstellen lassen, die bestimmte Aufgaben übernehmen, den Konversationskontext halten und externe Datenquellen einbinden.

Ich zeige Ihnen, wie Sie im Handumdrehen einen einfachen Agenten erstellen, der ausschließlich auf seinen Trainingsdaten basiert, und anschließend eine erweiterte Variante, die zusätzliche Wissensquellen für präzisere Antworten nutzt. Zum Abschluss demonstrieren wir an einem praktischen Python-Beispiel, wie sich diese Agenten direkt in Ihre Anwendungen integrieren lassen – für skalierbare, intelligente Lösungen.

Das Azure AI Foundry-Ökosystem

Komponenten eines KI-Agenten

In diesem Beispiel richten wir Azure AI Foundry und einen Agent Service in einem Standard-Setup über das Azure-Portal ein. Sobald Sie Zugriff auf Ihr Azure-Abonnement haben, brauchen Sie für den Einstieg nur noch wenige Berechtigungen.

• Verschaffen Sie sich Zugriff auf ein Azure-Abonnement – Sie können kostenlos starten.
• Stellen Sie sicher, dass Ihnen auf Abonnement-Ebene die Rollen Azure AI Account Owner und Azure AI Project Manager zugewiesen sind.
• Wenn Sie ein Standard-Setup für Azure AI Foundry konfigurieren, achten Sie darauf, dass Sie Berechtigungen besitzen, um Rollen für alle benötigten Ressourcen (Cosmos DB, Azure AI Search, Azure Blob Storage) zuzuweisen. Weitere Informationen zu RBAC-Rollen speziell für den Azure AI Foundry Agent Service finden Sie unter Azure AI Foundry Agent Service RBAC roles. Die benötigte integrierte Rolle ist Role Based Access Administrator; sie liefert die zentrale Berechtigung Microsoft.Authorization/roleAssignments/write.
• Erscheinen Fehlermeldungen zu fehlenden Registrierungen oder nicht registrierten Anbietern, müssen Sie den in der Meldung genannten Anbieter registrieren.

Projekt und einfachen KI-Agenten bereitstellen

Mit dieser benutzerdefinierten Bereitstellungsvorlage richten Sie das benötigte Azure AI Foundry-Projekt samt Agent ein.

https://portal.azure.com/#create/Microsoft.Template/uri/https%3A%2F%2Fraw.githubusercontent.com%2Fazure-ai-foundry%2Ffoundry-samples%2Frefs%2Fheads%2Fmain%2Fsamples%2Fmicrosoft%2Finfrastructure-setup%2F40-basic-agent-setup%2Fbasic-setup.json

Die Vorlage öffnet sich im Azure-Portal und legt ein Azure AI Foundry-Projekt an, in dem Sie in einer eigenständigen Umgebung KI-Ideen ausprobieren, Prototypen bauen und vieles mehr machen können.

Wählen Sie Abonnement und Ressourcengruppe aus, füllen Sie die übrigen Felder einschließlich Standort aus und lassen Sie die modellbezogenen Felder unverändert. Damit sind die Eckdaten für die Erstellung des Projekts und das Deployment eines GPT-4o-Modells festgelegt.

Klicken Sie auf "Überprüfen + erstellen", um die Vorlage bereitzustellen. Der Vorgang dauert einige Minuten.

Formular der Bereitstellungsvorlage zum Erstellen von Azure AI Foundry-Ressourcen

Ist das Deployment abgeschlossen, klicken Sie auf "Zur Ressourcengruppe wechseln", um die Ressourcen einzusehen.

Ressourcengruppe mit dem bereitgestellten Projekt

Ein Klick auf den Projektlink bringt Sie ins Azure AI Foundry-Portal.

Link zum Projekt

Mit dem Modell chatten

Sobald Sie das Azure AI Foundry-Portal aufrufen, landen Sie nicht zwingend direkt im Playground Ihres Projekts. Wählen Sie in diesem Fall auf der Hauptseite den Projektnamen aus und anschließend "Playgrounds". Damit ist das gpt-4o-Deployment vorausgewählt und Sie können mit dem Modell zu chatten beginnen. Probieren Sie ein paar Prompts aus und sehen Sie, was passiert. Testen Sie ruhig auch verschiedene Modellanweisungen, beschränken Sie Antworten auf ein bestimmtes Thema oder ergänzen Sie das Modell um eine Datenquelle mit Ihren eigenen Daten.

Ich habe das Modell zum Beispiel angewiesen, ausschließlich Antworten zu Erdbeben zu geben – und dann nach einem Rezept gefragt.

Chat-Playground mit beispielhaften Modellanweisungen

Chatbot als Web-App bereitstellen

Eine praktische Funktion ist das Deployment eines einfachen Chatbots als Web-App. Die Bereitstellung dauert einige Minuten; danach können Sie über den Link die Web-App öffnen und ausprobieren. Bis daraus etwas wirklich Produktionsreifes wird, fehlt noch einiges – das Beispiel zeigt aber, wie unkompliziert sich eine grundlegende Chat-Web-App erstellen lässt.

Wählen Sie oben in der Chat-Playground-Oberfläche neben "View code" die Option "Deploy as web app".

Chatbot als Web-App bereitstellen

Um die Web-App nach dem Deployment zu starten, navigieren Sie zu "My assets/Web apps" und klicken auf den Link der bereitgestellten Web-App.

Web-App starten

Wie Sie im Chat-Playground sehen, habe ich die Antworten des Modells per Anweisung auf Fragen zu Erdbeben begrenzt. In der Chat-Oberfläche der Web-App weigert sich das Modell daher, einen Witz zu erzählen, beantwortet aber die Erdbebenfrage. Da das Modell jedoch nur mit Daten bis Oktober 2023 trainiert wurde, zeige ich Ihnen im nächsten Abschnitt, wie Sie es mit einer eigenen Datenquelle ergänzen, ohne es neu trainieren zu müssen.

Beispiel einer Chatbot-Web-App

Über einen Agenten mit dem Modell chatten

Einen einfachen Agenten erstellen

Jetzt, da Sie ein gutes Gespür dafür haben, wie das Chatten mit einem Modell funktioniert, erweitern wir das Ganze um einen Agenten, der diese Funktionalität kapselt. Anschließend ergänzen wir das Wissen des Modells mit einer eigenen Datenquelle und rufen den Agenten über ein einfaches Python-Beispiel auf.

Wählen Sie "Agents/New Agent", um einen neuen Agenten zu erstellen. Geben Sie einen Agentennamen sowie ein Set an Anweisungen an. Die Anweisungen sind Pflicht und sollten konkret beschreiben, was der Agent leisten soll – in diesem Fall ein Agent, der ausschließlich Fragen zu Erdbeben beantwortet. Das Deployment können Sie auf dem Standardwert gpt-4o belassen; auch die Standardwerte für Temperature und Top P passen so. Änderungen an der Agentenkonfiguration werden automatisch gespeichert.

Agentenkonfiguration für Chats über Erdbeben

Über die Schaltfläche "Try in playground" testen Sie den Agenten genauso, wie Sie zuvor direkt mit dem Modell gechattet haben.

Den Agenten mit zusätzlichem Wissen anreichern

Azure AI Foundry bietet mehrere Möglichkeiten, eigene Daten in Ihre KI-Anwendungen und -Services einzubinden. Das geht über den Rahmen dieses Artikels hinaus; weitere Informationen finden Sie hier.

Als einfaches Beispiel füge ich eine PDF-Datei als Datenquelle hinzu, um meinen Agenten mit zusätzlichem Erdbeben-Wissen auszustatten. Ich habe eine PDF-Kopie des Wikipedia-Artikels zum Erdbeben auf der Halbinsel Kamtschatka 2025 heruntergeladen, die Sie hier herunterladen können, falls Sie mitmachen und sie in Ihrem Agenten verwenden möchten.

Sobald Sie die PDF-Datei haben, klicken Sie in der Agentenkonfiguration neben Knowledge auf "+Add" und wählen anschließend "Files", um die Datei hochzuladen. Die Standardeinstellungen können Sie unverändert lassen, um einen neuen Vector Store anzulegen, und dann "Upload and save" auswählen.

Hochgeladene PDF-Datei zur Erweiterung des Agenten um zusätzliches Erdbeben-Wissen

Klicken Sie erneut auf "Try in playground", können Sie diesmal auch nach dem Erdbeben vom Juli 2025 fragen.

Chat mit dem Agenten nach Hinzufügen einer Datenquelle

Nun, da Sie ein gutes Gespür dafür haben, wie ein einfacher Agent in Azure AI Foundry funktioniert, probieren wir etwas Python-Code aus, um den Modell-Endpoint direkt anzusprechen. Holen Sie sich aber zunächst den Endpoint des Azure AI Foundry-Projekts von der Übersichtsseite und die Agent-ID von der Agentenseite.

Übersichtsseite mit dem Endpoint des Azure AI Foundry-Projekts

Agentenseite mit der Agent-ID

Speichern Sie den folgenden Quellcode lokal in einer Datei namens agent_earthquake_chat.py. Es handelt sich um ein einfaches, eher verspieltes Python-Beispiel, das in keiner Weise produktionsreif ist :)

from azure.ai.projects import AIProjectClient
from azure.identity import DefaultAzureCredential
from azure.ai.agents.models import ListSortOrder

import os

endpoint = os.getenv("AZURE_FOUNDRY_ENDPOINT")
agent_id = os.getenv("AZURE_FOUNDRY_AGENT_ID")

if not endpoint or not agent_id:
    raise EnvironmentError("AZURE_FOUNDRY_ENDPOINT and AZURE_FOUNDRY_AGENT_ID must be set in your environment.")

project = AIProjectClient(
    credential=DefaultAzureCredential(),
    endpoint=endpoint)

agent = project.agents.get_agent(agent_id)

thread = project.agents.threads.create()
print(f"Created agent thread, ID: {thread.id}")
print("Type 'quit' to exit the chat.")

# Initial message
message = project.agents.messages.create(
    thread_id=thread.id,
    role="user",
    content="Hi Agent"
)

run = project.agents.runs.create_and_process(
    thread_id=thread.id,
    agent_id=agent.id)

if run.status == "failed":
    print(f"Run failed: {run.last_error}")
else:
    messages = project.agents.messages.list(thread_id=thread.id, order=ListSortOrder.ASCENDING)
    for message in messages:
        if message.text_messages:
            print(f"{message.role}: {message.text_messages[-1].text.value}")

# Chat loop
while True:
    user_input = input("You: ").strip()
    if user_input.lower() == "quit":
        print("Conversation ended. See you next time.")
        break

    # Add user message
    project.agents.messages.create(
        thread_id=thread.id,
        role="user",
        content=user_input
    )

    # Run agent again
    run = project.agents.runs.create_and_process(
        thread_id=thread.id,
        agent_id=agent.id)

    if run.status == "failed":
        print(f"Run failed: {run.last_error}")
        continue

    # Display latest response
    messages = list(project.agents.messages.list(thread_id=thread.id, order=ListSortOrder.ASCENDING))
    for message in reversed(messages):
        if message.role == "assistant" and message.text_messages:
            print(f"Agent: {message.text_messages[-1].text.value}\n")
            break

Es folgt eine Schritt-für-Schritt-Anleitung samt Befehlen, um Ihr Skript in einer isolierten Python-Umgebung auszuführen – ohne Abhängigkeit von global installierten Paketen.

1. Erstellen Sie im Ordner mit dem heruntergeladenen Quellcode eine virtuelle Python-Umgebung:

python3 -m venv foundry-env

2. Aktivieren Sie die Umgebung:

source foundry-env/bin/activate

3. pip aktualisieren (empfohlen):

pip install --upgrade pip

4. Installieren Sie die erforderlichen Azure-Abhängigkeiten:

pip install azure-ai-projects azure-identity

5. Setzen Sie die Umgebungsvariablen für den Azure AI Foundry-Agenten mit Ihren spezifischen Werten:

export AZURE_FOUNDRY_ENDPOINT="https://foundryyizp.services.ai.azure.com/api/projects/foundry-demo-project"
export AZURE_FOUNDRY_AGENT_ID="asst_ABCfRyUC7X4AenJN3wyRY7AJ"

6. Führen Sie Ihr Skript aus:

python agent_earthquake_chat.py

Beispiel-Chat über Python

(foundry-env) david@Mac azure-ai-foundry % python agent_earthquake_chat.py
Created agent thread, ID: thread_Y9FxpLWwVELeY3wlNoE1K6ez
Type 'quit' to exit the chat.
MessageRole.USER: Hi Agent
MessageRole.AGENT: Hello! How can I assist you with earthquake-related information today?
You: What is Azure AI Foundry?
Agent: I'm here to assist with earthquake-related information only. Let me know if you have any questions about earthquakes!

You: What was the tsunami impact of the July 2025 earthquake not far from Russia?
Agent: The July 2025 earthquake off the coast of Kamchatka, Russia, had widespread tsunami impacts. Tsunami waves reached heights of up to 15 meters in some Russian regions, causing local panic and destruction, particularly in Severo-Kurilsk, Komandorsky Islands, and nearby areas. Coastal regions as far as Hawaii, Alaska, and Japan observed increased wave activity, with localized alerts issued in the Pacific Rim. Evacuations were prompted in Japan and parts of the United States due to concerns of waves exceeding several meters in height【8:0†source】【8:1†source】【8:19†source】.

You: Give me 10 bullet points explaining what happens when an earthquake occurs.
Agent: Here are 10 key points explaining what happens during an earthquake:

1. **Rupture at Fault Line**: Earthquakes begin when stress in Earth's crust surpasses the strength of the rocks, causing a sudden rupture along fault lines.

2. **Release of Energy**: This rupture releases a burst of energy in the form of seismic waves, propagating through the Earth.

3. **Seismic Waves Propagate**:
   - *Primary Waves (P-Waves)*: Travel fastest and move through solids, liquids, and gases.
   - *Secondary Waves (S-Waves)*: Slower than P-waves and cannot travel through liquids.

4. **Ground Shaking**: These seismic waves cause the ground to shake, with the intensity depending on the earthquake's magnitude and depth.

5. **Surface Displacement**: In some cases, visible breaks or shifts appear at the Earth's surface along the fault line.

6. **Aftershocks**: Smaller earthquakes occur as the crust adjusts to the changes caused by the mainquake.

7. **Tsunamis** (if under ocean): Submarine earthquakes displace water, potentially generating tsunamis that radiate outward.

8. **Landslides and Liquefaction**: Ground disturbances can lead to landslides or liquefaction of soils, which compromise stability in affected areas.

9. **Damage and Destruction**: Seismic activity damages buildings, infrastructure, and natural landscapes, depending on proximity and construction standards.

10. **Human Response and Resilience**: People respond with evacuations, rescue operations, and rebuilding efforts, adapting to the earthquake's aftermath.

Let me know if you'd like details on any specific aspect!

You: quit
Conversation ended. See you next time!

Die Kosten für die in dieser Übung erstellten Ressourcen sind sehr gering – rechnen Sie mit 1 bis 2 US-Dollar. Nachdem ich das Projekt erstellt und mit einigen Dutzend Prompts im Chat-Playground sowie im Python-Beispiel experimentiert hatte, lagen meine Kosten unter 3 US-Dollar.

Azure macht es Ihnen sehr einfach, alle in dieser Übung verwendeten Ressourcen wieder zu entfernen. Navigieren Sie im Azure-Portal zu "Ressourcengruppen", wählen Sie die für diese Übung erstellte Ressourcengruppe aus und klicken Sie auf "Ressourcengruppe löschen".

Ressourcengruppe im Azure-Portal löschen