On-Device-KI in iOS 27: Spotlight und Medien

In iOS 26 lebte das große On-Device-Sprachmodell innerhalb Ihrer App. Sie öffneten eine LanguageModelSession, hängten Tools an, und das Modell schlussfolgerte über den Kontext, den Sie ihm übergaben¹. iOS 27 hebt dasselbe Modell eine Ebene höher. Apple verdrahtet es nun mit Core Spotlight, sodass der bestehende Suchindex einer App zur Verankerungsquelle für das Modell wird², und mit AVFoundation, sodass das Gerät während der Wiedergabe Untertitel transkribiert und übersetzt, ohne dass die App eine einzige Zeile Inferenzcode schreibt³. Genau darin liegt die Schlagzeile: Das On-Device-Modell wird zu einem Systemdienst, nicht nur zu einer App-internen API. Dieselbe Intelligenz, die Sie direkt aus Ihrem Code aufrufen, läuft auch unter der Suche und unter den Medien — erreichbar über Frameworks, die Sie ohnehin schon verwenden.

Dieser Beitrag behandelt zwei dieser Systemoberflächen anhand ihrer WWDC26-Sessions: LLM-Suche über Core Spotlight (Session 246) und von Apple-KI erzeugte Untertitel mit Stilvorschau direkt auf dem Bildschirm (Session 256). Falls Ihnen die Framework-Grundlagen hinter der ersten noch nicht begegnet sind, bereiten der Erklärbeitrag Foundation Models On-Device-LLM und der Beitrag iOS 27 Tool-Calling den Boden.

TL;DR

• SpotlightSearchTool übernimmt das Foundation-Models-Tool-Protokoll, sodass ein Sprachmodell den Core-Spotlight-Index Ihrer App direkt durchsuchen kann, um kontextbezogene Antworten zu erzeugen. Apple liefert es für iOS, iPadOS, macOS und visionOS aus².
• Sie konfigurieren das Tool mit ungefähr einer Zeile, hängen es an eine LanguageModelSession, und das Modell erzeugt seine eigenen Abfragen, führt sie gegen Ihren Index aus und schlussfolgert über die Ergebnisse².
• Eine neue Index-Delegate-Methode, searchableItems(forIdentifiers:), lässt Sie das vollständige CSSearchableItem zurückholen, damit das Modell Metadaten sieht, die der kompakte Suchindex nicht liefern kann².
• Guidance-Profile grenzen die Suchfähigkeiten des Tools für kleinere Modelle ein; benutzerdefinierte Pipeline-Stufen lassen den Index im Auftrag des Modells rechnen (Zählungen, Durchschnitte, eigene Bewertungen)².
• Die von Apple-KI erzeugten Untertitel laufen live und lokal während der Wiedergabe, ganz ohne App-Code. Sie decken zwei Wege ab: Sprachtranskription aus dem Audio und Sprachübersetzung aus vorhandenen Untertiteln³.
• AVPlayerViewController erhält erzeugte Untertitel und die neue Stilvorschau im Player kostenlos; AVPlayerLayer und AVCaptionRenderer stellen die Stilvorschau-API für eigene Player-Oberflächen bereit³.

Was ins System gewandert ist

Die iOS-26-Geschichte setzte ein Modell in Ihren Prozess und gab Ihnen das Tool-Protokoll, um es zu erweitern¹. iOS 27 behält dieses Modell und fügt zwei Stellen hinzu, an denen das System es für Sie heranzieht. Core Spotlight wird zu einer Abrufoberfläche, die das Modell abfragen kann, wodurch der Suchindex, den Sie ohnehin schon spenden, zu verankertem Kontext wird. AVFoundation wird zu einer Transkriptions- und Übersetzungsoberfläche, was Untertitel in Sprachen bedeutet, die das ursprüngliche Medium nie mitlieferte.

Die beiden Funktionen wirken unzusammenhängend, bis man das gemeinsame Muster bemerkt. In beiden Fällen besitzt Apple das Modell und die Schwerstarbeit, während Ihre App den Inhalt und die Oberfläche besitzt. Sie spenden durchsuchbare Elemente; das Modell schreibt die Abfragen. Sie spielen ein Video ab; das Gerät erzeugt die Untertitel. Die Intelligenz ist eine gemeinsame Systemfähigkeit, und Ihre Aufgabe verschiebt sich vom Implementieren hin zum Zuführen der richtigen Inhalte und zur guten Präsentation des Ergebnisses.

LLM-Suche über Core Spotlight

Der Aufbau ist in Apples Darstellung eine Wanderwege-App, die bereits Naturparks und Wege durchstöbert und es dem Nutzer erlaubt, nach jeder Wanderung persönliche Notizen zu schreiben. Der Entwickler möchte dem Modell offene Fragen zu diesen Wanderungen stellen. Eine nackte LanguageModelSession antwortet aus dem eigenen Weltwissen des Modells, was die falsche Quelle ist: Die Antworten sollten von Wanderungen kommen, die die App tatsächlich kennt. Die App hat bereits jeden Weg in einen Core-Spotlight-Suchindex indiziert, sodass die Lösung darin besteht, dem Modell über Tool-Calling Zugriff auf diesen Index zu geben².

Genau das leistet SpotlightSearchTool. Apple präsentiert es als ein Tool, das das Tool-Protokoll übernimmt, damit ein Sprachmodell die Inhalte Ihrer App in Core Spotlight direkt durchsuchen kann, um kontextbezogene Antworten zu erzeugen — verfügbar auf iOS, iPadOS, macOS und visionOS². Voraussetzung ist die Arbeit, die Sie ohnehin schon erledigt hätten: durchsuchbare Inhalte mit Core Spotlight zu spenden, das Thema von Apples früherer Session „Supporting semantic search with Core Spotlight”²⁴. Sobald Ihre Elemente gespendet sind, importieren Sie CoreSpotlight und FoundationModels, und laut Apple ist das Tool mit einer Zeile Code bereit, Ihren Index zu durchsuchen. Sie wählen ein Modell — entweder das SystemLanguageModel oder eines, das über die neuen Model-Provider-APIs bereitgestellt wird — und fügen Ihrer Session dann eine SpotlightSearchTool-Instanz hinzu².

import CoreSpotlight
import FoundationModels

// Apple: "in one line of code, the tool is ready to search
// your app's Core Spotlight index."
let session = LanguageModelSession(tools: [SpotlightSearchTool()])

let response = try await session.respond(to: "What hikes have I gone on?")

Der Verlauf, nicht die Abfrage

Das Detail, das Aufmerksamkeit verdient, ist, wer die Suche schreibt. Nicht Sie. Apple beschreibt den Verlauf einer Frage wie „What hikes have I gone on?” so, dass das Modell entscheidet, dass es SpotlightSearchTool braucht, die Abfrage selbst erzeugt, Spotlight diese Abfrage ausführt und eine Beschreibung der Ergebnismenge zurückgibt, und das Modell über diese Ausgabe schlussfolgert, um seine endgültige Antwort zu erzeugen². Der Schlusssatz der Session bringt die Verschiebung klar auf den Punkt: Entwickler schreiben keine Suchabfragen mehr; sie liefern die Inhalte und überlassen den Rest der Intelligenz².

Eine Lücke zeigt sich früh, und Apple geht offen damit um. Manche Metadaten im Spotlight-Index, etwa Textinhalt und HTML, werden in einer hochkompakten Repräsentation gespeichert, die durchsucht, aber nicht in eine für ein Sprachmodell lesbare Form zurückgeholt werden kann². Das Modell findet die richtigen Elemente, ohne alles lesen zu können, was für sie gespendet wurde. Die Lösung liegt im Index-Delegate, den Sie ohnehin schon implementieren, um Reindex-Anfragen zu bearbeiten. Apple fügt eine Methode hinzu, um das vollständige CSSearchableItem über seine eindeutige Kennung zurückzuholen, sodass das Modell Antworten über potenziell Millionen von Ergebnissen verwalten kann, ohne sie alle zu laden².

// On your CSSearchableIndex delegate.
func searchableItems(
    forIdentifiers identifiers: [String]
) async -> [CSSearchableItem] {
    // Return the complete item for each id. The callback is also the
    // place to attach metadata you would not donate for search but
    // want the model to reason over.
    identifiers.compactMap { fullItem(for: $0) }
}

Apple bringt den zweiten Punkt ausdrücklich vor: Wenn Ihre App Metadaten enthält, deren Spende für die Suche keinen Sinn ergibt, die dem Modell aber beim Schlussfolgern helfen würden, ist der Delegate-Callback die Stelle, um diese zusätzlichen Attribute am Element für das Modell zu setzen².

Ergebnisse anzeigen

Apple zieht eine klare Linie zwischen zwei Anzeigemodi. Die Session-Antwort ist eine prägnante Beschreibung über die Ergebnismenge, was eine assistentenartige Oberfläche zeigen möchte. Für eine listenartige Darstellung sind die Ergebnisse selbst direkt auf SpotlightSearchTool verfügbar, was Apple den besten Weg nennt, auf durchsuchbare Elemente zuzugreifen, wenn die Ergebnismenge groß ist². Suchantworten treffen als asynchrone Sequenz ein, von denen jede potenziell einen Stapel von Ergebnissen mitführt, bis der Tool-Aufruf abgeschlossen ist. Da das Modell das Tool vor seiner endgültigen Antwort mehr als einmal aufrufen kann, rät Apple, den queryToken jeder Antwort zu verwenden, um zu entscheiden, wann die Oberfläche aktualisiert werden soll².

Anpassen an das gewählte Modell

SpotlightSearchTool stellt ein breites Spektrum an Fähigkeiten bereit, von der semantischen Suche über Text bis zur strukturierten Suche über Daten, Personen und Orte². Apple gibt drei Stellhebel, um diese Oberfläche an das von Ihnen ausgeführte Modell anzupassen. Der erste ist das Guidance-Profil. Einem kleinen Modell das gesamte Fähigkeitsspektrum des Tools zu übergeben, verbrennt Kontext, über den es nicht verfügt, deshalb grenzt ein GuidanceProfile die Anleitung auf genau das ein, was die App benötigt — bis hin zur exakten Liste der Metadaten-Attribute, die das Modell berücksichtigen soll, mit einem dynamischen Guide-Level, das Sie beim Erstellen des Tools festlegen². Apples Rat für On-Device-Modelle, die eine stärker eingeschränkte Kontextgröße mitführen, lautet: fokussierte Anleitung für einfachere Suchfähigkeiten².

Der zweite Hebel ist die Referenzauflösung. Wenn die App Personenbeziehungen spendet und der Nutzer nach anderen Personen auf einem Weg fragt, muss das Modell wissen, worauf sich „diese Person” bezieht. Apples Antwort ist ein Kontaktauflöser, der mit der Identität des Nutzers verbundene Kontaktinformationen zurückgibt, die das Tool gegen Metadaten im Index abgleicht².

Der dritte Hebel ist derjenige, der die Suche in Berechnung verwandelt. Für eine komplexe Anfrage wie „how many trails have I hiked this year, and for each month, how many miles on average?” könnte das Modell laut Apple auf eine einfache Abfrage verzichten und stattdessen eine Pipeline-Suche wählen, die Index-Abfragen mit Berechnungen über die Ergebnismenge zusammenführt². Das Modell zerlegt die Frage in Stufen: eine Suche nach abgeschlossenen Wanderungen, eine Zählstufe, die eine Tabelle nach Monaten aufbaut, dann eine Stufe, die einen Durchschnitt über die Zählungen berechnet². Pipeline-Stufen sind Generable, sodass das Modell eine Stufe bei Bedarf aus dem Prompt erzeugt, und eine App kann ihre eigenen benutzerdefinierten Stufen registrieren². Apples Beispiel ist ein Zufriedenheitswert, der über die Notizen jedes Elements berechnet wird, etwa per Sentiment-Analyse oder einer Fünf-Sterne-Bewertung, wobei Guide-Eigenschaften dem Modell sagen, welche Ergebnisse zu bevorzugen sind².

// Apple's example: a Generable pipeline stage that scores items so the
// model reasons over the top-scoring results, not the raw set.
@Generable
struct HappinessScoredTrail {
    let item: CSSearchableItem
    @Guide(description: "Prefer higher scores; 5-star hikes rank highest.")
    let happinessScore: Double
}
// Register the stage on the tool's configuration.

Apple schließt den Abschnitt mit der Verifizierung statt der Implementierung ab und verweist auf das Evaluations-Framework, um zu messen, wie gut das Modell das Tool aufruft und wie aussagekräftig seine Antworten sind, mit der Ergebnisabdeckung als Beispielmetrik für die Wander-App². Diese Evaluationsschleife ist ein eigenes Thema, behandelt im Beitrag Apple Evaluations-Framework.

Erzeugte Untertitel, auf dem Gerät

Die Medienoberfläche zeigt dasselbe Prinzip aus einem anderen Blickwinkel. Die von Apple-KI erzeugten Untertitel werden live, lokal auf dem Gerät erstellt, während das Medium abgespielt wird³. Der Rahmen in Session 256 stellt die Barrierefreiheit an erste Stelle: Untertitel sind wichtig für Menschen, die gehörlos oder schwerhörig sind, für Menschen, die gesprochenen Dialogen folgen, und für alle, die das Audio im Moment schlicht nicht hören können. Wenn Inhalte ohne eine Sprache ausgeliefert werden, die ein Zuschauer versteht, kann das Gerät die Lücke schließen³.

Apple beschreibt zwei Wege. Der erste ist die Sprachtranskription: Quell-Audio geht in das On-Device-Sprache-zu-Text-Modell, und Untertitel kommen heraus³. Der zweite ist die Sprachübersetzung: Vorhandene Untertitel (in Apples Beispiel Englisch) gehen in das On-Device-Übersetzungsmodell, das Untertitel in einer anderen Sprache wie Italienisch erzeugt³. Verfasste Untertitel — diejenigen, die ein Inhaltsersteller von Hand geschrieben hat — bleiben bevorzugt und unverändert; erzeugte Untertitel fügen nur Sprachen hinzu³. Dieselbe On-Device-Übersetzungsfähigkeit steht Entwicklern direkt im Translation-Framework zur Verfügung.

Der Teil, der für die Einführung zählt: Sie implementieren nichts, um dies einzuschalten. Apple erklärt, dass erzeugte Untertitel während der Videowiedergabe automatisch verfügbar sind³. Sie decken HTTP Live Streaming einschließlich Live-TV-Kanälen, Video-on-Demand, Live-Events wie Sport und dateibasierte Inhalte wie in der App gebündelte oder heruntergeladene Medien ab³. Sowohl professionelle Inhalte als auch von Kunden erstellte Inhalte (iPhone-Kameraaufnahmen, soziale Videos) kommen infrage³.

Die Startmatrix ist eng gefasst und verdient genaues Lesen. Ab iOS und macOS 27 können englische Untertitel aus englischem Audio erzeugt werden, ebenfalls unterstützt auf tvOS und visionOS 27³. Darüber hinaus können mehrere Untertitelsprachen aus englischen Untertiteln auf iOS und macOS erzeugt werden³. Die Transkription ist also zunächst Englisch-zu-Englisch über vier Plattformen hinweg, und die Übersetzung fächert sich vom Englischen auf den beiden größten auf.

Wo Ihre Arbeit tatsächlich liegt

Erzeugte Untertitel zu aktivieren kostet nichts, also fließt Ihr Aufwand in die Auswahloberfläche. Apples Anleitung ist direkt: Stellen Sie während der Wiedergabe eine Oberfläche zur Untertitelauswahl bereit³. Drei Optionen, in absteigender Reihenfolge danach, wie viel Apple Ihnen abnimmt:

• AVPlayerViewController auf iOS (und AVPlayerView auf macOS) implementiert Untertitelauswahl und Player-Steuerung vollständig. Sie tun nichts zusätzlich³.
• AVLegibleMediaOptionsMenuController präsentiert die Auswahlsteuerung und das Verhalten ohne Player-Steuerung, was passt, wenn Sie bereits eine Player-Oberfläche haben und nur das Menü benötigen³.
• Benutzerdefinierte Steuerelemente für die Medienauswahl, wenn das Menü zum Rest Ihrer App passen soll³.

In Apples Demo tragen die erzeugten Optionen ein Funkel-Symbol und das Wort „Translated”, damit Nutzer sie von verfassten Spuren unterscheiden können³.

Die Stilvorschau

Die zweite Funktion in der Session ist die Darstellung. Die Einstellungen-App lässt Menschen seit Jahren Untertitelstile auswählen und erstellen, aber Apples Punkt ist, dass das Ändern des Stils mitten im Video, mit einer Live-Vorschau, sowohl einfacher als auch barrierefreier ist, als die Wiedergabe zu verlassen, um sich durch die Einstellungen zu suchen³. Dieselben Stile, die ein Nutzer in den Einstellungen definiert hat, einschließlich eigener, erscheinen nun im Stilmenü des Players mit einer Vorschau jedes einzelnen³.

AVPlayerViewController implementiert die Stilvorschau und die Player-Steuerung ohne Weiteres³. Für eigene Player stellt AVPlayerLayer eine Stilvorschau-API bereit, und AVCaptionRenderer kann die Vorschau liefern, wenn Sie deren Rendering selbst übernehmen³. Apples AVPlayerLayer-Ablauf: Jeder Systemstil trägt eine Profil-ID, also rufen Sie alle Stile über ihre Profil-IDs ab, füllen Ihre Oberfläche mit deren Namen und rufen die Vorschaufunktion auf, wenn ein Nutzer einen auswählt. Der neue Untertitel erscheint im gewählten Stil, während alle vorhandenen Untertitel automatisch ausgeblendet werden, damit sie nicht stören. Die Übergabe von nil für den Textparameter zeigt lokalisierten Systemtext, und ein Positionsparameter versetzt die Vorschau, um Ihre Steuerelemente freizuhalten. Sie rufen die Funktion für jeden neuen Stil erneut auf, beenden die Vorschau, wenn die Auswahl abgeschlossen ist (was die aktiven Untertitel wiederherstellt), und setzen den gewählten Stil für alle Untertitel im System³.

Wie man es einführt

Für die Spotlight-Suche:

1. Spenden Sie Ihre Inhalte zuerst an Core Spotlight; das Tool durchsucht den Index, also bedeutet keine Spende, dass es nichts zu durchsuchen gibt²⁴.
2. Hängen Sie SpotlightSearchTool() an eine LanguageModelSession und wählen Sie Ihr Modell, das SystemLanguageModel oder eines aus den Model-Provider-APIs².
3. Implementieren Sie searchableItems(forIdentifiers:) an Ihrem Index-Delegate, um vollständige Elemente zurückzugeben und nur für das Modell bestimmte Metadaten anzuhängen, die der kompakte Index nicht zurückholen kann².
4. Zeigen Sie für eine Assistenten-Ansicht die Session-Antwort; lesen Sie für eine Listenansicht die CSSearchableItem-Ergebnisse vom Tool ab und aktualisieren Sie bei jedem queryToken der Antwort².
5. Wenn Sie ein On-Device-Modell ausführen, grenzen Sie die Fähigkeiten mit einem GuidanceProfile ein und greifen Sie nur dann zu Pipeline-Stufen, wenn eine Anfrage Zählen oder Bewerten über eine große Menge erfordert².

Für erzeugte Untertitel:

1. Nichts schaltet die Funktion ein; sie läuft während der Wiedergabe automatisch³.
2. Stellen Sie sicher, dass Ihr Player eine Oberfläche zur Untertitelauswahl über AVPlayerViewController, AVLegibleMediaOptionsMenuController oder eigene Steuerelemente bietet³.
3. Fügen Sie die Stilvorschau über AVPlayerViewController kostenlos hinzu oder verdrahten Sie die Vorschau-API von AVPlayerLayer in einen eigenen Player³.
4. Lesen Sie die Unterstützungsmatrix, bevor Sie Sprachen versprechen: Englisch-zu-Englisch-Transkription über vier Plattformen, Übersetzung mit englischer Quelle auf iOS und macOS³.

FAQ

Was ist SpotlightSearchTool in iOS 27?

Es ist ein Foundation-Models-Tool, das das Tool-Protokoll übernimmt, sodass ein Sprachmodell den Core-Spotlight-Index Ihrer App direkt durchsuchen und die Ergebnisse zur Antworterzeugung nutzen kann. Apple liefert es für iOS, iPadOS, macOS und visionOS aus. Sie hängen eine SpotlightSearchTool-Instanz an eine LanguageModelSession, und das Modell erzeugt die Suchabfragen selbst, statt dass Sie sie schreiben².

Muss ich die Suchabfragen schreiben?

Nein. Apples Darstellung ist, dass Entwickler keine Suchabfragen mehr schreiben; sie liefern die Inhalte und überlassen den Rest dem Modell. Das Modell entscheidet, dass es das Tool braucht, erzeugt eine Abfrage, Spotlight führt sie aus und gibt eine Beschreibung der Ergebnismenge zurück, und das Modell schlussfolgert über diese Ausgabe, um seine Antwort zu bilden².

Warum kann das Modell nicht alle meine gespendeten Metadaten sehen?

Manche Spotlight-Metadaten, etwa Textinhalt und HTML, werden in einer hochkompakten Form gespeichert, die durchsucht, aber nicht in lesbarer Weise zurückgeholt werden kann. Um dem Modell das vollständige Bild zu geben, implementieren Sie searchableItems(forIdentifiers:) an Ihrem Index-Delegate, um das vollständige CSSearchableItem zurückzugeben, und nutzen Sie diesen Callback, um beliebige zusätzliche, nur für das Modell bestimmte Attribute anzuhängen².

Muss ich etwas implementieren, um erzeugte Untertitel zu erhalten?

Nein. Apple erklärt, dass erzeugte Untertitel während der Videowiedergabe automatisch verfügbar sind, live und lokal auf dem Gerät erstellt. Ihre Arbeit ist die Auswahloberfläche und, optional, die Stilvorschau im Player — nicht die Inferenz³.

Welche Sprachen unterstützen erzeugte Untertitel zum Start?

Ab iOS und macOS 27 können englische Untertitel aus englischem Audio erzeugt werden, ebenfalls auf tvOS und visionOS 27. Davon getrennt können mehrere Untertitelsprachen aus englischen Untertiteln auf iOS und macOS erzeugt werden. Die Transkription ist also Englisch-zu-Englisch über vier Plattformen, und die Übersetzung fächert sich vom Englischen auf iOS und macOS auf³.

Sind erzeugte Untertitel und Spotlight-Suche privat?

Beide laufen auf dem Gerät. Erzeugte Untertitel werden live und lokal erstellt, während das Medium abgespielt wird³, und SpotlightSearchTool durchsucht den lokalen Core-Spotlight-Index Ihrer App über das On-Device-Modell¹². Dass Apple die Systemimplementierung bereitstellt, ändert, wer sie pflegt, nicht, wo sie läuft.

Der vollständige Apple-Ecosystem-Cluster: das Foundation Models On-Device-LLM und das Tool-Protokoll, das SpotlightSearchTool übernimmt; die iOS 27 Tool-Calling-Steuerung, die regelt, wie aggressiv das Modell Tools wie dieses aufruft; die parallele Oberfläche App Intents in iOS 27 für Hintergrundausführung, Synchronisierung und Spotlight; und Core AI: Modelle auf Apple Silicon ausführen für die Schicht unter dem Systemmodell. Der Knotenpunkt ist die Apple Ecosystem Series. Für einen breiteren Kontext zu iOS mit KI-Agenten siehe den iOS Agent Development Guide.