Wejście obrazowe w Foundation Models w iOS 27

iOS 26 dał aplikacjom działający lokalnie duży model językowy, który czytał tekst i pisał tekst. iOS 27 daje temu samemu modelowi parę oczu. Podczas WWDC26 Apple potwierdziło, że lokalny systemowy model językowy „zyskuje również możliwości Vision, co otwiera całe nowe kategorie aplikacji”¹, a sposób dotarcia do tych możliwości jest niemal rozczarowująco prosty: wstawia się obraz do promptu obok słów, jako załącznik, i zadaje pytanie. Bez osobnego potoku Vision, bez podmiany modelu, bez nowego typu sesji. Prompt, który dawniej niósł ciąg znaków, teraz niesie również obraz, a model odpowiada na temat obu.

Dlaczego to właśnie niewielka powierzchnia API jest tu najważniejsza? Wejście obrazowe nie jest doczepionym z boku API doklejonym do Foundation Models. Apple opisuje je jako „naturalne rozszerzenie istniejących prompt builderów”¹, co oznacza, że każda koncepcja poznana już w iOS 26 (sesje, generowanie sterowane, protokół Tool) działa bez zmian w chwili, gdy prompt staje się multimodalny⁴. Jeśli LanguageModelSession nie jest jeszcze znane, warto zacząć od omówienia frameworka Foundation Models i wrócić tutaj.

TL;DR

• Lokalny model w iOS 27 przyjmuje wejście obrazowe. Załącznik z obrazem wstawia się do promptu obok tekstu, a model odpowiada na pytania dotyczące obrazu¹².
• Załączniki z obrazami można tworzyć z różnych typów: UIImage, NSImage, CGImage, typów Core Image, pixel bufferów CoreVideo oraz URL-i plików¹.
• Model obsługuje obrazy o dowolnym rozmiarze i proporcjach, więc nie trzeba ich przycinać ani dopełniać do określonego kształtu; trzeba jednak pamiętać, że większe obrazy zużywają więcej tokenów i zwiększają opóźnienie¹.
• Foundation Models daje LLM-owi szeroką wszechstronność wobec obrazu; framework Vision oferuje stałą, szybką i precyzyjnie dostrojoną analizę. Zalecenie Apple to łączenie ich za pomocą wywołań narzędzi, a nie wybór jednego z nich².
• Model serwerowy Private Cloud Compute również obsługuje wejście obrazowe, z oknem kontekstu 32K (wobec 4K lokalnie), dzięki czemu multimodalne prompty niosące tekst i kilka obrazów mają miejsce, by oddychać³.

Co się zmieniło: prompt zyskał obraz

W sesji 241 ujęcie Apple jest precyzyjne. Model lokalny „jest bardziej inteligentny; lepszy w logice i wywoływaniu narzędzi”, a na tej inteligencji zyskuje teraz Vision¹. W demonstracji model jest pytany o zdjęcie origami: „Wystarczy wstawić załącznik z obrazem do promptu, razem z tekstem. Teraz model może odpowiadać na pytania dotyczące obrazu”¹. Kolejność ma znaczenie. Tekst i obraz żyją w tym samym prompcie, model czyta cały prompt, a odpowiedź wnioskuje na podstawie obu.

Zbiór typów źródłowych jest na tyle szeroki, że rzadko trzeba cokolwiek konwertować samodzielnie. Apple wymienia sześć: załączniki z obrazami „można tworzyć z różnych typów, w tym UIImage, NSImage, CGImage, typów Core Image, pixel bufferów CoreVideo oraz URL-i plików”¹. UIImage prosto z PhotosPicker, CGImage, który już został wyrenderowany, klatka pobrana z aparatu jako CVPixelBuffer czy plik na dysku wskazany przez URL — wszystko to staje się prawidłowym wejściem. Transkrypcja wymienia typy wejściowe, lecz nie podaje dokładnych sygnatur inicjalizatorów załącznika, warto więc traktować listę typów jako kontrakt, a wypełnienie miejsca wywołania pozostawić autouzupełnianiu Xcode, gdy dostępne będzie SDK iOS 27.

Jest jedno ograniczenie, z którym nie trzeba walczyć: kształt. „Model obsługuje obrazy o dowolnym rozmiarze i proporcjach, więc nie trzeba przycinać ani dopełniać do żadnego konkretnego kształtu”¹. Wysoki paragon, szeroka panorama i kwadratowa miniatura są akceptowalne w niezmienionej postaci. Koszt jest taki, jakiego można się spodziewać po każdym modelu z budżetem tokenów: „Dozwolone są dowolne rozmiary obrazów, należy jednak pamiętać, że większe obrazy zużyją więcej tokenów i spowodują większe opóźnienie”¹. Obraz nie jest darmowym kontekstem. Czerpie z tego samego budżetu co tekst, co jest pierwszą decyzją projektową, jaką wymusza multimodalność, i powodem, dla którego rozmiar kontekstu (omówiony niżej) staje się kluczowy.

Ponieważ wejście obrazowe korzysta z istniejącego prompt buildera, cała maszyneria iOS 26 pozostaje nienaruszona. Generowanie sterowane wciąż kształtuje wyjście w typ @Generable. Protokół Tool wciąż pozwala modelowi wywoływać kod. Streaming wciąż strumieniuje. Model zyskał zmysł, a nie nowy model programowania.

Powiązanie z rozumieniem obrazu: Foundation Models i Vision nie są rywalami

Sesja 237, „Nowości w rozumieniu obrazu”, to miejsce, w którym Apple wytycza granicę między dwoma sposobami analizy obrazu, a to rozróżnienie jest najużyteczniejszą rzeczą w obu prelekcjach przy decyzji, co budować. Wstęp jest wymowny: prowadzącej ginie agenda spotkania, fotografuje więc swoje karteczki samoprzylepne i prosi „duży model językowy o wygenerowanie agendy. To dość łatwe do zrobienia za pomocą frameworka Foundation Models. Na szczęście w tym roku Foundation Models obsługuje wejścia obrazowe”². To cała argumentacja za opisową stroną multimodalności: opisywanie obrazów, sugerowanie poprawek w aranżacji wnętrza ze zdjęcia pokoju, generowanie przepisu ze zdjęcia lodówki. Werdykt prowadzącej co do tego, gdzie LLM błyszczy: „Modele zwykle dobrze radzą sobie z zadaniami opisowymi”².

Następnie pada szczere porównanie. „Framework Foundation Models wykorzystuje duże modele językowe, które potrafią zrobić niemal wszystko, o co je poprosisz. Dla porównania tradycyjne frameworki przetwarzania obrazu, jak Vision, korzystają ze stałego zestawu API wizji komputerowej. API Vision są precyzyjnie dostrojone do określonych zadań, które wykonują naprawdę dobrze. A Vision jest szybkie. Często na tyle szybkie, by analizować klatki wideo w czasie rzeczywistym”². Należy odczytać to jako regułę kierowania ruchem. Otwarte pytanie o nieruchomy obraz, z oczekiwaniem odpowiedzi w języku naturalnym? Foundation Models. Określone, dobrze zdefiniowane zadanie w tempie klatek wideo (wykrywanie twarzy, postawa, wyrazistość, segmentacja)? Vision. LLM to generalista, który myśli; API Vision to specjalista, który działa.

Pointa Apple brzmi tak, że wybierać nie trzeba: „nie zawsze trzeba wybierać między Vision a Foundation Models do analizy obrazów. Istnieje sposób, by wykorzystać ekspertyzę Vision wraz z wszechstronnością Foundation Model za pomocą wywołań narzędzi”². Wywoływanie narzędzi w iOS 27 obsługuje teraz argumenty obrazowe. Gdy model nie potrafi sam czegoś rozpoznać (prelekcja posługuje się przykładem rozpoznawania roślin), wywołuje narzędzie i „zamiast przekazywać cały obraz jako argument, przekazuje odniesienie do obrazu”². To odniesienie, ImageReference, „musi być odniesieniem do istniejącego obrazu z bieżącej sesji czatu”², które narzędzie rozwiązuje z powrotem w załącznik poprzez historię sesji, gotowy do analizy. Pętla sterująca oraz wbudowane OCRTool i BarcodeReaderTool są tematem tekstu towarzyszącego, kontrola wywoływania narzędzi w iOS 27; tutaj rzecz jest węższa: wejście obrazowe i narzędzia z argumentem obrazowym to dwie warstwy tego samego stosu multimodalnego, które się składają.

Multimodalność na Private Cloud Compute: ten sam prompt, więcej miejsca

Sesja 319 otwiera się potwierdzeniem obu połówek multimodalnej historii naraz. Model lokalny „ma teraz wsparcie dla wejścia obrazowego, lepiej podąża za instrukcjami i wywołuje niestandardowe narzędzia”³, a dla cięższych przypadków istnieje nowy model serwerowy na Private Cloud Compute. Powodem, dla którego multimodalność i PCC należą do tej samej rozmowy, jest rozmiar kontekstu. Apple podaje liczby wprost: „Model lokalny oferuje 4k, a z PCC otrzymujesz 32K”³. Obraz czerpie tokeny z tego budżetu¹, zatem prompt niosący tekst oraz kilka obrazów to dokładnie ten rodzaj ładunku, który napina 4K, a komfortowo mieści się w 32K.

Demonstracja streszczacza czyni to dopasowanie namacalnym. „Mam tutaj aplikację, która streszcza artykuł za pomocą modelu PCC. Mogę wybrać plik markdown, a my pobieramy tekst i obrazy, podajemy je do LanguageModelSession i generujemy streszczenie. Działa to świetnie przy dużym rozmiarze kontekstu, jaki oferuje PCC”³. Tekst i obrazy, jedna sesja, jeden prompt. Koszt migracji z modelu lokalnego na serwerowy to jeden wiersz: Apple pokazuje, że „zmieniając tylko 1 wiersz kodu, można przełączyć się na nowy model serwerowy na PCC”³, ponieważ „framework Foundation Models oferuje ujednolicone API Swift, niezależnie od tego, z którym modelem się rozmawia”³. Generowanie sterowane z Generable i wywoływanie narzędzi „działa z modelem PCC dokładnie tak samo jak z modelem lokalnym”³.

PCC dodaje rozumowanie, którego model lokalny nie ma, a rozumowanie niesie koszt istotny dla multimodalności: „rozumowanie to dodatkowy tekst, który model generuje. Zużywa więc tokeny. Liczy się to do limitu rozmiaru kontekstu”³. Zestawienie głębokiego rozumowania z kilkoma obrazami w pełnej rozdzielczości w jednym prompcie oznacza wydawanie budżetu 32K z obu stron. Głębsze szczegóły (trzy poziomy rozumowania, obsługa dziennego limitu przez quotaUsage i isLimitReached, uprawnienie, o które wnioskuje się na stronie dla deweloperów) należą do pogłębionej analizy Private Cloud Compute; multimodalny wniosek jest taki, że ten sam prompt zawierający obraz działa na obu modelach, a model serwerowy istnieje na wypadek, gdy prompt przerośnie możliwości urządzenia.

Wdrażanie wejścia obrazowego

Krótka lista kontrolna wynikająca z powyższych kontraktów.

Zacznij lokalnie, zmierz, a potem zdecyduj. Rada samego Apple brzmi: wybieraj model „na podstawie danych, a nie samych przeczuć”³, i ostrzega, że „można się zdziwić, jak dobrze model lokalny radzi sobie z niektórymi zadaniami, zwłaszcza z tegorocznym zaktualizowanym modelem”³. Podpis czy zapytanie typu „co to za obiekt” może nigdy nie wymagać PCC. Po model serwerowy warto sięgnąć, gdy prompt niesie wiele obrazów lub długi tekst przekraczający lokalne okno 4K³.

Wybierz najtańszy typ źródłowy dla swojego potoku. Modelowi można podać UIImage, NSImage, CGImage, typ Core Image, CVPixelBuffer lub URL pliku¹. Jeśli klatka istnieje już jako pixel buffer z aparatu albo jako plik na dysku, należy przekazać ją bezpośrednio, zamiast robić objazd przez UIImage.

Traktuj rozdzielczość obrazu jako pokrętło budżetu, a nie tarczę jakości. Dowolny rozmiar i proporcje są dozwolone¹, warto więc powstrzymać się od nadmiernego przycinania dla kształtu. Ponieważ jednak większe obrazy kosztują więcej tokenów i więcej opóźnienia¹, zdjęcie 48-megapikselowe warto pomniejszyć, zanim trafi do promptu, gdy zadanie (odczytaj ten znak, co to za pomieszczenie) nie potrzebuje każdego piksela.

Kieruj według zadania, nie odruchowo. Praca opisowa, otwarta, z wyjściem w języku naturalnym trafia do Foundation Models; stała, szybka, działająca w czasie rzeczywistym praca z zakresu wizji komputerowej trafia do Vision; gdy potrzebne są obie, wywołaj Vision z wnętrza narzędzia Foundation Models². Oba frameworki to warstwy komplementarne, a narzędzie z argumentem obrazowym jest szwem, który je łączy.

Zachowaj sprawdzanie dostępności. Wejście obrazowe korzysta z tego samego modelu, a model jest „dostępny wyłącznie na urządzeniach z Apple Intelligence”³. Należy sprawdzić API dostępności i wdzięcznie zdegradować działanie tam, gdzie Apple Intelligence nie ma³.

FAQ

Jak wysłać obraz do modelu Foundation Models w iOS 27?

Załącznik z obrazem wstawia się do promptu obok tekstu za pomocą istniejącego prompt buildera, a następnie prosi się model o odpowiedź. Apple opisuje to API jako „naturalne rozszerzenie istniejących prompt builderów”: utwórz sesję, „po prostu wstaw załącznik z obrazem do promptu, razem z tekstem”, a „model może odpowiadać na pytania dotyczące obrazu”¹. Nie wchodzi w grę żaden osobny potok Vision ani nowy typ sesji.

Jakie typy obrazów można przekazać do Foundation Models?

Załączniki z obrazami można tworzyć z UIImage, NSImage, CGImage, typów Core Image, pixel bufferów CoreVideo oraz URL-i plików¹. Transkrypcja wylicza te typy źródłowe; nie rozpisuje każdej sygnatury inicjalizatora, warto więc pozwolić SDK iOS 27 dostarczyć dokładne miejsce wywołania.

Czy trzeba zmieniać rozmiar lub przycinać obrazy przed wysłaniem?

Nie. „Model obsługuje obrazy o dowolnym rozmiarze i proporcjach, więc nie trzeba przycinać ani dopełniać do żadnego konkretnego kształtu”¹. Kompromis dotyczy kosztu, a nie dopuszczalności: „większe obrazy zużyją więcej tokenów i spowodują większe opóźnienie”¹, zatem pomniejszenie bardzo dużego zdjęcia to decyzja budżetowa, gdy zadanie nie potrzebuje pełnej rozdzielczości.

Kiedy do obrazu użyć Vision zamiast Foundation Models?

Vision warto użyć do zadań stałych, dobrze zdefiniowanych i krytycznych pod względem szybkości. Apple zauważa, że Vision „korzysta ze stałego zestawu API wizji komputerowej”, jest „precyzyjnie dostrojone do określonych zadań” i „często na tyle szybkie, by analizować klatki wideo w czasie rzeczywistym”, podczas gdy Foundation Models „potrafi zrobić niemal wszystko, o co poprosisz” i celuje w zadaniach opisowych². Gdy potrzebne są obie ścieżki, wywołaj narzędzie oparte na Vision z sesji Foundation Models za pomocą wywołań narzędzi².

Czy wejście obrazowe działa z modelem serwerowym Private Cloud Compute?

Tak. Apple potwierdza, że model lokalny „ma teraz wsparcie dla wejścia obrazowego”³, a demonstracja PCC podaje „tekst i obrazy” dokumentu do LanguageModelSession w celu streszczenia³. To samo ujednolicone API Swift działa na obu modelach, więc ten sam prompt zawierający obraz działa lokalnie lub na serwerze po zmianie jednego wiersza. Kontekst 32K w PCC (wobec 4K lokalnie) daje promptom z wieloma obrazami więcej miejsca³.

Pełny klaster Apple Ecosystem: omówienie frameworka Foundation Models; lokalny LLM; kontrola wywoływania narzędzi w iOS 27; oraz pogłębiona analiza Private Cloud Compute. Punktem centralnym jest seria Apple Ecosystem. Szerszy kontekst iOS z agentami AI znajdziesz w przewodniku po tworzeniu agentów na iOS.