Entrada de imagem no Foundation Models no iOS 27

O iOS 26 deu a um app um grande modelo de linguagem on-device que lia texto e escrevia texto. O iOS 27 entrega a esse mesmo modelo um par de olhos. Na WWDC26, a Apple confirmou que o modelo de linguagem on-device do sistema “também está ganhando capacidades de Vision, o que destrava categorias inteiramente novas de aplicativos”,¹ e a forma de chegar a essas capacidades é quase um anticlímax: você coloca uma imagem no prompt ao lado das palavras, como anexo, e faz a sua pergunta. Sem pipeline de visão separado, sem troca de modelo, sem novo tipo de sessão. O prompt que antes carregava uma string agora carrega também uma imagem, e o modelo responde sobre as duas coisas.

Por que a pequena superfície é o destaque: a entrada de imagem não é uma API lateral parafusada no Foundation Models. A Apple a descreve como “uma extensão natural dos prompt builders existentes”,¹ o que significa que todo conceito que você já aprendeu no iOS 26 (sessões, guided generation, o protocolo Tool) continua funcionando sem mudança no instante em que um prompt se torna multimodal.⁴ Se você ainda não conheceu o LanguageModelSession, comece pelo explicador do framework Foundation Models e volte depois.

Resumo

• O modelo on-device do iOS 27 aceita entrada de imagem. Você insere um anexo de imagem no seu prompt junto com o texto, e o modelo responde perguntas sobre a imagem¹².
• Anexos de imagem podem ser criados a partir de uma variedade de tipos: UIImage, NSImage, CGImage, tipos do Core Image, pixel buffers do CoreVideo e URLs de arquivo¹.
• O modelo suporta imagens de qualquer tamanho e proporção, então você não precisa recortar nem preencher para alguma forma específica, mas imagens maiores consomem mais tokens e incorrem em mais latência¹.
• O Foundation Models dá ao LLM ampla versatilidade sobre uma imagem; o framework Vision oferece análise fixa, rápida e ajustada com precisão. A orientação da Apple é combiná-los por meio de tool calling em vez de escolher entre um ou outro².
• O modelo de servidor no Private Cloud Compute também suporta entrada de imagem, com uma janela de contexto de 32K (contra 4K on-device), de modo que prompts multimodais que carregam texto mais várias imagens têm espaço para respirar³.

O que mudou: o prompt ganhou uma imagem

Na sessão 241, o enquadramento da Apple é preciso. O modelo on-device “é mais inteligente; melhor em lógica e em tool calling”, e, sobre essa inteligência, agora ganha Vision.¹ A demonstração pergunta ao modelo sobre uma foto de origami: “Basta inserir um anexo de imagem no seu prompt, junto com texto. Agora, o modelo pode responder perguntas sobre a imagem.”¹ A ordem importa. Texto e imagem vivem no mesmo prompt, o modelo lê o prompt inteiro, e a resposta raciocina sobre os dois.

O conjunto de tipos de origem é amplo o suficiente para que você raramente precise converter algo por conta própria. A Apple lista seis: anexos de imagem “podem ser criados a partir de uma variedade de tipos, incluindo UIImage, NSImage, CGImage, tipos do Core Image, pixel buffers do CoreVideo e URLs de arquivo”.¹ Um UIImage direto do PhotosPicker, um CGImage que você já renderizou, um frame que você puxou da câmera como CVPixelBuffer ou um arquivo no disco por URL — todos se tornam entrada válida. A transcrição nomeia os tipos de entrada, mas não as assinaturas exatas dos inicializadores de anexo, então trate a lista de tipos como o contrato e deixe o autocomplete do Xcode preencher o ponto de chamada assim que você estiver no SDK do iOS 27.

Há uma restrição contra a qual você não precisa lutar: a forma. “O modelo suporta imagens de qualquer tamanho e proporção, então você não precisa recortar nem preencher para nenhuma forma específica.”¹ Um recibo alto, um panorama largo e uma miniatura quadrada são todos aceitáveis como estão. O custo é exatamente o que você esperaria de qualquer modelo limitado por orçamento de tokens: “Tamanhos arbitrários de imagem são permitidos, mas tenha em mente que imagens maiores consumirão mais tokens e incorrerão em mais latência.”¹ Uma imagem não é contexto gratuito. Ela gasta do mesmo orçamento que o seu texto, e essa é a primeira decisão de design que o multimodal impõe a você, e a razão pela qual o tamanho do contexto (abordado abaixo) passa a ser determinante.

Como a entrada de imagem viaja sobre o prompt builder existente, toda a maquinaria do iOS 26 sobrevive intacta. A guided generation ainda molda a saída em um tipo @Generable. O protocolo Tool ainda permite que o modelo chame o seu código. O streaming ainda faz streaming. O modelo ganhou um sentido, não um novo modelo de programação.

A conexão com a compreensão de imagens: Foundation Models e Vision não são rivais

A sessão 237, “Novidades na compreensão de imagens”, é onde a Apple traça a linha entre as duas formas de analisar uma imagem, e essa distinção é a coisa mais útil de qualquer uma das palestras para decidir o que construir. A abertura já entrega: a pauta da apresentadora some, ela fotografa seus post-its e pede “a um grande modelo de linguagem para gerar uma pauta. Isso é bem fácil de fazer com o framework Foundation Models. Felizmente, este ano o Foundation Models está suportando entradas de imagem.”² Esse é todo o discurso de venda para o lado descritivo do multimodal: legendar imagens, sugerir ajustes de decoração de interiores a partir da foto de um cômodo, gerar uma receita a partir da foto de uma geladeira. O veredito da apresentadora sobre onde o LLM brilha: “Os modelos tendem a se sair bem em tarefas descritivas.”²

Então vem a comparação honesta. “O framework Foundation Models se apoia em grandes modelos de linguagem, que podem fazer quase qualquer coisa que você pedir. Em comparação, frameworks tradicionais de processamento de imagem, como o Vision, usam um conjunto fixo de APIs de visão computacional. As APIs do Vision são ajustadas com precisão para tarefas específicas, que elas fazem muito bem. E o Vision é rápido. Muitas vezes rápido o suficiente para analisar frames de vídeo em tempo real.”² Leia isso como uma regra de roteamento. Pergunta aberta sobre uma imagem estática, em que você quer linguagem de volta? Foundation Models. Tarefa específica e bem definida na cadência de frames de vídeo (detecção de rostos, pose, saliência, segmentação)? Vision. O LLM é um generalista que pensa; a API do Vision é uma especialista que executa.

O arremate da Apple é que você não precisa escolher: “você nem sempre precisa escolher entre o Vision e o Foundation Models para analisar suas imagens. Existe uma forma de aproveitar a expertise do Vision com a versatilidade do Foundation Models usando tool calling.”² O tool calling do iOS 27 agora suporta argumentos de imagem. Quando um modelo não consegue identificar algo sozinho (a palestra usa identificação de plantas), ele chama uma ferramenta, e “em vez de passar a imagem inteira como argumento, o modelo passaria, em vez disso, uma referência à imagem”.² Essa referência, uma ImageReference, “precisa ser uma referência a uma imagem existente da sessão de chat atual”,² que a ferramenta resolve de volta em um anexo por meio do histórico da sessão, pronta para análise. O loop de controle e as ferramentas integradas OCRTool e BarcodeReaderTool são o tema do artigo complementar, controle de tool calling no iOS 27; aqui o ponto é mais restrito: entrada de imagem e ferramentas com argumento de imagem são duas camadas da mesma stack multimodal, e elas se compõem.

Multimodal no Private Cloud Compute: mesmo prompt, mais espaço

A sessão 319 abre confirmando as duas metades da história multimodal de uma só vez. O modelo on-device “agora tem suporte para entrada de imagem, é melhor em seguir instruções e em chamar suas ferramentas personalizadas”,³ e, para os casos mais pesados, há um novo modelo de servidor no Private Cloud Compute. A razão pela qual o multimodal e o PCC pertencem à mesma conversa é o tamanho do contexto. A Apple expõe os números sem rodeios: “O modelo on-device oferece 4k, e com o PCC você obtém 32K.”³ Uma imagem gasta tokens desse orçamento¹, então um prompt que carrega texto mais várias imagens é exatamente o tipo de carga que aperta os 4K e cabe confortavelmente nos 32K.

A demonstração do resumidor torna o encaixe concreto. “Aqui tenho um app que resume um artigo usando o modelo do PCC. Posso selecionar um arquivo markdown, pegamos o texto e as imagens, alimentamos isso em um LanguageModelSession e geramos um resumo. Isso funciona muito bem com o grande tamanho de contexto que o PCC oferece.”³ Texto e imagens, uma sessão, um prompt. O custo de migração do on-device para o servidor é uma linha: a Apple mostra que “mudando apenas 1 linha de código, você pode trocar para o novo modelo de servidor no PCC”,³ porque “o framework Foundation Models oferece uma API Swift unificada, independentemente de qual modelo você esteja conversando”.³ A guided generation com Generable e o tool calling “funcionam exatamente igual com o modelo do PCC e com o modelo on-device”.³

O PCC acrescenta reasoning, que o on-device não tem, e o reasoning traz um custo relevante para o multimodal: “o reasoning é texto extra que o modelo gera. Então ele usa tokens. Isso conta para o seu limite de tamanho de contexto.”³ Combine reasoning profundo com várias imagens em resolução máxima em um único prompt e você estará gastando o orçamento de 32K pelas duas pontas. Os detalhes mais profundos (os três níveis de reasoning, o tratamento de limite diário com quotaUsage e isLimitReached, a permissão que você solicita no site de desenvolvedor) pertencem ao mergulho profundo no Private Cloud Compute; a lição multimodal é que o mesmo prompt que carrega imagens roda nos dois modelos, e o modelo de servidor existe para quando o prompt cresce além do dispositivo.

Adotando a entrada de imagem

Uma checklist curta que decorre dos contratos acima.

Comece on-device, meça, e então decida. O próprio conselho da Apple é escolher o modelo “com base em dados, não apenas em intuição”,³ e alerta que “você pode se surpreender com o quão bem o modelo on-device se sai em certas tarefas, especialmente com o modelo atualizado deste ano”.³ Uma legenda ou uma consulta do tipo “que objeto é este” talvez nunca precise do PCC. Recorra ao modelo de servidor quando o prompt carregar várias imagens ou texto longo que estoure a janela de 4K on-device³.

Escolha o tipo de origem mais barato para o seu pipeline. Você pode entregar ao modelo um UIImage, NSImage, CGImage, tipo do Core Image, CVPixelBuffer ou URL de arquivo¹. Se um frame já existe como pixel buffer vindo da câmera ou como arquivo no disco, passe-o diretamente em vez de fazer um ida e volta por UIImage.

Trate a resolução da imagem como um botão de orçamento, não como um mostrador de qualidade. Qualquer tamanho e proporção é permitido¹, então resista a recortar demais por causa da forma. Mas como imagens maiores custam mais tokens e mais latência¹, reduza a escala de uma foto de 48 megapixels antes que ela entre em um prompt quando a tarefa (leia esta placa, que cômodo é este) não precisar de cada pixel.

Roteie por tarefa, não por reflexo. Trabalho descritivo, aberto e com saída em linguagem vai para o Foundation Models; trabalho de visão computacional fixo, rápido e em tempo real vai para o Vision; quando você precisar dos dois, chame o Vision de dentro de uma ferramenta do Foundation Models². Os dois frameworks são camadas complementares, e a ferramenta com argumento de imagem é a costura que os une.

Mantenha a verificação de disponibilidade. A entrada de imagem viaja sobre o mesmo modelo, e o modelo está “disponível apenas em dispositivos com Apple Intelligence”.³ Verifique a API de disponibilidade e degrade com elegância onde o Apple Intelligence estiver ausente³.

Perguntas frequentes

Como envio uma imagem para o modelo do Foundation Models no iOS 27?

Você insere um anexo de imagem no seu prompt junto com o texto, usando o prompt builder existente, e então pede ao modelo para responder. A Apple descreve a API como “uma extensão natural dos prompt builders existentes”: crie uma sessão, “basta inserir um anexo de imagem no seu prompt, junto com texto”, e “o modelo pode responder perguntas sobre a imagem”.¹ Nenhum pipeline de visão separado e nenhum novo tipo de sessão estão envolvidos.

Que tipos de imagem posso passar para o Foundation Models?

Anexos de imagem podem ser criados a partir de UIImage, NSImage, CGImage, tipos do Core Image, pixel buffers do CoreVideo e URLs de arquivo¹. A transcrição enumera esses tipos de origem; ela não detalha cada assinatura de inicializador, então deixe o SDK do iOS 27 fornecer o ponto de chamada exato.

Preciso redimensionar ou recortar imagens antes de enviá-las?

Não. “O modelo suporta imagens de qualquer tamanho e proporção, então você não precisa recortar nem preencher para nenhuma forma específica.”¹ O trade-off é custo, não legalidade: “imagens maiores consumirão mais tokens e incorrerão em mais latência”,¹ então reduzir a escala de uma foto muito grande é uma decisão de orçamento quando a tarefa não precisa de resolução total.

Quando devo usar o Vision em vez do Foundation Models para uma imagem?

Use o Vision para tarefas fixas, bem definidas e críticas quanto à velocidade. A Apple observa que o Vision “usa um conjunto fixo de APIs de visão computacional”, é “ajustado com precisão para tarefas específicas” e é “muitas vezes rápido o suficiente para analisar frames de vídeo em tempo real”, enquanto o Foundation Models “pode fazer quase qualquer coisa que você pedir” e se destaca em tarefas descritivas². Quando você quiser os dois, chame uma ferramenta apoiada no Vision a partir de uma sessão do Foundation Models por meio de tool calling².

A entrada de imagem funciona com o modelo de servidor do Private Cloud Compute?

Sim. A Apple confirma que o modelo on-device “agora tem suporte para entrada de imagem”,³ e a demonstração do PCC alimenta “o texto e as imagens” de um documento em um LanguageModelSession para resumo³. A mesma API Swift unificada roda nos dois modelos, então o mesmo prompt que carrega imagem funciona on-device ou no servidor com uma mudança de uma linha. O contexto de 32K do PCC (contra 4K on-device) dá mais espaço a prompts com várias imagens³.

O cluster completo do Apple Ecosystem: o explicador do framework Foundation Models; o LLM on-device; o controle de tool calling no iOS 27; e o mergulho profundo no Private Cloud Compute. O hub é a Série Apple Ecosystem. Para um contexto mais amplo de iOS com agentes de IA, veja o guia de Desenvolvimento de Agentes iOS.