Apple et l'IA : toujours un mystère…

Depuis le début de l'année 2023, c'est les intelligences artificielles qui prennent le pas sur les rebondissements dans le milieu de la tech. De plus en plus sont apparues, et si certaines entreprises plus ou moins indépendantes comme OpenAI ont développé leur propre outil, c'est surtout les grosses sociétés déjà implantées qui ont grimpé dans le wagon de l'IA. On pense bien sûr à Microsoft, Google ou encore Snapchat et Twitter, et Apple, l'entreprise que l'on attendait pas vraiment sur ce domaine, n'a pas bronché.

En effet, Apple n'est clairement pas du genre à suivre les tendances juste pour les suivre. On peut le voir avec les smartphones pliants : là où Samsung en est déjà à sa cinquième édition, Apple fait le dos rond et se concentre sur ses acquis. La marque de Tim Cook se méfie de l'intelligence artificielle, mais surtout de l'utilisation du terme dans sa communication. Si vous observez un peu le site de l'entreprise, le terme "IA" n'est jamais mentionné, et remplacé par d'habiles synonymes.

Pourtant, cela ne veut pas dire qu'Apple n'est pas intéressé par l'intelligence artificielle. Elle est déjà utilisée dans presque tous les produits de la marque. Dès qu'Apple entre dans un nouveau marché, cela fait beaucoup de bruit, et c'est compréhensible d'avoir envie de voir ce dont l'entreprise est capable dans la conception de tel ou tel produit. Ainsi, après avoir vu écumer toutes ces nouvelles IA et modèles de langage, on a envie de voir comment Apple pourrait aborder les choses. Voici enfin le premier indice majeur de ce qui proposerait le futur modèle de langage d'Apple.

…jusqu'à maintenant

Je ne comprends pas pourquoi on ne parle pas plus de cette nouvelle, peut-être parce qu'elle a été partagée par un humble employé d'Apple sur son compte Twitter. Zhe Gan travaille pour la firme de Cupertino en tant que chercheur, spécialisé dans l'intelligence artificielle. Anciennement chez Microsoft, il s'occupe aujourd'hui de «travailler à la construction de modèles de vision à grande échelle et de fondations multimodales». Concrètement, il bosse sur l'IA.

En octobre, il a publié un tweet où il semble nous présenter un nouveau modèle de langage qui dépasse tout ce qui est disponible actuellement sur les smartphones.

Voici Ferret, un nouveau MLLM qui peut référencer et mettre à raison n'importe quoi, n'importe où et à n'importe quelle granularité. Ferret permet de référencer une région d'image de n'importe quelle forme. Il montre souvent une meilleure compréhension précise des petites régions de l'image que le GPT-4V (sec 5.6).

Les capacités de compréhension de Ferret sont bluffantes, mais le plus fou, c'est de voir cela sortir sur un petit compte X d'un chercheur de chez Apple. Ce genre d'outil pourrait être directement intégré à l'iPhone dans le futur, et proposer une expérience à des années lumières de ce dont est capable actuellement Siri. La détection d'image est folle, et semble pouvoir les analyser avec une précision extrême. Sur l'image, on peut voir une conversation avec Ferret, qui peut précisément décrire ce qu'il se passe, et même proposer une recette avec le plat et les ingrédients visible sur une photo de recette. On peut imaginer des tas d'utilisations possibles, et avec la puissance requise pour ce genre de tâche, cela pourrait prendre plusieurs années à Apple pour l'intégrer en local à ces produits.