Transformer les captures d’écran en actions

Prendre une capture d’écran est facile. Le plus difficile est d’ajouter sa date à votre calendrier, de retrouver son adresse ou de penser à répondre au message qu’elle contient. C’est pourquoi Kipp considère les captures d’écran non pas comme des archives passives, mais comme des tâches en attente.

Vous faites le premier choix

Kipp n’analyse pas l’intégralité de votre photothèque en arrière-plan. Vous choisissez la capture d’écran à traiter à l’aide de PhotosPicker ou de l’extension de partage. Avant de l’envoyer, l’application corrige son orientation et supprime les métadonnées ainsi que les informations EXIF. Une capture d’écran très longue peut être divisée en une vue d’ensemble complète et quelques sections qui se chevauchent afin que son contenu reste lisible.

Cette première étape est importante : c’est une sélection explicite de l’utilisateur, et non une analyse automatique de la photothèque, qui définit le contenu à traiter. Vous pouvez également consulter ce parcours sur la page Fonctionnement.

Du contexte visuel au résultat structuré

L’image sélectionnée passe par le service cloud sécurisé de Kipp pour parvenir à un fournisseur d’IA indépendant. Au lieu de produire séparément du texte par reconnaissance optique et d’envoyer ce texte au modèle, Kipp demande au modèle d’analyser directement le contexte visuel de la capture d’écran. Il ne sollicite pas une réponse conversationnelle libre. Il demande un résultat structuré comprenant un titre, un résumé, une catégorie, une intention, les champs pertinents et jusqu’à trois propositions d’actions classées.

Les dates et heures, les lieux, les URL, les adresses e-mail, les numéros de téléphone, les montants, les personnes, les produits ou les tâches peuvent faire partie de ce résultat. Le serveur vérifie la conformité du résultat à un schéma et applique des validations déterministes supplémentaires à des champs tels que la date, le fuseau horaire, l’URL, l’adresse e-mail et le numéro de téléphone. Les suggestions auxquelles il manque des informations ou dont le niveau de confiance est faible sont marquées comme devant être vérifiées, au lieu d’être autorisées à s’exécuter.

Une proposition n’est pas une action

La limite de sécurité centrale de Kipp est l’écran de vérification placé entre l’analyse et l’action. Vous consultez les champs extraits, les modifiez si nécessaire et choisissez de confirmer ou non. La création d’un événement de calendrier ou d’un rappel, la recherche dans Plans, l’ouverture d’un lien HTTPS validé, la copie ou le partage de texte et la préparation d’un brouillon d’e-mail ou d’une fiche de contact s’effectuent sur l’appareil après cette approbation. L’e-mail n’est pas envoyé automatiquement et le contact n’est pas enregistré automatiquement.

Un résultat peut être erroné. Le niveau de confiance et les preuves ne remplacent donc pas votre jugement ; ils vous montrent ce qui peut nécessiter votre attention. Aucune action externe dans Kipp ne s’exécute avant que vous ne l’ayez vérifiée et confirmée.

Le résultat rejoint votre flux de travail

Un élément analysé reste visible dans la boîte de réception avec un statut tel que Nouveau, À vérifier, Prêt, Terminé ou Échec. La recherche, les filtres et les Espaces créés par l’utilisateur permettent de retrouver plus facilement par la suite les captures d’écran ayant le même objectif. Les résultats locaux et la recherche restent disponibles hors ligne, et la capture d’écran d’origine reste dans Photos, sauf si vous la supprimez à cet endroit.

Vous pouvez découvrir les fonctionnalités de Kipp ou lire les explications sur la confidentialité concernant le parcours de l’image dans le cloud. En bref : vous choisissez, Kipp structure, vous modifiez et approuvez, puis l’action s’exécute sur votre iPhone.