Trasformare gli screenshot in azioni

Acquisire uno screenshot è facile. La parte più difficile è aggiungere la data al calendario, ritrovare l'indirizzo o ricordarsi di rispondere al messaggio che contiene. Per questo Kipp considera gli screenshot non come un archivio passivo, ma come attività ancora da completare.

Sei tu a fare la prima scelta

Kipp non analizza l'intera libreria foto in background. Sei tu a scegliere lo screenshot da elaborare tramite PhotosPicker o la Share Extension. Prima di inviarlo, l'app ne corregge l'orientamento e rimuove i metadati e le informazioni EXIF. Uno screenshot molto lungo può essere suddiviso in una panoramica completa e alcune sezioni sovrapposte, così da mantenerne leggibile il contenuto.

Questo primo passaggio è importante: è la selezione esplicita dell'utente, non una scansione automatica della libreria, a definire il contenuto da elaborare. Puoi vedere la sequenza anche nella pagina Come funziona.

Dal contesto visivo a un risultato strutturato

L'immagine selezionata passa attraverso il servizio cloud sicuro di Kipp e raggiunge un fornitore indipendente di IA. Anziché produrre separatamente un testo tramite OCR e inviarlo al modello, Kipp chiede al modello di analizzare direttamente il contesto visivo dello screenshot. Non richiede una risposta di chat in formato libero, ma un risultato strutturato contenente un titolo, un riepilogo, una categoria, un intento, i campi pertinenti e fino a tre proposte di azione ordinate per rilevanza.

Date e orari, luoghi, URL, indirizzi email, numeri di telefono, importi, persone, prodotti o attività possono far parte del risultato. Il backend verifica il risultato rispetto a uno schema e applica ulteriori controlli deterministici a campi quali data, fuso orario, URL, email e numero di telefono. I suggerimenti con informazioni mancanti o un basso livello di affidabilità vengono contrassegnati per la revisione anziché essere autorizzati a essere eseguiti.

Una proposta non è un'azione

Il principale limite di sicurezza di Kipp è la schermata di revisione che separa l'analisi dall'azione. Puoi vedere i campi estratti, modificarli quando necessario e scegliere se confermare. La creazione di un evento in Calendar o di un promemoria, la ricerca in Maps, l'apertura di un link HTTPS convalidato, la copia o la condivisione di testo e la preparazione di una bozza email o di un modulo di contatto avvengono tutte sul dispositivo dopo l'approvazione. L'email non viene inviata automaticamente e il contatto non viene salvato automaticamente.

Un risultato può essere errato. Il livello di affidabilità e le evidenze non sostituiscono quindi il tuo giudizio, ma indicano gli aspetti che potrebbero richiedere attenzione. Nessuna azione esterna in Kipp viene eseguita finché non la esamini e confermi.

Il risultato torna nel tuo flusso di lavoro

Un elemento analizzato resta visibile in Inbox con uno stato come Nuovo, Da esaminare, Pronto, Completato o Non riuscito. La ricerca, i filtri e gli Spaces creati dall'utente rendono più semplice ritrovare in seguito gli screenshot con lo stesso scopo. I risultati locali e la ricerca restano disponibili offline, mentre lo screenshot originale rimane in Photos finché non lo elimini da lì.

Puoi esplorare le funzionalità di Kipp o leggere la spiegazione sulla privacy relativa al percorso dell'immagine nel cloud. In breve: tu scegli, Kipp organizza, tu modifichi e approvi, e l'azione avviene sul tuo iPhone.