Zamienianie zrzutów ekranu w działania

Wykonanie zrzutu ekranu jest łatwe. Trudniej dodać widoczną na nim datę do kalendarza, ponownie znaleźć adres lub pamiętać o odpowiedzi na zawartą w nim wiadomość. Dlatego Kipp traktuje zrzuty ekranu nie jak pasywne archiwum, lecz jak niedokończone zadania.

To Ty dokonujesz pierwszego wyboru

Kipp nie skanuje w tle całej Twojej biblioteki zdjęć. Wybierasz zrzut ekranu do przetworzenia za pomocą PhotosPicker lub rozszerzenia udostępniania. Przed wysłaniem aplikacja koryguje jego orientację i usuwa metadane oraz informacje EXIF. Bardzo długi zrzut ekranu może zostać podzielony na pełny podgląd i kilka części zachodzących na siebie, aby jego treść pozostała czytelna.

Ten pierwszy krok ma znaczenie: treści do przetworzenia określa wyraźny wybór użytkownika, a nie automatyczne skanowanie biblioteki. Kolejność kroków możesz również zobaczyć na stronie Jak to działa.

Od kontekstu wizualnego do uporządkowanego wyniku

Wybrany obraz przechodzi przez bezpieczną usługę chmurową Kipp do niezależnego dostawcy sztucznej inteligencji. Zamiast osobno wyodrębniać tekst za pomocą OCR i wysyłać go do modelu, Kipp prosi model o bezpośrednią analizę kontekstu wizualnego zrzutu ekranu. Nie prosi o swobodną odpowiedź w formie rozmowy. Żąda uporządkowanego wyniku zawierającego tytuł, podsumowanie, kategorię, zamiar, odpowiednie pola i maksymalnie trzy uszeregowane propozycje działań.

Wynik może obejmować daty i godziny, lokalizacje, adresy URL i e-mail, numery telefonów, kwoty, osoby, produkty lub zadania. Zaplecze sprawdza zgodność wyniku ze schematem i przeprowadza dodatkową deterministyczną weryfikację pól, takich jak data, strefa czasowa, adres URL, e-mail i numer telefonu. Sugestie zawierające brakujące informacje lub mające niski poziom pewności są oznaczane jako wymagające weryfikacji, a nie dopuszczane do wykonania.

Propozycja nie jest działaniem

Najważniejszą granicą bezpieczeństwa w Kipp jest ekran weryfikacji pomiędzy analizą a działaniem. Widzisz wyodrębnione pola, w razie potrzeby je edytujesz i decydujesz, czy je zatwierdzić. Utworzenie wydarzenia w kalendarzu lub przypomnienia, wyszukiwanie w Mapach, otwarcie zweryfikowanego łącza HTTPS, kopiowanie lub udostępnianie tekstu oraz przygotowanie wersji roboczej wiadomości e-mail lub formularza kontaktowego odbywają się na urządzeniu po tym zatwierdzeniu. Wiadomość e-mail nie jest wysyłana automatycznie, a kontakt nie jest automatycznie zapisywany.

Wynik może być błędny. Poziom pewności i dowody nie zastępują więc Twojej oceny; wskazują, co może wymagać uwagi. Żadne zewnętrzne działanie w Kipp nie zostanie wykonane, dopóki go nie sprawdzisz i nie zatwierdzisz.

Wynik wraca do Twojego procesu pracy

Przeanalizowany element pozostaje widoczny w Skrzynce ze stanem takim jak Nowe, Wymaga weryfikacji, Gotowe, Zakończone lub Nieudane. Wyszukiwanie, filtry i tworzone przez użytkownika Przestrzenie ułatwiają późniejsze znajdowanie zrzutów ekranu służących temu samemu celowi. Lokalne wyniki i wyszukiwanie pozostają dostępne offline, a oryginalny zrzut ekranu pozostaje w Zdjęciach, dopóki go stamtąd nie usuniesz.

Możesz poznać funkcje Kipp lub przeczytać wyjaśnienie dotyczące prywatności, aby dowiedzieć się, jak obraz jest przetwarzany w chmurze. W skrócie: Ty wybierasz, Kipp porządkuje, Ty edytujesz i zatwierdzasz, a działanie jest wykonywane na Twoim iPhonie.