Transformar capturas de ecrã em ações

Fazer uma captura de ecrã é fácil. A parte mais difícil é adicionar a respetiva data ao calendário, voltar a encontrar a morada ou lembrar-se de responder à mensagem que contém. É por isso que o Kipp não trata as capturas de ecrã como um arquivo passivo, mas sim como trabalho por concluir.

É você que faz a primeira escolha

O Kipp não percorre toda a sua biblioteca de fotografias em segundo plano. É você que escolhe a captura de ecrã a processar através do seletor de fotografias ou da Extensão de Partilha. Antes de a enviar, a aplicação corrige a orientação e remove os metadados e as informações EXIF. Uma captura de ecrã muito longa pode ser dividida numa vista geral completa e em algumas secções sobrepostas, para manter o conteúdo legível.

Este primeiro passo é importante: uma seleção explícita do utilizador, e não uma análise automática da biblioteca, define o conteúdo a processar. Também pode ver a sequência na página Como funciona.

Do contexto visual a um resultado estruturado

A imagem selecionada passa pelo serviço seguro do Kipp na nuvem até chegar a um fornecedor de IA independente. Em vez de produzir texto OCR em separado e enviar esse texto para o modelo, o Kipp pede ao modelo que analise diretamente o contexto visual da captura de ecrã. Não pede uma resposta de conversa em formato livre. Pede um resultado estruturado com um título, resumo, categoria, intenção, campos relevantes e até três propostas de ação ordenadas.

Datas e horas, locais, URL, endereços de e-mail, números de telefone, valores, pessoas, produtos ou tarefas podem fazer parte desse resultado. O serviço de retaguarda verifica o resultado com base num esquema e aplica uma validação determinística adicional a campos como a data, a hora, o fuso horário, o URL, o e-mail e o telefone. As sugestões com informações em falta ou um grau de confiança baixo são assinaladas para revisão, em vez de poderem ser executadas.

Uma proposta não é uma ação

O limite de segurança central do Kipp é o ecrã de revisão entre a análise e a ação. Pode ver os campos extraídos, editá-los quando necessário e decidir se pretende confirmar. Criar um evento no calendário ou um lembrete, pesquisar nos Mapas, abrir uma ligação HTTPS validada, copiar ou partilhar texto e preparar um rascunho de e-mail ou um formulário de contacto são ações realizadas no dispositivo após essa aprovação. O e-mail não é enviado automaticamente e o contacto não é guardado automaticamente.

Um resultado pode estar errado. Por isso, o grau de confiança e os elementos comprovativos não substituem o seu discernimento; mostram-lhe o que pode precisar de atenção. Nenhuma ação externa no Kipp é executada até que a reveja e confirme.

O resultado regressa ao seu fluxo de trabalho

Um item analisado permanece visível na Caixa de entrada com um estado como Novo, Requer revisão, Pronto, Concluído ou Falhou. A pesquisa, os filtros e os Espaços criados pelo utilizador tornam mais fácil voltar a encontrar as capturas de ecrã com a mesma finalidade. Os resultados locais e a pesquisa continuam disponíveis sem ligação à Internet, e a captura de ecrã original permanece nas Fotografias, a menos que a elimine nesse local.

Pode explorar as funcionalidades do Kipp ou ler a explicação sobre privacidade relativa ao percurso da imagem na nuvem. Em resumo: escolhe, o Kipp estrutura, edita e aprova, e a ação acontece no seu iPhone.