Ingressbilde til appen Seeing AI

Seeing AI

frank lunde App, Syn (app)

Appen Seeing AI bruker kameraet på iPhone for å gi den som bruker appen beskrivelse av omgivelsene eller lese opp korte tekster eller trykte dokumenter. Den kan være særlig nyttig for personer med synshemming.

Hvordan virker den?

Du kan velge mellom 9 ulike kanaler som beskriver ulike ting i dine omgivelser:

  • Kort tekst
  • Dokument
  • Person
  • Valuta
  • Scene
  • Farge
  • Håndskrift (Handwriting) Denne finnes ikke i den norske utgaven av appen
  • Lys
  • Verden (World)

Kanalen World finner du bare i enheter som er utstyrt med Lidar. Dette er teknologi som ved hjelp av usynlig laser kartlegger omgivelsene rundt deg. Lidar vil sammen med kamerabildet lage et tredimensjonalt “bilde” som appen kan utnytte for å gi en beskrivelse av hva som er rundt deg. Lidar finnes i dag i Pro og Pro Max utgavene av iPhone 12, 13 og 14 og i iPad Pro 2020 versjonen.

Seeing AI er nå tilgjengelig med norsk brukergrensesnitt, og appen har støtte for norsk tale for opplesingen av tekst og beskrivelser. Seeing AI har støtte for mange andre språk. Appen bruker standardinnstillingene for språk på nettbrettet eller telefonen. Denne kan du endre i innstillinger/ generelt/ språk og område. Du kan også velge et annet språk for opplesing for korte tekster ved å trykke på symbolet for valg av språk like ved nederste høyre hjørne i kamerabildet. Dersom norsk bokmål er valgt, vil det vise NB.

Microsoft Corp. har i noen år satset på forsking innen det man kaller Artificial Intelligence (AI) eller kunstig intelligens. Denne appen er et resultat av denne forskningen, og deler av det som finnes av løsninger i appen regnes fortsatt å være på eksperimentstadiet. Likevel kan den være nyttig, selv om noe av det som kommer ut som resultat ikke alltid stemmer helt.

Når du starter appen første gang, må du gi appen tillatelse til å bruke kameraet. Velg den kanalen du vil bruke og rett kameraet mot det du ønsker å få informasjon om. Du velger kanal i menyen nederst på skjermen. Dersom du bruker VoiceOver, markerer du menyen og stryker opp eller ned for å vandre mellom kanalvalgene, og dobbeltrykker for å åpne kanalen.

Innstillinger

Hovedmenyen til Seeing AI finner du øverst til venstre i startbildet til hver kanal. Her finner du disse valgene:

  • Bla gjennom bilder: Gå til bildene du har lagret på telefonen din, for å velge et eller flere av dem og få dem beskrevet i Seeing AI.
  • Hjelp: Veiledning i bruk av appen, og videodemoer.
  • Tilbakemelding: Send en e-post med tilbakemelding til utviklerne av appen.
  • Innstillinger: Her finner du disse innstillingsvalgene:
    • Valuta: Velg aktuell valuta. Du kan velge mellom 8 ulike valutaer, og norsk er ikke en av dem.
    • Konfigurer Siri snarveier: Velg Siri snarveier som kan starte funksjoner i appen.
    • Konfigurer snarveier for haptisk berøring: Velg kanaler som kan åpnes ved å holde fingeren på ikonet til appen på Hjem skjermen.
    • Omorganiser kanaler: Endre rekkefølgen på kanalene i appen. Her kan du også deaktivere kanalene du ikke bruker
    • Administrer belysning av/på: Hvis valget står på vil appen slå på kameralyset på telefonen når det er nødvendig å bruke det.
    • Tale:
      Velg stemme: Velg stemmene du skal bruke i appen. Dette påvirker ikke VoiceOver stemmen.
      Talehastighet.
    • Vis nyeste bilder først av/på: Vis den nye bildet først når du leter blant bildene dine på telefonen.

Slik virker den enkelte kanal

  • Kort tekst: Kort tekst leter etter tekster i kameravinduet, og vil starte opplesingen straks den finner noe som kan leses opp. Nede til høyre i kamerabildet finner du en knapp du kan trykke for å velge språk for opplesing.
  • Dokument: I denne kanalen søker kameraet etter objekter som ser ut som tekst skrevet på papirark. Du blir veiledet av appen slik at du får hele arket innenfor kameravinduet, og straks det skjer vil du bli bedt om å holde kameraet rolig, og dokumentet blir skannet inn. Denne prosessen går ganske raskt, og du blir sendt videre til et vindu som viser teksten som ble funnet i dokumentet. Denne kan du få lest opp ved å trykke på avspillingsknappen. Her finner du også en deleknapp for å kunne sende teksten til andre apper, skrive den ut, kopiere den, eller sende den til noen andre. Du kan også velge bokstavstørrelse i visningsvinduet. Øverst til venstre finner du en tilbakeknapp. Nede til høyre i kamerabildet finner du en knapp du kan trykke for å velge språk for opplesing.
  • Produkt: Her vil kameraet lete etter strekkoder. Dersom den finner en strekkode, vil du høre et lydsignal og en melding om at koden leses. Hvis produktet blir funnet, vil du få informasjon om hva produktet heter, produktnummer med mer. Noen produkter har også en mer detaljert beskrivelse, og denne kan du få tilgang til ved å trykke på knappen nederst til høyre. Her er det også mulig å få teksten lest opp eller dele teksten. Da vi prøvde appen fant den informasjon om norske dagligvarer, men noen ganger ble informasjonen lest opp på et annet språk enn norsk.
  • Person: I denne kanalen leter kameraet etter ansikter. Når den finner et ansikt vil appen fortelle deg det, og du kan trykke på kamerabildet for å få vite mer om personen; avstand til personen, kjønn, følelsesuttrykk og omtrentlig alder. Du kan lagre bildet i bildedatabasen din hvis du vil. I innstillingene kan du legge inn ansikter og knytte dem til navn.
  • Valuta: Denne delen av appen gjenkjenner pengesedler fra 8 ulike valutaer. Norske kroner er ikke en av dem.
  • Scene: Dette er en kanal som foreløpig er på eksperimentstadiet. Pek kameraet mot det du vil vite noe om og ta et bilde ved å trykke midt på skjermen. Du vil så få høre hvordan bildet har blitt tolket av appen. Her kan du også velge å lagre bildet.
  • Farge: Dette er en kanal som foreløpig er på eksperimentstadiet. I denne kanalen vil det dukke opp et lite kvadrat midt i kameravinduet. Appen vil så fortelle deg hvilken farge som er den dominerende innenfor dette kvadratet. Dersom det er to farger som deler kvadratet, vil du få høre navnet på to farger.
  • Håndskrift: Dette er en kanal som foreløpig er på eksperimentstadiet. Kameraet ser etter håndskrevet tekst, og vil forsøke å tolke denne når den har blitt funnet. Håndskrift er ikke tilgjengelig på norsk i oktober 2022.
  • Lys: Du vil høre en tone som endres mens beveger kameraet. Appen vil reagere på lyskilder og det høyeste toneleiet representerer den sterkeste lyskilden.
  • Verden: Som nevnt over vil du kun finne denne kanalen på enheter som er utstyrt med lidar. Denne kanalen kan hjelpe deg å gjøre deg kjent på steder du ikke har vært før. Bruk stereo hodetelefoner for å få best nytte av denne muligheten. Kanalen vil gi beskjed når den har gjenkjent objekter i kamerabildet, og den vil lagre posisjonene. Hvis du vil bli ledet til et bestemt objekt, kan du finne det i listen over gjenkjente objekter og bli ledet til det ved hjelp av lydsignaler. Skann rommet ved at du sakte flytter på telefonen med skjermen mot deg. Pass på at ansiktet ditt peker i samme retning som telefonen. I hodetelefonene kan du høre hvilke objekter som er funnet, og stereolyden hjelper deg til å høre hvor de befinner seg i forhold til deg. Det virker som navnet på objektet kommer fra det stedet hvor det befinner seg.  Etter at du har skannet rommet kan du trykke knappen “Spatial Summery” som vil navngi alle objekter som er gjenkjent rundt deg. Hvis du har hodetelefonene på deg, vil du kunne høre hvor de er i forhold til din posisjon. Denne kanalen er i eksperimentfasen, og det anbefales at man bruker den med forsiktighet.

Tilgjengelighet

  • Skjermleser

Kompatibilitet

Kompatibel for iPhone og iPad

Leverandør

Microsoft Corporation

Last ned

App Store – Seeing AI

Appen er gratis.

Eksempler på bruk av appen

Under finner du en video fra Angela, som er synshemmet og grafisk designer. Hun forteller om hvordan hun bruker appen. Du kan se videoen tekstet ved å trykke på “Teksting”- symbolet som er under videovinduet til venstre for tannhjulet. Du kan også velge automatisk teksting på norsk i den samme menyen. På denne videoen fungerer dette ganske bra.

Utvikleren  har laget denne videoen med en bruker av appen: