iPhone: So verwenden Sie die iOS-Texterkennungsfunktionen

Vision in iOS 11 bietet alles, was Sie brauchen, um eine App zu erstellen, die Textzeichen bei gleichzeitiger Implementierung erkennt. Sie benötigen keine technischen Programmierkenntnisse – die Navigation durch die Funktion ist recht einfach. Darüber hinaus ist die Implementierung nahtlos.

Vision-Framework

Mit dem Vision Framework können Sie jede Aufgabe, bei der es um Computerdetails geht, einfach implementieren. Die Struktur führt die Erkennung von Gesichtern und Gesichtern, Barcode-Erkennung, Bildregistrierung, allgemeine Merkmalsverfolgung und Texterkennung durch. Mit Vision können Sie auch benutzerdefinierte Core ML-Modelle für Aufgaben wie Klassifizierung oder Objekterkennung verwenden.

VN DetectTextRectanglesRequest

Die  VN DetectTextRectanglesRequest  ist eine Bildanalyseanforderung, die Bereiche mit sichtbarem Text in einem Bild findet; die Funktion gibt Textzeichen als rechteckigen Begrenzungsrahmen mit Ursprung und Größe zurück.

Wenn Sie an die Verwendung von Swift gewöhnt sind und schon eine Weile programmieren, fragen Sie sich wahrscheinlich, was der Nutzen von Vision ist, wenn es andere Funktionen wie Bild und AVFoundation gibt. Nun, Vision ist genauer und einfacher. Die Funktion ist auch auf einer Vielzahl von Plattformen verfügbar. Die Verwendung von Vision kann jedoch mehr Rechenleistung und Verarbeitungszeit erfordern.

Um Vision für die Texterkennung zu verwenden, benötigen Sie Xcode 9 und ein Gerät mit iOS 11.

Erstellen einer Kamera mit Avcapture

Zuerst müssen Sie mit AVCapture eine Kamera  erstellen ; Dies geschieht durch die Initialisierung einer Objekt-AVcapturesession, um Echtzeit- oder Offline-Captures durchzuführen. Stellen Sie danach die Sitzung mit der Geräteverbindung her.

Um Zeit beim Erstellen einer Benutzeroberfläche für Ihre App zu sparen, sollten Sie zunächst ein Starterprojekt in Betracht ziehen. Dies gibt Ihnen Zeit, sich auf das Erlernen des Vision-Frameworks zu konzentrieren.

Öffnen Sie Ihr Starterprojekt. Die Ansichten im Storyboard sollten alle bereit und für Sie eingerichtet sein.

Suchen Sie in  ViewController.swift  nach dem Codeabschnitt mit Funktionen und Ausgängen.

Deklarieren Sie unter dem Ausgang ImageView eine Sitzung für  AVcapturesession  – dies wird immer dann verwendet, wenn Aktionen basierend auf einem Live-Stream ausgeführt werden sollen.

Stellen Sie die  AVcapturesession  und den  AVmediatype  auf Video ein, da Sie die Kameraaufnahme durchführen, damit sie kontinuierlich ausgeführt wird

Definieren Sie das Ausgabe- und Eingabegerät

Die Eingabe ist das, was die Kamera sieht, und die Ausgabe ist das Video im eingestellten Typformat KCVPixelFormatType_32GRA.

Schließlich fügen Sie eine  Unterschicht ,  die Videos enthält  Imageview  und starten Sie die Sitzung. Die Funktion ist als  inViewdidload bekannt.  Sie müssen auch den Rahmen der Ebene festlegen.

Rufen Sie die Funktion in der   Methode viewWillAppear auf .

Da die Begrenzungen noch nicht abgeschlossen sind, überschreiben Sie die Methode viewDidLayoutSubviews ( ) , um die  Ebenenbegrenzung  zu aktualisieren.

Nach der Veröffentlichung von iOS 10 wird ein zusätzlicher Eintrag in der Info.plist benötigt, dies liefert einen Grund für die Kamera. Sie sollten auch die Verwendungsbeschreibung der Privatsphäre-Kamera festlegen.

Texterkennung; So funktioniert das Vision-Framework

Es gibt drei Schritte, um Vision in der App zu implementieren.

Handler –  Dies ist der Fall, wenn das Framework etwas tun soll, nachdem die Anforderung aufgerufen wurde.

Beobachtungen –  das möchten Sie mit den von Ihnen gelieferten Daten beginnend mit einer Anfrage machen

Anfragen –  Dies ist, wenn Sie nach dem Detect-Framework fragen

Idealerweise erstellen Sie eine Textanforderung als  VNdetecttextrectanglesrequest . Dies ist eine Art  VNrrequest  , die um den Text grenzt. Nachdem das Framework die Anwendung abgeschlossen hat, fahren Sie mit dem Aufrufen der  Dettexthandler-  Funktion fort. Sie möchten auch den genauen erkannten Frame wissen, setzen Sie ihn auf  Reportcharacterboxes =True.

Definieren Sie danach die Beobachtungen, die alle Ergebnisse von VNdetecttextrectanglesrequest enthalten.  Denken Sie daran, Vision zur Ausgabekamera hinzuzufügen. Da Vision High-Level-APIs bereitstellt, ist die Arbeit damit sicher.

Die Funktion prüft, ob der  Cmsamplebuffer  existiert und PutOut  Avcaptureoutput . Sie sollten dann fortfahren, eine Variable Requestoptions  als 1 Dictionary Type  VNimageoption zu erstellen  . Die   Option VNmage ist ein Strukturtyp, der Eigenschaften und Daten von der Kamera enthält. Anschließend sollten Sie den VNimagerequesthandler erstellen und die  Textanforderung  ausführen.

Zeichnen von Rahmen um den erkannten Text

Sie können damit beginnen, dass das Framework zwei Kästchen zeichnet, eines für jeden erkannten Buchstaben und das andere für jedes Wort. Tabellen sind die Kombination aller Zeichenfelder, die Ihre Anfrage findet.

• Definieren Sie die Punkte in Ihrer Ansicht, um die Positionierung der Boxen zu erleichtern.
• Erstellen Sie danach einen  CALaye r; Verwenden Sie  VNrectangleobservation  , um Ihre Beschränkungen zu definieren, um den Prozess des Umreißens der Box zu vereinfachen.

Sie haben jetzt alle Ihre Funktionen angeordnet.

Um Ihre Punkte zu verbinden, beginnen Sie damit, dass Ihr Code asynchron ausgeführt wird. Sie sollten dann überprüfen, ob eine Region in Ihren Ergebnissen aus Ihrer  VNTextObservation vorhanden ist .

Sie können nun Ihre Funktion aufrufen, die eine Box innerhalb des Bereichs zeichnet. Überprüfen Sie, ob es in der Region Zeichenfelder gibt, und rufen Sie dann den Dienst an, der ein Feld um jeden Buchstaben einfügt.

Erstellen Sie danach eine Variable  RequestOptions. Sie können jetzt ein VNImageRequestHandler- Objekt erstellen  und die von Ihnen erstellte Textanforderung  ausführen.

Der letzte Schritt ist schließlich das Ausführen Ihres Vision-Codes mit dem Live-Stream. Sie müssen die Videoausgabe nehmen und in Cmsamplebuffer konvertieren  .

Zusätzliche Tipps

Versuchen Sie immer, das Bild zuzuschneiden und nur den Abschnitt zu bearbeiten, den Sie benötigen. Dies reduziert die Verarbeitungszeit und den Speicherbedarf

Aktivieren Sie die Sprachkorrektur, wenn Sie mit nicht numerischen Zeichen arbeiten, und deaktivieren Sie sie, wenn Sie mit einem numerischen Zeichen arbeiten

Fügen Sie eine Validierung für erkannte Zahlenzeichenfolgen hinzu, um die Genauigkeit zu bestätigen und zu verhindern, dass dem Benutzer falsche Werte angezeigt werden.

Der Dokumentenkamera-Controller ist der beste Begleiter für die Texterkennung, da die Bildqualität bei der Texterkennung eine wichtige Rolle spielt.

Ziehen Sie in Erwägung, eine minimale Texthöhe festzulegen, um die Leistung zu steigern.

Mit Vision haben Sie alles, was Sie für die Texterkennung benötigen. Da Vision einfach zu bedienen ist und eine kurze Implementierungszeit in Anspruch nimmt, ist die Verwendung fast gleichbedeutend mit dem Spielen mit Legos. Testen Sie Ihre App mit verschiedenen Objekten, Schriftarten, Beleuchtung und Größen. Sie können sich auch selbst beeindrucken, indem Sie Vision mit Core ML kombinieren.