iPhone：iOSテキスト検出機能の使用方法

iOS 11のVisionには、実装が同時に行われるテキスト文字を認識できるアプリを作成するために必要なすべてのものがあります。技術的なコーディングの知識は必要ありません。機能の操作は非常に簡単です。さらに、実装はシームレスです。

ビジョンフレームワーク

ビジョンフレームワークを使用すると、コンピューターの詳細を含むあらゆるタスクを簡単に実装できます。この構造は、顔と顔のランドマーク検出、バーコード認識、画像レジストレーション、一般的な特徴の追跡、およびテキスト検出を実行します。Visionでは、分類やオブ​​ジェクト検出などのタスクにカスタムCoreMLモデルを使用することもできます。

VN DetectTextRectanglesRequest

VN DetectTextRectanglesRequestは、 画像に表示されるテキストの領域を検索し、画像解析要求です。この機能は、テキスト文字を原点とサイズの長方形の境界ボックスとして返します。

swiftの使用に慣れていて、しばらくプログラミングをしている場合は、画像やAVFoundationなどの他の機能がある場合にVisionをどのように使用するのか疑問に思われるかもしれません。まあ、ビジョンはより正確でより簡単です。この機能は、さまざまなプラットフォームでも利用できます。ただし、Visionを使用すると、より多くの処理能力と処理時間が必要になる場合があります。

Visionをテキスト検出に使用するには、Xcode9とiOS11を実行するデバイスが必要です。

Avcaptureを使用したカメラの作成

まず、AVCaptureを使用してカメラを作成する必要があります 。これは、1つのオブジェクトAVcapturesessionを初期化して、リアルタイムまたはオフラインのキャプチャを実行することによるものです。その後、デバイス接続へのセッションを作成します。

アプリのUIを構築する時間を節約するには、スタータープロジェクトを用意することを検討してください。まず、これにより、Visionフレームワークの学習に集中する時間ができます。

スタータープロジェクトを開きます。ストーリーボードのビューはすべて準備ができており、設定されている必要があります。

で ViewController.swift、 機能やコンセント付きコードセクションを探します。

アウトレットImageViewの下で、AVcapturesessionのセッションを 宣言し ます。これは、ライブストリームに基づいてアクションを実行する場合に使用されます。

AVcapturesession と AVmediatype をビデオに設定し ます。これは、カメラ撮影を実行して継続的に実行できるようにするためです。

出力および入力デバイスを定義します

入力はカメラが見るものであり、出力はKCVPixelFormatType_32GRAの設定されたタイプフォーマットのビデオです。

最後に、 ビデオを含むサブレイヤーを imageView に追加し 、セッションを開始します。この関数はinViewdidloadとして知られてい ます。 レイヤーのフレームも設定する必要があります。

viewWillAppear メソッドで関数を呼び出し ます。

境界はまだ確定されていないため、viewDidLayoutSubviews（） メソッドをオーバーライドして、境界の あるレイヤーを更新します。

iOS 10のリリース後、Info.plistに追加のエントリが必要になります。これは、カメラを使用する理由を提供します。プライバシー-カメラの使用法の説明も設定する必要があります。

テキスト検出; ビジョンフレームワークのしくみ

アプリにVisionを実装するには3つのステップがあります。

ハンドラー– これは、リクエストが呼び出された後にフレームワークに何かを実行させたい場合です。

観察– これは、1つのリクエストから始めて提供されたデータを使用して実行したいことです

リクエスト–これはDetectフレームワークをリクエストする ときです

理想的には、VNdetecttextrectanglesrequestとして1つのテキストリクエストを作成します 。これは 、テキストの周囲にある一種の VNrequestです。フレームワークがアプリケーションを完了した後、Dettexthandler 関数の呼び出しに 進みます。また、認識された正確なフレームを知りたい場合は、Reportcharacterboxes = Trueに設定し ます。

その後、VNdetecttextrectanglesrequestのすべての結果を含む観測値を定義し、出力カメラにVisionを追加することを忘れないで ください。Visionは高レベルのAPIを公開しているため、Visionでの作業は安全です。

この関数は、Cmsamplebuffer が存在するかどうか とPutOutAvcaptureoutputを チェックします。次に、1つの変数Requestoptions を1つのディクショナリタイプVNimageoptionとして 作成する必要があります 。 VNmageの オプションは、カメラからのプロパティおよびデータを含む構造体の一種です。次に、VNimagerequesthandler を作成し 、テキストリクエストを実行する必要があります。

検出されたテキストの周囲に境界線を描画する

フレームワークで2つのボックスを描画することから始めることができます。1つは検出したすべての文字用で、もう1つはすべての単語用です。テーブルは、リクエストで見つかるすべての文字ボックスの組み合わせです。

• ボックスの配置に役立つように、ビュー上のポイントを定義します。
• その後、CALayerを作成します 。使用 VNrectangleobservationを 簡単に箱を概説するプロセスを作る、あなたの制約を定義します。

これで、すべての機能がレイアウトされました。

ドットを接続するには、コードを非同期で実行することから始めます。次に、VNTextObservationの結果内に領域が存在するかどうかを確認する必要があります 。

これで、関数を呼び出すことができます。これにより、領域内にボックスが描画されます。リージョン内に文字ボックスがあるかどうかを確認してから、各文字の周りにボックスを表示するサービスを呼び出します。

その後、変数RequestOptionsを作成します 。 これで、VNImageRequestHandler オブジェクトを作成し、作成した テキスト要求を実行できます。

最後に、最後のステップは、ライブストリームでビジョンコードを実行することです。ビデオ出力を取得して、Cmsamplebufferに変換する必要があり ます。

追加のヒント

常に画像をトリミングし、必要なセクションのみを処理するようにしてください。これにより、処理時間とメモリフットプリントが削減されます

非数字を扱う場合は言語修正をオンにし、数字を扱う場合は言語修正をオフにします

認識された数値文字列の検証を含めて、正確さを確認し、ユーザーに誤った値を表示しないようにします。

書画カメラコントローラーは、画質がテキスト認識で重要な役割を果たすため、テキスト認識に最適です。

パフォーマンスを向上させるために、最小テキスト高さを設定することを検討してください。

Visionを使用すると、テキスト認識に必要なものがすべて揃っています。Visionは使いやすく、実装に時間がかかるため、レゴで遊ぶのとほぼ同じです。さまざまなオブジェクト、フォント、照明、サイズでアプリをテストしてみてください。VisionとCoreMLを組み合わせることで、自分自身を感動させることもできます。