iPhone: วิธีใช้คุณสมบัติการตรวจจับข้อความ iOS

Vision ใน iOS 11 มีทุกสิ่งที่คุณต้องการเพื่อสร้างแอปที่สามารถจดจำตัวอักษรที่มีการใช้งานพร้อมกันได้ คุณไม่จำเป็นต้องมีความรู้ด้านเทคนิคในการเขียนโค้ด – การนำทางคุณลักษณะนี้ค่อนข้างง่าย ยิ่งไปกว่านั้น การนำไปใช้งานนั้นราบรื่น

กรอบวิสัยทัศน์

กรอบวิสัยทัศน์ช่วยให้คุณสามารถใช้งานใดๆ ที่เกี่ยวข้องกับรายละเอียดของคอมพิวเตอร์ได้อย่างง่ายดาย โครงสร้างนี้ดำเนินการตรวจจับจุดสังเกตใบหน้าและใบหน้า การจดจำบาร์โค้ด การลงทะเบียนรูปภาพ การติดตามคุณสมบัติทั่วไป และการตรวจจับข้อความ Vision ยังให้คุณใช้โมเดล Core ML แบบกำหนดเองสำหรับงานต่างๆ เช่น การจำแนกประเภทหรือการตรวจจับวัตถุ

VN DetectTextRectanglesRequest

VN DetectTextRectanglesRequest  เป็นคำขอการวิเคราะห์ภาพที่พบภูมิภาคของข้อความที่เห็นในภาพ; คุณลักษณะส่งกลับอักขระข้อความเป็นกล่องที่มีขอบเขตสี่เหลี่ยมที่มีจุดเริ่มต้นและขนาด

หากคุณคุ้นเคยกับการใช้สวิฟท์และเขียนโปรแกรมมาระยะหนึ่งแล้ว คุณอาจสงสัยว่าการใช้วิชั่นคืออะไรเมื่อมีฟีเจอร์อื่นๆ เช่น รูปภาพและ AVFoundation Vision นั้นแม่นยำและตรงไปตรงมามากกว่า คุณลักษณะนี้ยังมีอยู่ในหลากหลายแพลตฟอร์ม อย่างไรก็ตาม การใช้ Vision อาจต้องการพลังการประมวลผลและเวลาในการประมวลผลที่มากขึ้น

หากต้องการใช้ Vision สำหรับการตรวจจับข้อความ คุณจะต้องใช้ Xcode 9 และอุปกรณ์ที่ใช้ iOS 11

การสร้างกล้องด้วย AVcapture

ขั้นแรก คุณต้องสร้างกล้องด้วย  AVCapture ; นี่คือการเริ่มต้น AVcapturesession ของออบเจ็กต์หนึ่งตัวเพื่อทำการจับภาพแบบเรียลไทม์หรือออฟไลน์ หลังจากนั้นทำเซสชั่นเพื่อเชื่อมต่ออุปกรณ์

เพื่อช่วยให้คุณประหยัดเวลาจากการสร้าง UI ของแอปของคุณ ให้ลองพิจารณามีโครงการเริ่มต้น ซึ่งจะช่วยให้คุณมีเวลามุ่งเน้นไปที่การเรียนรู้กรอบงาน Vision

เปิดโครงการเริ่มต้นของคุณ มุมมองในกระดานเรื่องราวควรพร้อมและตั้งค่าสำหรับคุณ

ใน  ViewController.swift ให้ มองหาส่วนโค้ดที่มีฟังก์ชันและช่องทางออก

ภายใต้เต้าเสียบImageView ให้ประกาศเซสชันสำหรับ  AVcapturesession  ซึ่งจะใช้เมื่อใดก็ตามที่คุณต้องการให้ดำเนินการตามสตรีมแบบสด

ตั้งค่า  AVcapturesession  และ  AVmediatype  เป็นวิดีโอ เนื่องจากคุณจะทำการถ่ายด้วยกล้องเพื่อให้ทำงานได้อย่างต่อเนื่อง

กำหนดอุปกรณ์ส่งออกและอินพุต

อินพุตคือสิ่งที่กล้องจะมองเห็น และเอาต์พุตคือวิดีโอในรูปแบบชุดของ KCVPixelFormatType_32GRA

สุดท้าย เพิ่ม  เลเยอร์ย่อย  ที่มีวิดีโอลงใน  imageView และเริ่มเซสชัน ฟังก์ชันนี้เรียกว่า  inViewdidload  คุณต้องตั้งค่าเฟรมของเลเยอร์ด้วย

เรียกใช้ฟังก์ชันใน   เมธอดviewWillAppear

เนื่องจากขอบเขตยังไม่สิ้นสุด ให้แทนที่  เมธอดviewDidLayoutSubviews ( ) เพื่ออัปเดตเลเยอร์ที่ถูกผูกไว้

หลังจากการเปิดตัว iOS 10 จำเป็นต้องมีรายการเพิ่มเติมใน Info.plist ซึ่งเป็นเหตุผลในการใช้กล้อง คุณควรตั้งค่า Privacy-Camera Usage Description ด้วย

การตรวจจับข้อความ; กรอบวิสัยทัศน์ทำงานอย่างไร

การนำ Vision ไปใช้ในแอปมีสามขั้นตอน

ตัวจัดการ –  นี่คือเวลาที่คุณต้องการให้เฟรมเวิร์กทำอะไรหลังจากเรียกคำขอ

การสังเกต –  นี่คือสิ่งที่คุณต้องการทำกับข้อมูลที่คุณให้มาโดยเริ่มจากคำขอเดียว

คำขอ – นี่คือเมื่อคุณขอ Detect framework

ตามหลักการแล้วคุณสร้างคำขอข้อความหนึ่งคำขอเป็น  VNdetecttextrectanglesrequest นี่คือVNrequestชนิดหนึ่ง   ที่ล้อมรอบข้อความ หลังจากกรอบงานเสร็จสิ้นแอปพลิเคชัน คุณดำเนินการเรียก   ฟังก์ชันDettexthandler คุณจะต้องการทราบเฟรมที่แน่นอนที่รู้จัก ตั้งค่าเป็น  Reportcharacterboxes =True

หลังจากนั้น ให้กำหนดข้อสังเกตที่มีผลลัพธ์ทั้งหมดของ  VNdetecttextrectanglesrequestอย่าลืมเพิ่ม Vision ให้กับกล้องเอาต์พุต เนื่องจาก Vision เปิดเผย API ระดับสูง การทำงานกับ API นั้นจึงปลอดภัย

ฟังก์ชั่นการตรวจสอบถ้า  Cmsamplebuffer  อยู่และ PutOut  Avcaptureoutput จากนั้นคุณควรดำเนินการเพื่อสร้างตัวแปร  Requestoptions เป็น 1 ประเภทพจนานุกรม  VNimageoption  VNmage  ตัวเลือกที่เป็นชนิดของโครงสร้างที่มีคุณสมบัติและข้อมูลจากกล้อง จากนั้นคุณควรสร้าง  VNimagerequesthandler และดำเนินการคำขอข้อความ

การวาดเส้นขอบรอบข้อความที่ตรวจพบ

คุณสามารถเริ่มต้นด้วยการมีกรอบงานเพื่อวาดกล่องสองกล่อง กล่องหนึ่งสำหรับทุกตัวอักษรที่ตรวจพบ และอีกกล่องหนึ่งสำหรับทุกคำ ตารางคือการรวมกันของกล่องอักขระทั้งหมดที่คำขอของคุณจะค้นหา

• กำหนดจุดในมุมมองของคุณเพื่อช่วยคุณจัดตำแหน่งกล่อง
• หลังจากนั้นให้สร้าง  CALaye r; ใช้  VNrectangleobservation  เพื่อกำหนดข้อจำกัดของคุณ ทำให้กระบวนการร่างกรอบง่ายขึ้น

ตอนนี้คุณมีหน้าที่ทั้งหมดของคุณแล้ว

ในการเชื่อมต่อจุดของคุณ ให้เริ่มโดยให้โค้ดของคุณทำงานแบบอะซิงโครนัส จากนั้นคุณควรตรวจสอบเพื่อดูว่าพื้นที่ที่มีอยู่ในผลการค้นหาของคุณจากคุณ  VNTextObservation

ตอนนี้คุณสามารถเรียกใช้ฟังก์ชันของคุณ ซึ่งจะวาดกล่องภายในพื้นที่ ตรวจสอบเพื่อดูว่ามีกล่องอักขระภายในพื้นที่หรือไม่ จากนั้นโทรไปที่บริการที่ใส่กล่องรอบๆ ตัวอักษรแต่ละตัว

หลังจากนั้นให้สร้างตัวแปร  RequestOptions ขณะนี้คุณสามารถสร้าง  วัตถุVNImageRequestHandler และดำเนินการตามคำขอข้อความที่คุณสร้างขึ้น

สุดท้าย ขั้นตอนสุดท้ายคือการรันโค้ดวิชั่นของคุณด้วยสตรีมแบบสด คุณจะต้องใช้เอาต์พุตวิดีโอและแปลงเป็น  Cmsamplebuffer

คำแนะนำเพิ่มเติม

พยายามครอบตัดรูปภาพและประมวลผลเฉพาะส่วนที่คุณต้องการเสมอ ซึ่งจะช่วยลดเวลาในการประมวลผลและรอยเท้าของหน่วยความจำ

เปิดการแก้ไขภาษาเมื่อจัดการกับอักขระที่ไม่ใช่ตัวเลข จากนั้นปิดเมื่อจัดการกับอักขระตัวเลขnumeric

รวมการตรวจสอบสำหรับสตริงตัวเลขที่รู้จักเพื่อยืนยันความถูกต้องและกำจัดการแสดงค่าเท็จต่อผู้ใช้

ตัวควบคุมกล้องเอกสารเป็นคู่หูที่ดีที่สุดสำหรับการจดจำข้อความ เนื่องจากคุณภาพของภาพมีบทบาทสำคัญในการจดจำข้อความ

พิจารณากำหนดความสูงของข้อความขั้นต่ำเพื่อเพิ่มประสิทธิภาพ

ด้วย Vision คุณมีทุกสิ่งที่จำเป็นสำหรับการจดจำข้อความ เนื่องจาก Vision นั้นใช้งานง่ายและใช้เวลาไม่นานในการติดตั้ง การใช้งานนั้นแทบจะเทียบเท่ากับการเล่นกับ Legos ลองทดสอบแอปของคุณกับวัตถุ แบบอักษร แสง และขนาดต่างๆ คุณยังสามารถสร้างความประทับใจให้ตัวเองได้ด้วยการรวม Vision กับ Core ML