Form Recognizer의 Custom Neural Model을 이용해 문서의 Key-Value 추출하기

💡 Form Recognizer의 Custom Neural Model을 이용해 동적인 문서의 Key-Value 추출 해본다.

 

 

 

Form Recognizer 에서 생성한 Template 기반의 Custom Model은,
특정 템플릿에 대한 Key-Value 를 추출하는 기능이었다.

 

하지만 템플릿의 순서가 변경되거나, 값이 추가되어 양식이 변경되게 되면

템플릿 기반에서는 데이터를 정상적으로 추출 해 올 수 없다.

 

 

그래서 Neural 모델로 Custom model을 생성하여 템플릿의 변형이 있을 경우에도 정확한 데이터를 추출할 수 있다.

 

사용자 지정 신경망 문서 모델 - Form Recognizer - Azure Applied AI Services

 

 

여기서 제약조건은 Form Recognizer를 한국리전에서 생성하면 사용 할 수 없다.

 

아래의 지원되는 리전에서 Form Recognizer 를 생성해 진행해야 한다.

 

 

 

 

라벨링은 기존과 동일하게 진행하면 된다.

Azure Cognitive Service의 Form Recognizer 사용해 보기

 

 

라벨링 #1

value영역 3줄, 체크박스 3줄

라벨링 #2

value영역 3줄, 체크박스 3줄

라벨링 #3

value영역 3줄, 체크박스 3줄

라벨링 #4

value영역 4줄, 체크박스 3줄

라벨링 #5

value영역 3줄, 체크박스 4줄

 

 

 

총 5장의 문서이고.

3종류의 다른 타입의 문서의 학습을 진행했다.

 

 

 

모델이 생성되는데 5분이상의 시간이 소요된다.

 

 

 

 

Custom model 생성이 완료가 되었으면

테스트를 진행해본다.

 

 

 

테스트 #1. value영역 3줄, 체크박스 3줄

 

테스트 #2. value영역 5줄, 체크박스 5줄

 

테스트 #3. value영역 5줄 + 중간에 여백 추가, 체크박스 3줄

 

테스트 #4. value영역 5줄 + 중간에 여백 추가
                   + value 3 과 value 4의 위치 변경, 체크박스 3줄

 

 

 

 

 

 

 

 

이런식으로 진행하면 양식의 사소한 변경이 일어나도 Form Recognizer를 사용 할 수 있다.

 

기존 OCR의 Key-value 추출을 위한 라벨링의 노가다를 최소화 할 수 있을것같다.