이미지 텍스트 변환 질문드립니다

Question

안녕하세요 !취미로 사이드 프로젝트를 해볼려고 하는데, 제목처럼 이미지를 텍스트로 변환하려고 하는데 막혀버렸어요...그래서 어떻게 접근해야 할지 선배님들의 고건을 여쭤보려구 합니다.OCR처음에는 OCR을 사용해서 변환해봤습니다.사용했던 언어는 파이썬이고 pytesseract라고 라이브러리 사용했습니다.그런데 변환해야 할 이미지가 꽤 많아서 그런지 작업 시간이 1~2분씩 소요되는 건 괜찮은데, 문제는 정확도가 들쑥날쑥 하더라구요.들쑥날쑥 하다는것도 절반은 맞고 절반 틀리는것도 아니에요. 열에 여덟 아홉은 맞아도 꼭 한개씩 틀려있습니다. 이미지에 마스킹을 씌우는 등 이리저리 전처리를 해보고 OCR 옵션을 다르게 해봐고 해봐도 뭔가 이 기술을 프로젝트에 사용하기에 신뢰성이 없었다...? (제가 활용을 못한ㅠㅠ)구글 OCR도 있는 것 같던데 제가 최대한 해보고 그래도 안되면 최후 보루로 해보는 걸로!Tensorflow그래서 학부 시절에 깔짝 배웠던 인공지능 과목에서 mnist data set으로 손글씨 예제 프로젝트에서 했던 것처럼 모델을 만들어서 해보면 어떨까 하는 생각이 들었습니닷 (수업 내용은 기억도 안나지만요)그런데 모델을 만들려면 데이터 샘플이 필요하다면서요? 그것도 꽤 많이......포기...를 하기전에조금 더 찾아봤지만 지피티 선생님께서 GAN인가 생성형 뭘로 생성하면 된다고 하던데...........여기에 사용하는 건 아닌 것 같아서 결국 포기했습니다ㅠㅠ이미지 유사성 측정? (이게 맞는 표현인지 모르겠는데요...)먼저 변환하려고 하는 이미지 샘플입니다이미지는 항상 0 ~ 999,999 범위의 숫자만이구 본문에 올려둔 이미지와 같이 방향도 폰트도 항상 일정합니다!단, 이미지 크기는 32 x 15로 맞출려고 했는데 1px씩 차이나는 게 있긴 해요...배경이 약간씩 달라지긴 하는데 이미지에서 흰 부분이 아닌 애들을 모두 0으로 바꾸면 얼추 비슷하게 나오더라구요. 배열로 출력해보면 이런식으로요!0 ~ 9까지는 좌우 0 패딩을 제거해서 쭈르륵 비교하면서 찾는 방법을 생각해봤는데요...이거 넘 비효율적인 것 같은뎅 ㅋㅋㅠ 보통 이런 방법을 사용하나요...?생각해보니까 사진 크기도 비슷하긴 한데 다른 게 일부 있고, 쭈르륵 비교한다고 해도 몇 천장이라 다르겠네요..... 이것도 안 되나ㅠㅠ아무튼 이렇게 이상한 방법들만 생각하다가 벌써 시간이 얼마나 지난지 모르겠습니다계속 지피티 선생님께 물어보곤 있는데 키워드를 잘못 줘서 그런지 결국 똑같은 말만 돌려주고요...해결할 수 있는 방법이나 키워드라두 알려주시면 열심히 찾아보겠습니다ㅠㅠ답변 미리 감사드리며 많은 고견 부탁드립니다 (_ _)!

HJOW · Accepted Answer

일단 사이드 프로젝트이긴 하지만&#34;해결하고자 하는 문제&#34; 를 정하셨죠.&#34;이미지를 읽어 그 안의 텍스트를 뽑아내고 싶다&#34; 입니다.그럼, 이게 얼마나 난이도가 있는 문제인지 생각해봅시다.일단 전제조건이 적혀있지 않습니다.그렇다는 건, 입력할 이미지 안에, 텍스트 외의 다른 것이 같이 들어있다든가, 아님 폰트와 사이즈가 제각각이라든가, 살짝 기울어져 있다든가, 영어 숫자 한글 한자 일본어 아랍어 불어 러시아어 상형문자 수학기호 ☆◆ 같은 특수문자 등등온갖 별의별 변수들이 존재할 수 있습니다.괜히 매크로 막겠다고 이미지 띄우고 그 안의 내용을 받아적으라고 하는 게 아니죠.즉, ㅈ나게 어려운 문제입니다.경우의 수가 거의 무한대이죠.이걸 어떻게든 해결하려면 딥러닝의 힘이 필요하다는 것이죠.괜히 삼성전자가 이번에 &#34;우리 폰으로 사진 찍으면 그 안에서 텍스트 뽑을 수 있어요&#34; 한 게 아닙니다.애플 Inc 도 엄두도 내지 못할 아주 어려운 일이라는 것이죠.그래도 어떻게든 해보고 싶다 (딥러닝 안쓰고)그러면 전제조건부터 정해보세요.이를테면, 숫자만 인식할 수 있고, 방향도 고정에 폰트도 정해져있다든지.

다크브라운 · Answer

우선 전문 분야가 아니라 답변 정확도가 낮을 수 있다는 점 미리 양해드립니다ChatGPT가 답해준 GAN 모델 같은 경우 대략적으로 맞는 방향성입니다. 입력받은 이미지를 네트워크가 이해할 수 있는 방식으로 재구성 한 후 추가 레이어 구성을 통해 재구성된 이미지에 포함된 텍스트를 추론하는 방식으로 이루어지는 방식이 일반적인 방법론으로 알고 있습니다.다만, 말씀하신대로 특수한 환경에 대한 OCR AI 모델이 필요하시다면 데이터셋 구축부터 많은 공수가 들어가나, 사이드 프로젝트용이면 tensorflow 또는 Pytorch로 이미 학습이 완료된 오픈소스 모델을 가져다 쓰실 수 있을 겁니다.검색같은 경우 ocr pytorch github 또는 ocr tensorflow github 등으로 검색해보시는걸 추천드립니다

킁킁탐정 · Answer

OCR은 대상이 되는 텍스트의 문맥을 파악할 수 없으면 단순 기술로는 완벽하게 추출이 불가능합니다. 영문자만 놓고 봐도 1 i l / 0 O o / B 8 같은 문자의 구분을 매칭으로 처리가 어려워서 좌우 문자와 단어 그리고 문장을 파악해서 자동 교정이 되도록 해야합니다.결론: 어떻게 해도 결과가 만족스럽지 않고, 해결 방법도 찾기 어려울것으로 예상됩니다.

hmmm · Answer

저도 OCR 프로젝트를 진행해 본 적이 있는데요, text detection -> 분할 -> scale 조정 -> AI 또는 Processing 이런식으로 하긴 했었습니다.전처리를 많이 안하면 정확도가 떨어지더라구요.데이터도 직접 모았습니다. 물론 이 프로젝트에서는 텍스트가 있는 배경 또는 상황이 정해져 있어서 훨씬 수월했습니다.말씀하신 기능은 다른분들 말씀대로 변수가 많고, 개인이 만드는 작은 AI 모델로는 한계가 분명해보입니다.아주 정확하진 않더라도 어느정도 결과를 보고싶다 하시면, 중국애들이 만든 Paddle의 OCR 사용해보시는 방법도 있습니다.

이미지 텍스트 변환 질문드립니다

4개의 답변

Q&A 목록