이미지 자동클릭

매크로 프로그램 다운로드

http://ngmsoftware.com/bbs/board.php?bo_table=product_review 

엔지엠소프트웨어

#매크로 #메크로 #매크로프로그램 #엔지엠소프트웨어 #엔지엠에디터 #엔지엠플레이어 #비활성매크로 #하드웨어매크로 #기계식매크로 #마우스광클릭 #키보드매크로 #이미지서치 #이미지매치 #블로그 #카페 #인스타그램 #유튜브 #소셜네트워크 #카카오톡 #텔레그램 #자동화

 

안녕하세요. 업무 자동화 RPA 매크로 오토픽입니다.

일반적인 매크로 프로그램의 픽셀 서치, 이미지 서치와 이미지 매치에서 검출할 수 없는 경우에는 좀 더 고차원적인 딥러닝 알고리즘을 사용해야 합니다.

오토픽 매크로는 이미지 분석에 구글 비전 AI와 챗 GPT의 이미지 분석을 사용할 수 있습니다.

구글 비전 AI를 사용하면 자동 방지 문자와 캡챠를 분석할 수 있습니다. 그리고, 이미지도 찾을 수 있습니다.

자세한 내용은 아래 글을 참고하세요.

[ 구글 비전 AI ]

 

 

 

챗 GPT를 사용하면 복잡한 오브젝트가 포함된 이미지에서 원하는 내용을 확실하게 분석 요청이 가능합니다.

[ 인공지능 챗 GPT ]

 

 

 

클로드 인공지능은 이미지 분석 보다는 블로그 글이나 포스트를 작성하는데 더 유연하게 사용할 수 있습니다.

[ 클로드 인공지능 사용 ] 

 

하지만, 아무리 인공지능이 발달했다고 해도 찾지 못하는 이미지도 있고 읽지 못하는 텍스트도 존재합니다.

이런 경우에는 어쩔 수 없이 직접 데이터셋을 만들어서 학습시키는 방법밖에 없습니다.

오토픽 매크로는 간단하게 이미지를 학습하고 인공지능 모델을 만들어서 사용할 수 있도록 도와줍니다.

 

우선, 파이썬 개발 환경을 만들어야 하는데요. Python(파이썬) 언어로 개발하려면 Visual Studio Code가 필요합니다. 아래 링크에서 다운로드하여 설치하세요.

[ 비주얼 스튜디오 코드 다운로드 ]

 

 

 

다운로드가 완료되면 설치 파일을 더블 클릭하세요. 사용권 동의에 체크하고 Next 버튼을 클릭하세요.

 

 

 

C드라이브가 아닌 다른 위치에 설치해도 됩니다.

 

 

 

바탕화면에 바로가기를 추가하거나 탐색기에서 우클릭에 비주얼 스튜디오를 추가할 수 있습니다.

 

 

 

인스톨 버튼을 클릭해서 설치하세요.

 

 

 

YoloV8 딥러닝 환경을 구성할 때 쥬피터 노트북 환경에서 해도 되지만, 저는 로컬 컴퓨터에 셋팅하도록 하겠습니다.

우선, Anaconda(아나콘다)를 다운로드 받은 후 설치하세요.

[ 아나콘다 다운로드 ]

 

 

다운로드가 완료되면 더블 클릭해서 설치를 시작하세요. 꼭 C드라이브에 설치할 필요는 없습니다.

Register Anaconda3 as my default Python 3.x 항목에 체크하세요. 파이썬은 안정적인 현재 버전으로 표시될겁니다.

 

마지막 Install 버튼을 클릭하면 설치가 진행됩니다. 생각보다 설치하는데 오래 걸리니 참고 기다려 보세요. 아나콘다 네비게이터가 실행됩니다.

 

 

 

이제 GPU를 사용하기 위해 Cuda와 cuDNN을 설치해야 합니다.

먼저 Cuda를 다운로드 받아서 설치하세요. Cuda 버전은 11.x 버전으로 설치해야 합니다.

Cuda와 cuDNN 버전은 https://github.com/ultralytics/ultralytics 사이트에서 지원하는 버전을 확인 후 설치하세요.

[ CUDA 11.8 다운로드 ]

 

 

 

Cuda 11.x 설치가 완료되면 cuDNN을 설치해야 하는데요.

아래 링크에서 압축 파일을 다운로드 받으세요.

[ cuDNN 다운로드 ]

 

 

 

cuDNN 압축을 풀고, 쿠다가 설치된 폴더에 내용을 모두 복사해서 붙여넣기 합니다.

이 때 덮어쓰기할지 물어보는데요. "예"를 눌러서 덮어쓰세요.

• C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8

 

 

 

이제 다시 아나콘다 네비게이터(Anaconda Navigator)로 돌아와서 비주얼 스튜디오 코드를 실행하세요.

아래 두번째줄 가운데에 있는 VSCode를 클릭하면 됩니다.

 

 

 

딥러닝에 사용할 파이토치(PyTorch)를 설치해줍니다.

예전에는 텐서플로우(TensorFlow)를 주로 사용했지만, 지금은 파이토치를 주로 사용합니다.

VSCode에서 작업 폴더를 만들고, 선택하세요.

그리고, 아래 사이트에서 자신의 컴퓨터 환경에 맞는 옵션들을 선택해야 합니다.

마지막에 Run this Command를 복사하세요.

[ 파이토치 설치 환경 ]

 

 

 

그리고, 터미널에서 복사한 명령으로 PyTorch를 설치해줍니다. 설치하는데 꽤 오랜 시간이 소요되니 잠시 기다려주세요.

• conda install pytorch torchvision torchaudio cpuonly -c pytorch (컴퓨터마다 명령이 다를 수 있습니다.)

 

중간에 계속 진행(Proceed)할지 물어봅니다. y를 입력하고, 엔터를 누르세요.

 

 

 

파이토치 설치가 완료되면, ultralytics를 설치하세요.

• pip install ultralytics

 

 

 

필요한 패키지들을 자동으로 다운로드하고, 설치 해주므로 별다른 설정은 필요하지 않습니다.

ultralytics가 설치될 동안, YoloV8에서 사용할 모델 파일을 다운로드 받아줍니다.

참고로, YoloV3에서는 weights 모델을 사용했는데요. YoloV8에서는 pt 모델과 CLI에서 사용할 수 있는 onnx 모델을 사용합니다.

아래 사이트에서 YOLOv8n을 다운로드하세요.

[ 욜로 모델 다운로드 ]

 

 

 

VSCode에서 새 파일을 추가하고, cuda_yolo.py 파일을 하나 만드세요. 그리고, 아래와 같이 코딩 해줍니다.

 

만약, 위 코드를 실행 했을 때 에러가 발생하면 CUDA가 설치되지 않았거나 그래픽 카드가 CUDA를 지원하지 않을 가능성이 있습니다.

CUDA 설치 및 cuDNN이 정상적으로 설치되어 있는지 체크해보세요.

만약, GPU 모드를 사용할 수 없는 환경이라면 아래와 같이 코드를 변경하고, 실행하세요.

 

테스트에 사용할 이미지를 다운로드하고, 위의 model.predict에 다운로드한 이미지 경로를 적어주세요.

 

 

 

파이썬을 실행하면 아래와 같이 오브젝트가 검출된걸 확인할 수 있습니다.

 

 

 

GPU 모드에서 처리 결과를 보면 아래와 같습니다. 대략 0.003초정도 걸렸네요. 그런데 전처리하는데 0.044초가 걸렸습니다.

 

다른 이미지로 테스트 해볼까요? 아이브인데요. 사람으로 인식이 잘 됩니다.

 

 

 

강아지도 잘 인식이 되는군요.

 

 

 

이번에는 오토픽 매크로에서 검출을 테스트 해볼까요? 그전에 yolov8n.pt 모델을 CLI로 변경해야 합니다.

파이썬 환경이라면 파이썬 모델(엄밀히 말하면 파이토치 모델)을 그대로 사용해도 될겁니다.

그런데, 이전 개발 환경이 텐서플로우(TensorFlow)거나 윈도우의 ML이라면 pt 모델 파일을 사용할 수 없습니다.

그래서, CLI(Command Line Interface)로 변환해야 하는데요. 이 때 나오는 아웃풋이 onnx 확장자를 가진 모델 파일입니다.

• onnx: Open Neural Network eXchange는 딥러닝 모델을 서로 다른 프레임워크간에 호환할 수 있도록 해주는 오픈소스 프로젝트입니다.
• 다양한 플랫폼 환경(Java, C, C++, C#)에서 환경에 제약 없이 ML 모델을 호출하고 수행할 수 있습니다.

 

위 개발 환경에서 아래와 코드를 작성하고 실행하세요. 그러면, 같은 위치에 onnx 파일이 생성됩니다.

 

파이썬을 실행하고, 파이토치 모델이 있던 폴더로 이동 해보세요.

동일한 이름의 onnx 모델 파일이 만들어져 있을겁니다.

 

 

 

딥러닝 모듈을 아래 링크에서 다운로드 하세요.

[ 모듈 다운로드 ]

 

다운로드 받은 압축 파일을 에디터 또는 플레이어 실행 파일 폴더의 아래 위치에서 풀어주세요.

• runtimes\win-x64\native

 

오토픽 매크로 에디터를 실행하고, 욜로 매치 액션을 추가하세요.

그리고, 위에서 만든 yolov8n.onnx 모델을 선택하세요.

감지 영역은 그림판의 이미지 크기만큼 설정했습니다.

 

 

 

감지된 결과를 확인하기 위해 대상 이미지 저장을 설정했습니다.

 

 

 

매크로를 실행하고, 위에서 선택한 폴더로 이동 해보세요. result.jpg 파일이 만들어져 있을겁니다.

아래와 같이 사람과 버스가 인식된것을 알 수 있습니다.

 

 

 

욜로 매치를 사용하기 위해서는 누군가가 만들어 놓은 학습 모델을 다운로드 받거나 직접 자신이 학습 시켜야 합니다.

학습하는데 크게 어려운 내용은 없지만, 문제는 수백장의 이미지를 다운로드하고 분류해야 하는 번거로운 작업을 진행해야 합니다.

 

아래 학습에 필요한 데이터셋을 만드는 방법과 학습까지 완료하셔야 모델을 사용할 수 있습니다.

욜로 매치 옵션에 대한 자세한 설명은 아래 동영상을 참고하세요.

감사합니다.

[ 인공지능 딥러닝 데이터셋 만들기 ]

[ 인공지능 딥러닝 학습모델 만들기 ]

https://youtu.be/NIIgT0rpKFs

 

 

[ 각종 자동화 매크로 및 RPA 프로그램 제작 해드립니다. ]

[ 초보자도 쉽게 따라할 수 있는 기초 학습 강좌 보기 ]

 

원본 글 보기

http://ngmsoftware.com/bbs/board.php?bo_table=tip_and_tech 

엔지엠소프트웨어