{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "(ch:computer-vision-advanced)=\n", "# 컴퓨터 비전" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**감사의 글**\n", "\n", "아래 내용은 프랑소와 숄레의 \n", "[Deep Learning with Python(2판)](https://github.com/fchollet/deep-learning-with-python-notebooks)의 \n", "소스코드 내용을 참고해서 작성되었습니다.\n", "자료를 공개한 저자에게 진심어린 감사를 전합니다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**소스코드**\n", "\n", "여기서 언급되는 코드를\n", "[(구글 코랩) 컴퓨터 비전](https://colab.research.google.com/github/codingalzi/dlp2/blob/master/notebooks/NB-computer_vision_advanced.ipynb)에서 \n", "직접 실행할 수 있다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**슬라이드**\n", "\n", "본문 내용을 요약한 [슬라이드](https://github.com/codingalzi/dlp2/raw/master/slides/slides-computer_vision_advanced.pdf)를 다운로드할 수 있다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**주요 내용**" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "- 합성곱 신경망의 주요 활용 분야(컴퓨터 비전)\n", " - 이미지 분류\n", " - 이미지 분할\n", " - 객체 탐지\n", "- 합성곱 신경망 기본 아키텍처\n", " - 잔차 연결\n", " - 배치 정규화\n", " - 채널 분리 합성곱" ] }, { "cell_type": "markdown", "metadata": { "colab_type": "text" }, "source": [ "## 컴퓨터 비전 주요 과제" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "컴퓨터 비전 분야에서 가장 주요한 연구 주제는 다음과 같다.\n", "\n", "- 이미지 분류(image classification): 이미지에 포함된 사물(들)의 클래스 분류\n", " - 단일 라벨 분류(single-label classification)\n", " - 예제: 한 장의 사진에서 고양이, 강아지, 사람, 자전거, 자동차 등 중에하 하나의 클래스 선택 \n", " - 다중 라벨 분류(multi-label classification)\n", " - 예제: 한 장의 사진에 포함된 여러 종류의 객체를 모두 분류.\n", " 예를 들어 두 사람이 자전거를 타는 사진에서 두 사람과 자전거 등 사진에 포함된 모든 객체의 클래서 확인.\n", "- 이미지 분할(image segmentation): 이미지를 특정 클래스를 포함하는 영역으로 분할\n", " - 예제: 줌(Zoom), 구글 미트(Google Meet) 등에서 사용되는 배경 블러처리 기능\n", "- 객체 탐지(object detection): 이미지에 포함된 객체 주의에 경계상자(bounding box) 그리기\n", " - 예제: 자율주행 자동차의 주변에 위치한 다른 자동차, 행인, 신호등 등 탐지 기능" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
\n", "\n", "

<그림 출처: Deep Learning with Python(2판)>

" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "언급된 세 분야 이외에 아래 컴퓨터 비전 분야에서도 딥러닝이 중요하게 활용된다.\n", "\n", "- 이미지 유사도 측정(image similarity scoring)\n", "- 키포인트 탐지(keypoint detection)\n", "- 자세 추정(pose estimation)\n", "- 3D 메쉬 추정(3D mesh estimation)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
\n", "\n", "

<그림 출처: HybrIK>

" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "여기서는 이미지 분할을 보다 자세히 살펴본다.\n", "반면에 객체 탐지 등 다른 분야는 다루지 않는다.\n", "다만 객체 탐지 관련해서 다음 논문을 참고할 것을 권유한다.\n", "\n", "- 작동원리 설명: 핸즈온 머신러닝 14장\n", "- 기초 활용법: [RetinaNet 활용 객체 탐지](https://keras.io/examples/vision/retinanet/)\n", "- 주요 활용 예제: [YOLOv5](https://github.com/ultralytics/yolov5)" ] }, { "cell_type": "markdown", "metadata": { "colab_type": "text" }, "source": [ "## 이미지 분할" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이미지 분할은 크게 두 종류로 나뉜다.\n", "\n", "- 시맨틱 분할(semantic segmentation)\n", " - 객체가 속하는 클래스(범주)에 따라 분류\n", " - 아래 사진 왼편: 배경과 구분된 고양이들을 cat 클래스로 하나로 묶어 배경과 구분\n", "\n", "- 인스턴스 분할(instance segmentation)\n", " - 클래스뿐만 아니라 객체 각각도 구분\n", " - 아래 사진 오른편: 배경과 구분된 각각의 고양이를 cat1, cat2 등으로 구분" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
\n", "\n", "

<그림 출처: Deep Learning with Python(2판)>

" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**Oxford-IIIT 애완동물 데이터셋**" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "시맨틱 분할을 보다 상세히 살펴보기 위해 \n", "[Oxford-IIIT 애완동물 데이터셋](https://www.robots.ox.ac.uk/~vgg/data/pets/)을 이용하여\n", "훈련을 진행한다.\n", "데이터셋은 강아지와 고양이를 비롯해서 총 37 종의 애완동물이 찍힌\n", "7,390장의 사진으로 구성된다.\n", "사진의 크기는 제 각각이다.\n", "\n", "- 데이터셋 크기: 7,390\n", "- 클래스(범주) 개수: 37\n", "- 클래스별 사진 수: 약 200 장\n", "- 사진별 라벨: 종과 품종, 머리 표시 경계상자, 트라이맵 분할trimap segmentation 마스크 등 4 종류로 구성" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**트라이맵 분할 마스크**는 원본 사진과 동일한 크기의 흑백 사진이며\n", "각각의 픽셀은 1, 2, 3 셋 중에 하나의 값을 갖는다.\n", "\n", "- 1: 동물의 몸에 해당하는 픽셀\n", "- 2: 배경에 해당하는 픽셀\n", "- 3: 동물과 배경을 구분하는 경계에 해당하는 픽셀" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "아래에서 맨 왼쪽은 동물 사진을, 가운데 사진은 동물의 머리 영역을 표시하는 경계 상자를\n", "맨 오른쪽 사진은 트라이맵 분할 마스크를 시각화하여 보여준다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
\n", "\n", "

<그림 출처: Deep Learning with Python(2판)>

" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**이미지 분할 모델 구성**" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이미지 분할 모델의 구성은 기본적으로 `Conv2D` 층으로 구성된 \n", "**다운샘플링 블록**downsampling block과\n", "`Conv2DTranspose` 층으로 구성된 \n", "**업샘플링 블록**upsampling block으로 이루어진다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "먼저 `Conv2D` 층을 활용하는 다운샘플링 블록으로 시작한다.\n", "이미지 분류를 위해 맥스풀링을 사용하는 대신 `Conv2D` 층에서 보폭을 2로 \n", "설정하는 이유는 픽셀에 담긴 값(정보) 뿐만 아니라 각 픽셀의 위치도 중요하기 때문이다.\n", "맥스풀링은 픽셀의 위치 정보를 무시하면서 동시에 위치와 독립적인 패턴을 알아내는 것이 중요할 때 사용된다.\n", "실제로 맥스풀링은 여러 개의 픽셀 중에 가장 큰 값을 선택하는데 선택된 픽셀의 정보는 무시한다.\n", "\n", "- 이미지 분류 모델과 동일한 기능.\n", "- 보폭(`strides=2`)을 사용하는 경우와 그렇지 않은 경우를 연속으로 적용하기에 \n", " 별도의 `MaxPooling2D`은 사용하지 않음.\n", "- 패딩(`padding=\"same\"`)을 사용하지만 보폭을 2로 두면 이미지 크기는 가로, 세로 모두 1/2로 줄어듦.\n", "- 채널 수는 동일한 방식으로 두 배씩 증가시킴." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "다운샘플링 블록에 이어 `Conv2DTranspose` 층을 활용하는 업샘플링 블록을 추가한다.\n", "\n", "- 이미지 분할 모델의 최종 출력값은 입력 이미지의 동일한 크기의 트라이맵 분할 이미지임.\n", "- `Conv2D` 층을 통과하면서 크기가 작아진 텐서를 입력 이미지 크기로 되돌리는 기능 수행.\n", "- `Conv2D` 층이 적용된 역순으로 크기를 되돌려야 함.\n", "- 모델 훈련과정에서 어떤 값들을 사용하여 모양을 되돌릴지 스스로 학습함." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "아래 그림이 업샘플링이 작동하는 과정을 보여준다.\n", "\n", "- 검정 테두리로 표시된 `2x2` 모양의 텐서에 포함된 하나의 항목에 초록색 바탕의 `3x3` 모양의 필터를 적용하면\n", " 왼편에 위치한 파랑색 바탕의 `3x3` 모양의 텐서가 생성된다.\n", "- 이 과정을 `2x2` 텐서의 모든 항목에 대해 실행한다.\n", " 단, 생성되는 `3x3` 모양의 텐서는 지정된 보폭 크기만큼 오른쪽 또는 아래로 이동시키며 겹친다.\n", "- 중첩되는 영역에 포함된 항목은 해당 항목에 대해 계산된 모든 값들의 합으로 지정한다." ] }, { "cell_type": "markdown", "metadata": { "id": "Z0JfmCB2pYvG" }, "source": [ "

\n", "\n", "

<그림 출처: Understand Transposed Convolutions>

" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "여기서 사용하는 다운/업 샘플링 블록은 다음과 같다." ] }, { "cell_type": "markdown", "metadata": { "colab_type": "code" }, "source": [ "```python\n", "def get_model(img_size, num_classes):\n", " inputs = keras.Input(shape=img_size + (3,))\n", " x = layers.Rescaling(1./255)(inputs)\n", "\n", " x = layers.Conv2D(64, 3, strides=2, activation=\"relu\", padding=\"same\")(x)\n", " x = layers.Conv2D(64, 3, activation=\"relu\", padding=\"same\")(x)\n", " x = layers.Conv2D(128, 3, strides=2, activation=\"relu\", padding=\"same\")(x)\n", " x = layers.Conv2D(128, 3, activation=\"relu\", padding=\"same\")(x)\n", " x = layers.Conv2D(256, 3, strides=2, padding=\"same\", activation=\"relu\")(x)\n", " x = layers.Conv2D(256, 3, activation=\"relu\", padding=\"same\")(x)\n", "\n", " x = layers.Conv2DTranspose(256, 3, activation=\"relu\", padding=\"same\")(x)\n", " x = layers.Conv2DTranspose(256, 3, activation=\"relu\", padding=\"same\", strides=2)(x)\n", " x = layers.Conv2DTranspose(128, 3, activation=\"relu\", padding=\"same\")(x)\n", " x = layers.Conv2DTranspose(128, 3, activation=\"relu\", padding=\"same\", strides=2)(x)\n", " x = layers.Conv2DTranspose(64, 3, activation=\"relu\", padding=\"same\")(x)\n", " x = layers.Conv2DTranspose(64, 3, activation=\"relu\", padding=\"same\", strides=2)(x)\n", "\n", " outputs = layers.Conv2D(num_classes, 3, activation=\"softmax\", padding=\"same\")(x)\n", "\n", " model = keras.Model(inputs, outputs)\n", " return model\n", "```" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "출력층으로 사용된 `Conv2D` 층의 활성화 함수로 지정된 소프트맥스 함수는\n", "출력 텐서의 마지막 축을 대상으로 작동한다.\n", "즉, `num_classes` 개의 출력맵으로 구성된 3차원 텐서의 픽셀별로 소프트맥스 함수가 적용된다.\n", "여기서는 `num_classes`가 3으로 지정된다.\n", "이유는 최종적으로 픽셀별로 0, 1, 2 중에 하나의 값을 예측해야 하기 때문이다.\n", "\n", "위 모델을 훈련시킬 때 손실함수로 `sparse_categorical_crossentropy`를 지정한다.\n", "그러면 샘플의 타깃으로 사용되는 정수 0, 1, 2가\n", "각각 `(1, 0, 0)`, `(0, 1, 0)`, `(0, 0, 1)` 에 상응하도록 작동하여\n", "타깃 샘플의 모양이 `(200, 200, 3)`인 것인양 작동하여\n", "위 모델의 출력값의 모양과 동일해진다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "`get_model(img_size=(200,200), num_classes=3)`을 호출해서 생성된 모델을 요약하면 다음과 같다.\n", "\n", "- `img_size=(200,200)`: 크기가 제 각각인 사진을 모두 지정된 크기로 변환시켜서 훈련셋으로 활용\n", "- `num_classes=3`: 최종적으로 3개의 채널을 갖는 텐서 생성. 소프트맥스 활성화 함수는 픽셀별로 적용됨." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "```python\n", "Model: \"model\"\n", "_________________________________________________________________\n", "Layer (type) Output Shape Param # \n", "=================================================================\n", "input_1 (InputLayer) [(None, 200, 200, 3)] 0 \n", "_________________________________________________________________\n", "rescaling (Rescaling) (None, 200, 200, 3) 0 \n", "_________________________________________________________________\n", "conv2d (Conv2D) (None, 100, 100, 64) 1792 \n", "_________________________________________________________________\n", "conv2d_1 (Conv2D) (None, 100, 100, 64) 36928 \n", "_________________________________________________________________\n", "conv2d_2 (Conv2D) (None, 50, 50, 128) 73856 \n", "_________________________________________________________________\n", "conv2d_3 (Conv2D) (None, 50, 50, 128) 147584 \n", "_________________________________________________________________\n", "conv2d_4 (Conv2D) (None, 25, 25, 256) 295168 \n", "_________________________________________________________________\n", "conv2d_5 (Conv2D) (None, 25, 25, 256) 590080 \n", "_________________________________________________________________\n", "conv2d_transpose (Conv2DTran (None, 25, 25, 256) 590080 \n", "_________________________________________________________________\n", "conv2d_transpose_1 (Conv2DTr (None, 50, 50, 256) 590080 \n", "_________________________________________________________________\n", "conv2d_transpose_2 (Conv2DTr (None, 50, 50, 128) 295040 \n", "_________________________________________________________________\n", "conv2d_transpose_3 (Conv2DTr (None, 100, 100, 128) 147584 \n", "_________________________________________________________________\n", "conv2d_transpose_4 (Conv2DTr (None, 100, 100, 64) 73792 \n", "_________________________________________________________________\n", "conv2d_transpose_5 (Conv2DTr (None, 200, 200, 64) 36928 \n", "_________________________________________________________________\n", "conv2d_6 (Conv2D) (None, 200, 200, 3) 1731 \n", "=================================================================\n", "Total params: 2,880,643\n", "Trainable params: 2,880,643\n", "Non-trainable params: 0\n", "_________________________________________________________________\n", "```" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "모델 컴파일과 훈련은 특별한 게 없다.\n", "단, 앞서 설명한 대로 `sparse_categorical_crossentropy`를 손실함수로 지정한다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "```python\n", "model.compile(optimizer=\"rmsprop\", \n", " loss=\"sparse_categorical_crossentropy\")\n", "```" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "GPU의 성능에 따라 아래 코드를 실행할 때 \n", "`ResourceExhaustedError: Graph execution error` 가 발생하거나\n", "파이썬 서버가 다운될 수 있다.\n", "이유는 입력 데이터 사진의 용량이 커서 GPU의 메모리가 부족해지는 현상이 발생할 수 있기 때문이다.\n", "그런 경우 배치 크기를 16 정도로 줄여야 한다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "```python\n", "callbacks = [\n", " keras.callbacks.ModelCheckpoint(\"oxford_segmentation\",\n", " save_best_only=True)\n", "]\n", "\n", "history = model.fit(train_input_imgs, train_targets,\n", " epochs=50,\n", " callbacks=callbacks,\n", "# batch_size=64, # 고성능 GPU 활용\n", " batch_size=16, # 저성능 GPU 활용\n", " validation_data=(val_input_imgs, val_targets))\n", "```" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "훈련 결과를 그래프로 시각화해서 보면\n", "과대적합이 20 에포크 정도 지나면서 발생함을 확인할 수 있다. " ] }, { "cell_type": "markdown", "metadata": { "id": "Z0JfmCB2pYvG" }, "source": [ "

" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "참고로 배치 크기를 64로 할 경우 25 에포크 정도 지나면서 과대적합이 발생한다." ] }, { "cell_type": "markdown", "metadata": { "id": "Z0JfmCB2pYvG" }, "source": [ "

" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "훈련중 저장된 최고 성능의 모델을 불러와서 이미지 분할을\n", "어떻게 진행했는지 하나의 이미지에 대해 테스트해보면\n", "원본 이미지에 포함된 다른 사물이나 배경 때문에 약간의 잡음이 있지만\n", "대략적으로 이미지 분할을 잘 적용함을 알 수 있다." ] }, { "cell_type": "markdown", "metadata": { "id": "Z0JfmCB2pYvG" }, "source": [ "
\n", "\n", "

<그림 출처: Deep Learning with Python(2판)>

" ] }, { "cell_type": "markdown", "metadata": { "colab_type": "text" }, "source": [ "## CNN 아키텍처 주요 유형" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**모델 아키텍처**model architecture는 모델 설계방식을 의미하며\n", "심층 신경망 모델을 구성할 때 매우 중요하다.\n", "신경망 모델은 주어진 문제와 데이터셋에 따라 적절한 층을 적절하게 구성해야 한다.\n", "적절한 모델 아키텍처를 사용할 수록 적은 양의 데이터로 보다 빠르게\n", "좋은 성능의 모델을 얻을 가능성이 높아진다. \n", "하지만 아쉽게도 좋은 모델 아키텍처와 관련되어 정해진 이론은 없다.\n", "대신 많은 경험을 통한 직관이 모델 구성에 보다 중요하다. " ] }, { "cell_type": "markdown", "metadata": { "colab_type": "text" }, "source": [ "### 모듈(블록), 계층, 재활용" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "합성곱 신경망 모델을 포함하여 주요 신경망 모델의 아키텍처는 다음 두 가지 특징을 갖는다.\n", "\n", "첫째, 깊게 쌓아 올린 합성곱 신경망 모델은 기본적으로 **모듈**module을 \n", "**계층**hierarchy으로 쌓아 올린 구조를 갖는다.\n", "여기서 모듈은 여러 개의 층layer으로 구성되며 **블록**block이라 불리기도 한다.\n", "하나의 모듈(블록)이 여러 번 **재활용**reuse 된다. \n", "예를 들어, {numref}`%s장 `에서 다룬 VGG16 모델은 \"Conv2D, Conv2D, MaxPooling2D\" 로 구성된 모듈(블록)을 \n", "재활용하여 계층으로 쌓아 올렸다. \n", "\n", "둘째, 대부분의 합성곱 신경망 모델은 **특성 피라미드** 형식의 계층적 구조를 사용하는 점이다.\n", "VGG16의 경우에 필터 수를 32, 64, 128 등으로 수를 늘리는 반면에 특성맵feature maps의 \n", "크기는 그에 상응하여 줄여 나간다(아래 그림 참고)." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
\n", "\n", "

<그림 출처: Unveiling the Secrets of the VGG Model>

" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "그런데 블록을 연결하는 계층을 높게 쌓으면 그레이디언트 소실 문제 등으로 인해\n", "모델의 훈련이 잘 이뤄지지 않는다.\n", "이를 해결하는 다양한 해결책이 개발되었으며\n", "여기서는 합성곱 신경망 구성에 사용되는 세 개의 주요 아키텍처 유형을 살펴본다.\n", "\n", "- 잔차 연결residual connections\n", "- 배치 정규화batch normalization\n", "- 채널 분리 합성곱depthwise separable convolutions" ] }, { "cell_type": "markdown", "metadata": { "colab_type": "text" }, "source": [ "### 잔차 연결" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "일반적으로 많은 유닛이 포함된 층을 몇 개 쌓는 것보다\n", "적은 유닛이 포함된 층을 높이 쌓을 때 모델의 성능이 좋아진다. \n", "하지만 층을 높이 쌓을 수록\n", "전달되어야 하는 손실값(오차)의 **그레이디언트 소실 문제**vanishing gradient problem가 \n", "발생하여 역전파가 제대로 작동하지 못한다. \n", "이 문제를 극복하기 위해 제시된 대표적인 아키텍처(설계방식)가 **잔차 연결**residual connections이다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "아래 그림은 블록(모듈)의 입력값을 모델을 통과하여 생성된 출력값과 합쳐서 다음 모델으로 전달하는 아키텍처를 보여준다.\n", "이 방식을 통해 모델의 입력값에 대한 정보가 보다 정확하게 상위 모델에 전달되어,\n", "그레이디언트 소실 문제를 해결하는 데에 많은 도움을 준다.\n", "실제로 잔차 연결을 이용하면 모델을 매우 높게 쌓아도 모델 훈련이 가능해질 수 있다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
\n", "\n", "

<그림 출처: Deep Learning with Python(2판)>

" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ ":::{admonition} ResNet 모델\n", ":class: info\n", "\n", "잔차 연결 아키텍처는 2015년에 소개된 ResNet 계열의 모델에서 처음 사용되었으며,\n", "2015년 ILSVRC 이미지 분류 경진대회에서 1등을 차지했다.\n", ":::" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**잔차 연결 핵심: 모양 맞추기**" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "잔차 연결을 사용할 때 주의해야할 기본사항은 모듈의 입력텐서와 출력테서의 모양을 맞추는 일이다.\n", "이때 맥스풀링 사용여부에 따라 보폭(`strides`)의 크기가 달라진다.\n", "\n", "- 맥스풀링을 사용하지 않는 경우: `Conv2D`에서 사용된 필터 수를 맞추는 데에만 주의하면 된다.\n", "\n", " - `Conv2D` 층: `padding=\"same\"` 옵션을 사용하여 모양을 유지\n", " - 필터 수가 변하는 경우: 잔차에 `Conv2D` 층을 이용하여 필터 수를 맞춤. 필터 크기는 `1x1` 사용.\n", " 활성화 함수는 없음.\n", "\n", " ```python\n", " inputs = keras.Input(shape=(32, 32, 3))\n", " x = layers.Conv2D(32, 3, activation=\"relu\")(inputs)\n", " residual = x\n", " x = layers.Conv2D(64, 3, activation=\"relu\", padding=\"same\")(x) # padding 사용\n", " residual = layers.Conv2D(64, 1)(residual) # 필터 수 맞추기\n", " x = layers.add([x, residual])\n", " ```" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "- 맥스풀링을 사용하는 경우: 보폭을 활용해야 한다.\n", " - 잔차에 `Conv2D` 층을 적용할 때 보폭 사용\n", "\n", " ```python\n", " inputs = keras.Input(shape=(32, 32, 3))\n", " x = layers.Conv2D(32, 3, activation=\"relu\")(inputs)\n", " residual = x\n", " x = layers.Conv2D(64, 3, activation=\"relu\", padding=\"same\")(x)\n", " x = layers.MaxPooling2D(2, padding=\"same\")(x) # 맥스풀링\n", " residual = layers.Conv2D(64, 1, strides=2)(residual) # 보폭 사용\n", " x = layers.add([x, residual])\n", " ```" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**예제**\n", "\n", "아래 코드는 잔차 연결을 사용하는 활용법을 보여준다.\n", "맥스풀링과 필터 수에 따른 구분을 사용함에 주의하라." ] }, { "cell_type": "markdown", "metadata": { "colab_type": "code" }, "source": [ "```python\n", "# 입력층\n", "inputs = keras.Input(shape=(32, 32, 3))\n", "x = layers.Rescaling(1./255)(inputs)\n", "\n", "# 은닉층\n", "def residual_block(x, filters, pooling=False):\n", " residual = x\n", " x = layers.Conv2D(filters, 3, activation=\"relu\", padding=\"same\")(x)\n", " x = layers.Conv2D(filters, 3, activation=\"relu\", padding=\"same\")(x)\n", " if pooling: # 맥스풀링 사용하는 경우\n", " x = layers.MaxPooling2D(2, padding=\"same\")(x)\n", " residual = layers.Conv2D(filters, 1, strides=2)(residual)\n", " elif filters != residual.shape[-1]: # 필터 수가 변하는 경우\n", " residual = layers.Conv2D(filters, 1)(residual)\n", " x = layers.add([x, residual])\n", " \n", " return x\n", "\n", "x = residual_block(x, filters=32, pooling=True)\n", "x = residual_block(x, filters=64, pooling=True)\n", "x = residual_block(x, filters=128, pooling=False)\n", "\n", "x = layers.GlobalAveragePooling2D()(x) # 채널 별로 하나의 값(채널 평균값) 선택\n", "\n", "# 출력층\n", "outputs = layers.Dense(1, activation=\"sigmoid\")(x)\n", "\n", "# 모델 설정\n", "model = keras.Model(inputs=inputs, outputs=outputs)\n", "```" ] }, { "cell_type": "markdown", "metadata": { "colab_type": "text" }, "source": [ "### 배치 정규화" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**정규화**normalization는 \n", "다양한 모양의 샘플을 정규화를 통해 보다 정규 분포를 따르도록 만든다.\n", "이를 통해 모델의 학습을 도와주고 결국 훈련된 모델의 일반화 성능을 올려준다.\n", "지금까지 살펴 본 정규화는 모델의 입력 데이터를 전처리 과정에서 평균을 0으로, \n", "표준편차를 1로 만드는 방식이었다. \n", "이는 데이터셋이 정규 분포를 따른다는 가정 하에 진행된 정규화였다.\n", "아래 그림은 주택가격 예측 데이터의 특성 중에 주택가격과 건축년수를 정규화한 경우(오른편)와 그렇지 않는 경우(왼편)의\n", "데이터 분포의 변화를 보여준다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
\n", "\n", "

<그림 출처: Batch Normalization — Speed up Neural Network Training>

" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ ":::{admonition} 정규 분포와 머신러닝\n", ":class: info\n", "\n", "정규 분포를 따르지 않는 데이터에 대한 분석은 기본적으로 머신러닝(딥러닝) 기법을 적용할 수 없다.\n", ":::" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "하지만 입력 데이터셋에 대한 정규화가 층을 통과한 출력값의 정규화를 보장하는 것은 아니다.\n", "따라서 다음 층으로 넘겨주기 전에 정규화를 먼저 진행하면 보다 훈련이 잘 될 수 있다.\n", "더 나아가 출력값을 먼저 정규화한 후에 활성화 함수를 적용할 때 보다 좋은 성능의 모델이 구현될 수 있음이\n", "밝혀지기도 했다. " ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
\n", "\n", "

<그림 출처: Batch Normalization — Speed up Neural Network Training>

" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**배치 정규화**batch normalization가 바로 앞서 설명한 기능을 대신 처리하며,\n", "2015년에 발표된 한 논문에서 소개되었다. \n", "케라스의 경우 `layers.BatchNormalization` 층이 배치 정규하를 지원한다.\n", "배치 정규화를 실행하는 함수를 넘파이 어레이로 다음과 같이 구현할 수 있다.\n", "\n", "```python\n", "def batch_normalization(batch_of_images): \n", " mean = np.mean(batch_of_images, keepdims=True, axis=(0, 1, 2)) \n", " variance = np.var(batch_of_images, keepdims=True, axis=(0, 1, 2)) \n", " return (batch_of_images - mean) / variance\n", "```" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "아래 그림은 배치 정규화 층에서 입력 배치를 대상으로 정규화를 진행하는 과정을 시각화한다.\n", "입력 텐서의 모양은 (N, H, W, C) 라고 가정한다.\n", "\n", "- N: 배치 크기\n", "- H와 W: 높이와 너비\n", "- C: 채널 수\n", "\n", "즉, 배치 정규화는 배치에 포함된 모든 샘플을 대상으로 채널 단위로 계산된 평균값과 표준편차를 \n", "이용하여 각각의 샘플에 대해 정규화를 진행한다.\n", "즉, 배치에 포함된 모든 샘플에 대해 동일한 평균값과 표준편차를 이용한다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "배치 정규화로 인한 모델 성능 향상에 대한 구체적인 이론은 아직 존재하지 않는다.\n", "다만 경험적으로 합성곱 신경망 모델의 성능에 많은 도움을 준다는 사실만 알려져 있다.\n", "잔차 연결과 함께 배치 정규화 또한 모델 훈련과정에 그레이디언트 역전파에 도움을 주어\n", "매우 깊은 심층 신경망 모델의 훈련에 도움을 준다.\n", "예를 들어, ResNet50, EfficientNet, Xception 모델 등은 배치 정규화 없이는 제대로 훈련되지 않는다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**배치 정규화 사용법**" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "`BatchNormalization` 층을 `Conv2D`, `Dense` 등 임의의 층 다음에 사용할 수 있다.\n", "주로 사용되는 형식은 다음과 같다.\n", "\n", "```python\n", "x = ...\n", "x = layers.Conv2D(32, 3, use_bias=False)(x)\n", "x = layers.BatchNormalization()(x)\n", "x = layers.Activation(\"relu\")(x)\n", "x = ...\n", "```\n", "\n", "- `use_bias=False` 옵션: 배치 정규화에 의해 어차피 데이터의 평균값을 0으로 만들기에 굳이 편향bias 파라미터를\n", " 훈련 과정 중에 따로 학습시킬 이유가 없다. 따라서 학습되어야 할 파라미터 수가 아주 조금 줄어들어\n", " 학습 속도가 그만큼 빨라진다.\n", "- 활성화 함수 사용 위치: 배치 정규화 이후에 활성화 함수를 실행한다. \n", " 이를 통해 `relu()` 활성화 함수의 기능을 극대화할 수 있다(고 주장된다)." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**모델 미세조정과 배치 정규화**" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "배치 정규화 층이 포함된 모델을 미세조정할 때 배치 정규화 층도 함께 동결(freeze)할 것을 추천한다. \n", "배치 정규화 층을 동결하면 \n", "재활용되는 모델이 기존 훈련과정에서 사용한 훈련 데이터셋 전체를 대상으로 계산된 평균값과 분산이 대신 활용된다.\n", " \n", "이렇게 하는 이유는 미세조정의 경우 훈련셋의 데이터가 모델이 기존에 훈련했을 때의 훈련셋과 비슷하다고 전제하기 때문이다.\n", "만약에 많이 다른 훈련셋으로 미세조정을 진행하면 동결해제된 모델의 파라미터가 급격하게 달라지게 되여 \n", "모델의 성능이 오히려 떨어질 수 있다(라고 추정된다)." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**예제**" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "아래 그림은 2017년에 소개된 Xception 모델의 구조를 보여준다. \n", "빨강색 사각형으로 표시된 부분에 `BatchNormalization` 층이 사용되었다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
\n", "\n", "

<그림 출처: Xception: Deep Learning with Depthwise Separable Convolutions>

" ] }, { "cell_type": "markdown", "metadata": { "colab_type": "text" }, "source": [ "### 채널 분리 합성곱" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "케라스의 `SeparableConv2D` 층은 `Conv2D` 층보다\n", "적은 수의 가중치 파라미터를 사용하여 보다 적은 양의 계산으로 성능이 좀 더 좋은 모델을 생성한다. \n", "2017년 Xception 모델 논문에서 소개되었으며 당시 최고의 이미지 분류 성능을 보였다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ ":::{admonition} Top 1 / Top 5 정확도\n", ":class: note\n", "\n", "최신 이미지 분류 모델의 성능은 \n", "[Image Classification on ImageNet](https://paperswithcode.com/sota/image-classification-on-imagenet)에서\n", "확인할 수 있다.\n", "2023년 기준으로 최고 성능 모델의 Top 1 정확도는 91.1%,\n", "Top 5 정확도는 99.02% 정도이다. \n", "\n", "- Top 1 정확도: 분류 모델이 모든 클래스에 대해 예측한 확률값 중에 가장 높은 확률값을 갖는 클래스가 실제 타깃과 일치할 확률\n", "- Top 5 정확도: 분류 모델이 모든 클래스에 대해 예측한 확률값 중에 가장 높은 5 개의 확률값을 갖는 \n", " 5개의 클래스 중에 실제 타깃이 포함된 확률\n", ":::" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**SeparableConv2D 작동법**" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "`SeparableConv2D`는 필터를 채널 별로 적용한 후\n", "나중에 채널 별 결과를 합친다.\n", "이렇게 작동하는 층이 **채널 분리 합성곱**(depthwise separable convolution) 층이며\n", "아래 그림처럼 채널 별로 생성된 결과를 합친 후 `1x1` 합성곱 신경망을 통과시킨다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
\n", "\n", "

<그림 출처: Deep Learning with Python(2판)>

" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**SeparableConv2D 작동 원리**" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이미지에 저장된 정보가 채널 별로 서로 독립적이라는 가정을 사용한다. \n", "따라서 채널 별로 서로 다른 필터를 사용한 후 결과들을 `1x1` 모양의 필터를 사용하여 합친다.\n", "이때 원하는 종류의 채널 수 만큼의 `1x1` 모양의 필터를 사용하여\n", "다양한 정보를 추출한다.\n", "\n", "`Conv2D`와 `SeparableConv2D`의 서로 다른 작동과정은 다음과 같이 설명된다. " ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "- `Conv2D` 작동 원리\n", " - `padding=\"same\"` 옵션 사용한 경우\n", " - 필터 1개 사용" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "- `SeparableConv2D` 작동 원리\n", " - `padding=\"same\"` 옵션 사용한 경우\n", " - 필터 1개 사용" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
\n", "\n", "

<그림 출처: Depth-wise Convolution and Depth-wise Separable Convolution>

" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**층의 파라미터 개수 비교**" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "채널 분리 합성곱 신경망이 `Conv2D` 층을 사용하는 경우보다 몇 배 이상 적은 수의\n", "파라미터를 사용한다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "경우 1(위 그림): `3x3` 모양의 필터 64개를 3개의 채널을 갖는 입력 데이터에 사용할 경우\n", "\n", "- `Conv2D`의 경우: `3*3*3*64 = 1,728`\n", "- `SeparableConv2D`의 경우: `3*3*3 + 3*64 = 219`" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "경우 2: `3x3` 모양의 필터 64개를 10개의 채널을 갖는 입력 데이터에 사용할 경우\n", "\n", "- `Conv2D`의 경우: `3*3*10*64 = 5,760`\n", "- `SeparableConv2D`의 경우: `3*3*10 + 10*64 = 730`" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**채널 분리 합성곱의 약점**" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "채널 분리 합성곱의 연산이 CUDA에서 제대로 지원되지 않는다.\n", "따라서 GPU를 사용하더라도 기존 `Conv2D` 층만을 사용한 모델에 비해\n", "학습 속도에 별 차이가 없다. \n", "즉 채널 분리 합성곱이 비록 훨씬 적은 수의 파라미터를 학습에 사용하지만\n", "이로 인해 시간상의 이득은 주지 않는다.\n", "하지만 적은 수의 파라미터를 사용하기에 일반화 성능이 보다 좋은 모델을\n", "구현한다는 점이 매우 중요하다.\n", "\n", "**참고**: CUDA와 cuDNN\n", "\n", "- CUDA(Compute Unified Device Architecture)\n", " - CPU와 GPU를 동시에 활용하는 병렬 컴퓨팅을 지원하는 플랫폼\n", " - C, C++, Fortran 등의 저수준 언어 활용\n", "- cuDNN(CUDA Deep Neural Network): CUDA를 활용하여 딥러닝 알고리즘의 실행을 지원하는 라이브러리\n", " - Conv2D 등 특정 딥러닝 알고리즘에 대해서만 최적화됨." ] }, { "cell_type": "markdown", "metadata": { "colab_type": "text" }, "source": [ "**미니 Xception 모델**" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "미니 Xception 모델을 직접 구현하여 강아지-고양이 이항분류 작업을 실행해본다.\n", "모델 구현에 사용되는 기법을 정리하면 다음과 같다.\n", "\n", "- 모듈을 쌓을 수록 필터 수는 증가시키고, 텐서 크기는 감소시킨다.\n", "- 층의 파라미터 수는 가능한 적게 유지하고 모듈은 높게 쌓는다.\n", "- 잔차 연결을 활용한다.\n", "- 모든 합성곱 층 이후에는 배치 정규화를 적용한다.\n", "- 채널 분리 합성곱 신경망을 활용한다.\n", "\n", "여기서는 비록 이미지 분류 모델을 예제로 활용하지만 앞서 언급된 기법은 \n", "컴퓨터 비전 프로젝트 일반에 적용될 수 있다.\n", "예를 들어 [DeepLabV3 모델](https://arxiv.org/abs/1802.02611)은 \n", "Xception 모델을 이용하는 2021년 기준 최고의 이미지 분할 모델이다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "사용하는 데이터셋은 {numref}`%s장 `에서 \n", "사용한 캐글(kaggle)의 강아지-고양이 데이터셋이며,\n", "데이터 증식층, 합성곱 층, 채널 분리 합성곱 층을 이용하여\n", "아래와 같이 이진 분류 모델을 구성한다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "```python\n", "# 데이터 증식 층\n", "data_augmentation = keras.Sequential(\n", "[layers.RandomFlip(\"horizontal\"),\n", " layers.RandomRotation(0.1),\n", " layers.RandomZoom(0.2)]\n", ")\n", "\n", "# 입력층\n", "inputs = keras.Input(shape=(180, 180, 3))\n", "x = data_augmentation(inputs)\n", "\n", "x = layers.Rescaling(1./255)(x)\n", "\n", "# 하나의 Conv2D 은닉층\n", "x = layers.Conv2D(filters=32, kernel_size=5, use_bias=False)(x)\n", "\n", "# SeparableConv2D, BatchNormalization, MaxPooling2D 층으로 구성된 모듈 쌓기\n", "# 잔차 연결 활용\n", "for size in [32, 64, 128, 256, 512]: # 필터 수\n", " residual = x\n", "\n", " x = layers.BatchNormalization()(x)\n", " x = layers.Activation(\"relu\")(x)\n", " x = layers.SeparableConv2D(size, 3, padding=\"same\", use_bias=False)(x)\n", "\n", " x = layers.BatchNormalization()(x)\n", " x = layers.Activation(\"relu\")(x)\n", " x = layers.SeparableConv2D(size, 3, padding=\"same\", use_bias=False)(x)\n", "\n", " x = layers.MaxPooling2D(3, strides=2, padding=\"same\")(x)\n", "\n", " # 잔차 연결\n", " residual = layers.Conv2D(size, 1, strides=2, padding=\"same\", use_bias=False)(residual)\n", " x = layers.add([x, residual])\n", "\n", "# 마지막 은닉층은 GlobalAveragePooling2D과 Dropout\n", "x = layers.GlobalAveragePooling2D()(x) # flatten 역할 수행(채널 별 평균값으로 구성)\n", "x = layers.Dropout(0.5)(x)\n", "\n", "# 출력층\n", "outputs = layers.Dense(1, activation=\"sigmoid\")(x)\n", "\n", "# 모델 지정\n", "model = keras.Model(inputs=inputs, outputs=outputs)\n", "```" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이진 분류 모델의 훈련을 시작한 후 50번 정도의 에포크 실행 후에 과대적합이 발생한다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
\n", "\n", "

<그림 출처: Deep Learning with Python(2판)>

" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "직접 구현한 모델이지만 테스트셋에 대한 정확도가 90% 정도 나오며, \n", "{numref}`%s장 `에서 직접 구현해서 훈련시킨 모델의 성능인 83% 정도보다 훨씬 높게 나온다.\n", "보다 성능을 높이려면 하이퍼파라미터를 조정하거나 앙상블 학습을 적용한다 ({numref}`%s장 ` 참고). " ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## KerasCV 라이브러리" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "[KerasCV](https://keras.io/guides/keras_cv/)는 컴퓨터 비전에서 활용될 수 있는 케라스 라이브러리 모음집이다.\n", "[유튜브: Applied ML with KerasCV and KerasNLP](https://www.youtube.com/watch?v=K2PKZS1fPlY&t=771s)에서 KerasCV에 대한 간략한 소개를 시청할 수 있다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 연습 문제" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "1. [(실습) 고급 컴퓨터 비전](https://colab.research.google.com/github/codingalzi/dlp2/blob/master/excs/exc-computer_vision_advanced.ipynb)\n", "1. [ink detection with Keras](https://www.kaggle.com/code/aritrag/0-11-keras-starter-unet-tf-data-pipeline/notebook) 내용 학습 후 깃허브 페이지에 블로그 작성하기" ] } ], "metadata": { "colab": { "collapsed_sections": [], "name": "dlp09_part01_image_segmentation", "private_outputs": false, "provenance": [], "toc_visible": true }, "kernelspec": { "display_name": "Python 3 (ipykernel)", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.11.5" }, "vscode": { "interpreter": { "hash": "33b995ba57ec8806df76ad412cbfca6e91844af7e84c0aab5f00a2382a2b11c8" } } }, "nbformat": 4, "nbformat_minor": 1 }