1장 한눈에 보는 머신러닝

주요 내용

  1. 모델 기반 학습
    • 선형 회귀
  2. 머신러닝의 주요 도전 과제
    • 대표성 없는 훈련 데이터
    • 과대적합과 모델 규제
  3. 사례 기반 학습
    • k-최근접 이웃 회귀

참고: 핵심 설명과 코드는 🔑로 표시되었으며 굳이 알아둘 필요가 없는 코드는 ✋로 표시되었다.

기본 설정

파이썬 3을 이용한다.

다음은 주피터 노트북에서 그래프를 깔금하게 그리기 위한 설정이다.

필요한 모듈은 다음과 같다.

모델 기반 학습

선형회귀 모델을 학습시키는 과정을 통해 다섯 단계로 이루어진 머신러닝 문제해결의 전형적인 과정을 살펴본다.

  1. 문제 정의
  2. 데이터 구하기
  3. 데이터 적재, 정제, 전처리
  4. 모델 선택과 훈련
  5. 학습된 모델 활용

✋ 그래프 저장 함수 선언

아래 save_fig() 함수는 지정된 디렉토리에 생성된 도표를 저장하는 함수이다. 저자 본인이 책에 사용될 도표를 저장해 두기 위해 정의한 것으로 보인다. 코드 이해를 위해 전혀 필요없는 부분이지만, 이런 용도의 함수를 정의할 수 있다는 정도는 기억해 두어야 한다.

무작위성 시드 지정

실행할 때 마다 동일한 결과가 나오도록 무작위 함수들의 시드(seed)를 지정한다.

참고: 실습용 데이터에 무작위로 생성된 데이터를 더해 훈련 효과를 높이는 경우가 많다. 따라서 동일한 코드를 반복 실행할 때 동일한 결과를 생성하도록 무작위성의 시드를 지정한다. 사용되는 시드번호는 중요하지 않다.

1단계: 문제 정의

어느 국가의 1인당 GDP가 알려졌을 때 해당 국가의 삶의 만족도를 예측하는 모델(함수)을 구현한다.

2단계: 데이터 구하기

1인당 GDP와 삶의 만족도 사이의 관계를 예측하는 모델을 구현하기위해 소위 모델 훈련 과정을 실행해야 한다. 모델 훈련을 위해 필요한 데이터셋(데이터 집합)을 훈련 세트라 부르며, 훈련 세트는 입력 데이터와 타깃(target) 데이터로 구분된다. 그러면 모델 훈련은 준비된 훈련 세트의 입력 데이터와 타깃 데이터 사이의 관계를 가장 적절하게 묘사하는 특정 모델(함수)을 학습해가는 과정이다.

1인당 GDP와 삶의 만족도 사이의 관계를 가장 적절하게 묘사하는 모델(함수)를 훈련시키기 위해 사용되는 훈련 세트는 여기서는 다음과 같다.

여기서는 2015년 기준 자료를 아래 링크에서 미리 준비된 두 개의 데이터 파일을 다운로드하는 것으로 대체한다. 다만 실제 자료를 아래와 같이 잘 정리된 데이터 파일로 만드는 과정이 일반적으로 간단하지 않다는 점만을 언급해둔다.

다운로드 경로는 다음과 같다.

위 경로에 파일의 이름을 추가하면 해당 파일을 다운로드하여 컴퓨터에 저장할 수 있다. 하지만 컴퓨터에 저장하는 대신 이어서 설명하는 데이터 적재를 동시에 진행하는 것으로 데이터 구하기 단계를 해결한다.

3단계: 데이터 적재, 정제, 전처리

컴퓨터에 저장된 또는 다운로드된 데이터는 일반적으로 바로 모델 훈련에 사용할 수 없으며, 데이터 적재, 데이터 정제, 데이터 전처리 등의 과정을 거쳐야 비로소 모델 훈련에 활용될 수 있다.

1인당 GDP 데이터 적재, 정제, 전처리

아래 코드는 IMF 에서 다운로드한 csv 파일에서 2015년 기준 국가별 1인당 GDP 관련 데이터를 데이터프레임 객체로 불러온다.

총 190개 국가의 1인당 GDP 정보를 담고 있다.

국가명을 행 인덱스로 지정한다.

이어서 1인당 GDP 데이터임을 명시하기 위해 열 이름 "2015"를 "GDP per capita"로 변경한다.

삶의 만족도 데이터 적재, 정제, 전처리

OECD 국가별 삶의 만족도 데이터는 '더 나은 삶의 지수' 데이터 파일에 포함되어 있다. 따라서 먼저 해당 csv 파일을 판다스의 데이터프레임 객체로 불러온 후에 삶의 만족도와 관련된 내용을 추출하는 과정을 밟는다.

생성된 데이터프레임의 모양은 다음과 같다.

처음 5행를 살펴보자.

국가별 삶의 만족도는 'Life satisfaction'이라는 측정지표('Indicator') 열(column)의 특성값 중에 하나이다. 총 24개 측정지표가 사용되며 그중에 하나임을 확인할 수 있다.

그런데 삶의 만족도와 관련된 행이 OECD 회원국의 수인 37보다 많다. 이는 삶의 만족도와 관련해서 데이터의 중복이 있다는 것을 의미한다.

무엇이 중복되었는지를 알아내기 위해 OECD 회원국가별로 'Indicator' 열에 포함된 24개 측정지표에 해당하는 값(value)만을 따로 추출해보자. 즉, '더 나은 삶의 지수'(BLI, Better Life Index) 자료(2021년 5월 18일 자)에서 볼 수 있는 아래 테이블 이미지와 같은 데이터프레임을 생성하고자 한다.

이를 위해 국가명('Country' 열의 항목)을 행의 인덱스 이름으로, 'Indicator'의 항목을 열의 인덱스 이름으로 사용하는 데이터프레임을 생성한다. 해당 열과 항목에 해당하는 값은 'Value' 열에 포함된 값을 사용한다.

이 작업을 위한 전제조건으로 새로운 데이터프레임에 사용될 항목별 값을 유일하게 지정할 수 있어야 한다. 그런데 OECD의 원본 파일에는 각 측정지표의 값으로 국가별 소득 불평등('INEQUALITY')과 관련된 5가지 기준에 따라 다섯 개의 값이 포함되어 있다(위 이미지 좌상단 화살표 참조).

기준 기호 대상
Total TOT 전체 인구
Men MN 남성
Wemen WMN 여성
High HGH 상위 소득
Low LW 하위 소득

각 기준별 행의 개수는 다음과 같다.

따라서 먼저 하나의 기준을 선택해서 해당 기준에 맞는 행들만 추출한다. 여기서는 전체 인구를 대상으로 하는 기준을 사용한다.

앞서 확인한 대로 총 888행으로 이루어진 데이터프레임이다.

여기서 37 * 24 = 888이 성립함에 주목해야 한다. 왜냐하면 이는 위데이터프레임이 37개 OECD 회원국별로 24개의 지표를 조사한 데이터를 포함한다는 의미이기 때문이다. 또한 측정된 지표값은 'Value' 열에 포함되어 있다.

이제 데이터프레임 객체의 pivot() 메서드를 이용하여 'Indicator' 의 항목에 대한 각 국가별 수치만을 추출하기 위해 국가명('Country' 열의 항목)을 행의 인덱스 이름으로, 'Indicator'의 항목을 열의 인덱스 이름으로 사용하면서 해당 행과 열의 항목에는 'Value' 열에 포함된 값을 사용하는 데이터프레임을 아래와 같이 생성할 수 있다.

이제 총 37개 국가의 측정지표별 수치를 확인하면 다음과 같다.

참고로 대한민국의 측정지표별 수치는 다음과 같다(위 이미지 중간의 파란띠로 구분된 영역 참조).

알파벳 순으로 첫 5개 국가의 삶의 만족도는 "Life satisfaction" 열(column)에서 확인할 수 있다.

데이터 병합

앞서 살펴본 대로 1인당 GDP 데이터는 OECD 회원국 이상의 국가 데이터가 포함되어 있다. OECD 회원국으로 제한해서 1인당 GDP와 삶의 만족도 사이의 관계를 파악하기 위해 여기서는 앞서 구한 두 개의 데이터프레임을 하나로 병합하는 방식을 이용한다. 더 나은 삶의 지수에서는 삶의 만족도를, GDP 데이터에서는 1인당 GDP 열만 이용하며 국가명을 기준으로 하면 자연스럽게 OECD 회원국에 해당하는 행만 추출된다.

참고: OECD 회원국들만 대상으로 하기 위해 left_index=True와 right_index=True로 설정한다.

4단계: 모델 선택과 훈련

1인당 GDP와 삶의 만족도 사이의 선형 관계를 확인하기 위해 국가를 1인당 GDP 기준 오름차순으로 정렬시킨다.

아래 코드는 이어서 다룰 선형회귀 모델의 적합도를 설명하기 위해 고의로 7개 국가의 데이터를 데이터셋에서 제외시킨다.

제외된 7개 국가의 1인당 GDP와 삶의 만족도 데이터는 다음과 같다.

선형 관계 확인

아래 코드는 앞서 언급된 7개 국가의 데이터를 제외한 국가들의 1인당 GDP와 삶의 만족도 사이의 관계를 산점도로 나타낸다. 선형관계를 잘 보여주는 5개 국가는 빨간색 점으로 표시한다.

언급된 5개 국가의 1인당 GDP와 삶의 만족도를 데이터에서 직접 확인하면 다음과 같다.

위 산점도에 따르면 1인당 GDP와 삶의 만족도가 어느 정도 선형 관계에 있는 것처럼 보인다. 그런데 어떤 선형관계가 가장 적절한가를 판단해야 한다. 예를 들어, 아래 도표에서 그려진 세 개의 직선 중에서는 파랑색 실선이 선형 관계를 가장 적절하게 나타낸다.

선형회귀 모델

위 그림에서처럼 y축의 값이 x축의 값에 선형적으로 의존하는 관계를 선형관계라 하며, 그런 선형관계를 함수로 구현하는 모델을 선형회귀 모델(linear regression model)이라 하며, 여기서는 선형회귀 모델이 1인당 GDP 하나를 인자로 사용하는 1차 함수 형식으로 구현된다. 그리고 1차 함수 모델은 직선의 절편(y축과 만나는 점)과 기울기 두 개의 값을 알면 바로 구현할 수 있다. 절편과 기울기처럼 모델 구현에 사용되는 값들을 모델 파라미터(model parameters)라 하며, 바로 이런 값들을 찾아내는 것이 머신러닝 모델훈련의 주요 과제이다.

정리하면 다음과 같다. '1인당 GDP'와 '삶의 만족도' 사이의 선형관계를 최대한 잘 반영하는 선형회귀 모델은 아래 식을 만족시키는 적절한 절편 $\theta_0$과 기울기 $\theta_1$에 의해 결정된다.

$$ \text{'삶의만족도'} = \theta_0 + \theta_1 \cdot \text{'1인당GDP'} $$

사이킷런 라이브러리 활용 선형회귀 모델 훈련

사이킷런(scikit-learn) 라이브러리는 머신러닝에서 사용되는 다양한 모델의 기본적인 틀(basic models)들을 제공한다. 선형회귀의 경우 LinearRegression 클래스의 객체를 생성하여 훈련시키면 최적의 절편과 기울기를 계산해준다. 모델을 지정하고 훈련시키는 과정은 다음과 같다.

입력 데이터 훈련 세트에 포함된 모든 데이터 샘플을 항목으로 갖는다. 여기서는 각 샘플 데이터가 1인당 GDP에 해당하는 한 개의 값으로 이루어져 있기에 길이가 일인 1차원 어레이로 표현된다. 일반적으로는 하나의 훈련 샘플 데이터는 다양한 특성을 가진, 즉, 길이가 1보다 큰 1차원 어레이로 표현된다. 따라서 모든 입력 데이터를 아래와 같은 $m$x$n$ 모양의 2차원 어레이로 표현할 수 있다.

$$ \mathbf{X}_{\textit{train}} = \begin{bmatrix} \mathbf{x}_{1}^{(1)} & \mathbf{x}_{2}^{(1)} & \cdots & \mathbf{x}_{n}^{(1)}\\ \mathbf{x}_{1}^{(2)} & \mathbf{x}_{2}^{(2)} & \cdots & \mathbf{x}_{n}^{(2)}\\ & \vdots & \\ \mathbf{x}_{1}^{(m)} & \mathbf{x}_{2}^{(m)} & \cdots & \mathbf{x}_{n}^{(m)} \end{bmatrix} $$

처음 5개의 입력 데이터는 다음과 같다.

타깃값 또한 여러 개의 값으로 이루어져 있는 경우가 있기 때문에 각 훈련 데이터 샘플에 대한 타깃도 1차원 어레이로 표현된다. 따라서 타깃 데이터 세트 역시 2차원 어레이로 다뤄진다.

처음 5개의 입력 데이터 샘플에 대한 타깃은 다음과 같다.

훈련된 모델이 알아낸 최적 선형 모델의 절편과 기울기는 아래 두 속성에 저장된다.

구해진 기울기와 절편을 이용하여 산점도와 함께 직선을 그리면 다음과 같다.

5단계: 학습된 모델 활용

훈련된 모델을 이용하여 한 국가의 삶의 만족도를 1인당 GDP를 이용하여 예측한다. 예를 들어, OECD 비회원국인 키프러스(Cyprus)의 1인당 GDP가 다음과 같이 알려져 있을 때 키프러스 국민의 삶의 만족도를 예측한다.

훈련된 모델의 predict() 메서드를 이용하면 키프러스 국민의 삶의 만족도는 5.96 정도로 예측된다.

아래 도표에서 확인할 수 있듯이 예측값은 정확하게 앞서 확인한 최적의 직선 위에 위치한다.

머신러닝의 주요 도전 과제

머신러닝 알고리즘을 훈련시키다보면 다음과 같은 도전 과제에 부딛친다.

대표성 없는 훈련 데이터

앞서 7개 국가의 데이터를 훈련에서 제외시킨 후에 선형회귀 모델을 훈련시켰다. 이제 7개 국가를 포함해서 훈련시켜 보자. 제외된 7개 국가의 데이터는 다음과 같다.

아래 좌표는 7개 국가명을 아래 도표에서 표기할 때 사용할 좌표이다.

7개 국가를 포함한 전체 훈련 데이터셋을 이용하여 훈련한 결과를 7개 국가를 제외했을 때의 훈련 결과와 비교한다.

결론: 선형회귀 모델은 1인당 GDP와 삶의 만족도 사이의 관계를 모델링 하기에 부적합하다.

과대적합과 모델 규제

과대적합

훈련된 모델이 훈련데이터에는 너무나도 잘 맞지만 새로운 데이터에 대해서는 잘 작동하지 않을 때 해당 모델이 훈련데이터에 과대적합되었다고 말한다.

예를 들어, 아래 코드는 4장에서 다룰 고차항 다항회귀를 이용하여 선형이 아니라 60차 다항식의 그래프로 모델을 예측한다. 결과는 훈련데이터셋에 매우 잘 들어맞지만, 새루운 데이터에 대해 훈련된 모델이 제대로된 예측을 할 수 있을 거라고 믿기는 어렵다. 이런 모델은 일반화가 어렵다라고 말한다.

주의사항: 아래 코드를 지금 당장 이해하려고 시도할 필요는 없다.

훈련세트에 잡음이 많이 있거나 데이터셋이 너무 작으면 훈련 과정에서 별로 상관 없는 특성을 이용하려고 시도할 수도 있다. 예를 들어, 아래 코드에서 확인할 수 있듯이 OECD에 속하는 국가 중에서 나라 이름에 영어 알파벳 W가 포함된 아래의 나라의 삶의 만족도가 매우 높은 편이다.

하지만 그렇다해서 나라명에 영어 알파벳 W가 포함된 모든 나라의 삶의 만족도가 높다고 결론 지을 수는 없다. 실제로 영어 알파벳 W를 포함한 국가 중에 여러 국가의 1인당 GDP가 아래 코드에서 볼 수 있듯이 매우 낮은데, 예를 들어, 루완다(Rwanda), 짐바브웨(Zimbabwe) 등의 국가의 삶의 만족도를 그럼에도 불구하고 매우 높다고 말할 수는 없다.

모델 규제

4장에서 다루는 '규제가 있는 선형 모델'에서 다루는 이용하면 과대적합의 위험을 줄일 수 있다. 이렇게 과대적합의 위험을 감소시키기 위에 훈련 모델에 제약을 가하는 것을 규제(regularization)라고 한다.

아래 코드는 세 개의 모델을 비교한다.

7개 국가를 제외하더라도 모델에 규제를 적용하면 데이터에 덜 과대적합한 모델을 얻게 됨을 세 개의 그래프를 비교해서 알 수 있다.

사례 기반 학습

키프러스의 삶의 만족도를 사례 기반 학습으로 예측하기 위해 1인당 GDP가 키프러스의 경우가 가장 가까운 국가들의 삶의 만족도의 평균값을 활용할 수 있다.

예를 들어, 키프러스의 1인당 GDP와 가장 가까운 세 나라는 다음과 같다.

위 세 나라의 삶의 만족도의 평균값은 다음과 같다.

앞서 설명한 알고리즘을 k-최근접 이웃 회귀라고 하며, 위 예제에서 사용된 k는 3이다.

사이킷런에서 지원하는 k-최근접 이웃 회귀모델을 적용하면 동일한 결과를 얻게 된다.

과제

  1. OECD 삶의 만족도 데이터와 IMF 1인당 GDP 데이터를 2020년 기준으로 업데이트하여 앞서 살펴본 과정과 동일한 과정을 수행하라. 2020년 기준 데이터는 아래 정보를 사용한다.

    • 기본 다운로드 경로

      DOWNLOAD_ROOT = "https://raw.githubusercontent.com/codingalzi/handson-ml2/master/"

    • BLI 데이터 파일명: oecd_bli_2020.csv

    • 1인당 GDP 데이터: gdp_per_capita_2020.xlsx

      주의사항:

    • 1인당 GDP 데이터는 엑셀 파일로 주어졌다. 팬다스의 read_csv() 대신에 read_excel() 파일을 사용한다.

    • rename() 메서드를 활용할 때 '2020' 문자열 대신에 2020 정수를 사용해야 한다.

    • 제외되는 7개 국가 정보는 다음과 같다.

      • 제외 국가 인덱스

        remove_indices = [1, 2, 4, 6, 37, 38, 39]
keep_indices = list(set(range(40)) - set(remove_indices))

      • 제외 국가: Columbia(콜롬비아), Brazil(브라질), Mexico(멕시코), Chille(칠레), Ireland(아일랜드), Switzerland(스위스, Luxembourg(룩셈부르크)

    • 언급된 5개 국가명 명기 좌표

      position_text = {
  "Hungary": (8000, 1),
  "Korea": (26000, 1.7),
  "France": (34000, 2.4),
  "Australia": (44000, 3.0),
  "United States": (60000, 3.8),
}