[AI ESG School] 5차시 - 인공지능의 성능 평가 및 개선 방법

---

모델 이란?

특정 유형의 규칙을 인식하도록 훈련된 프로그램 파일

자동차 이미지로 학습된 컴퓨터 비전용 모델 : 다양한 차량 식별
자연어 처리용 모델 : 단어와 문장 등을 번역

 

 

 

학습되었다 라는 말은 컴퓨터 스스로 데이터 규칙을 찾는 기술을 갖고 있다는 것을 의미합니다.

 

컴퓨터 비전 인공지능은 곧 컴퓨터 비전 모델인 것이며

자연어 처리 인공지능은 자연어 처리 모델이 되는것 입니다

 

---

모델을 만들어 사용하는 이유는?

 

빠르게 데이터를 학습하여 높은 정확도로 예측과 판단을 할 수 있기 때문

 

---

인공지능 모델을 만들기 위해선 무엇이 필요할까요?

 

1. 데이터세트

 

보통 8:2로 트레이닝 세트 비율이 훨씬 높습니다.

 

왜 일까요?

 

시험기간에 오랫동안 공부할 자료를 모으고 공부하는 것과 비슷하고 시험전 모의고사를 통해 실력을 점검하기에 모아진 데이터가 학습이 잘 되었는지 확인해야하기 때문입니다

 

즉, 데이터의 상당수를 가지고 컴퓨터가 훈련을 하고 그렇게 학습된 모델이 새로운 데이터를 접했을때

예측을 잘 할 수 있는지 데이터의 일부를 가지고 테스트 해보는 것이죠

 

처음보는 데이터에서도 잘 작동하는 일반화된 모델을 얻는것이 머신러닝의 목표입니다.

 

 

---

인공지능의 과대적합과 과소적합

 

1. 과대적합 - 데이터세트가 충분하지 않은 경우

모델이 훈련 세트에 과하게 적합한 상태가 되어 일반성이 떨어지는 현상

남의 말에 잘 넘어가는 팔랑귀 같은 사람과 비슷합니다.

 

2. 과소적합 - 모델의 복잡도가 낮은 경우(복잡한 문제를 몇 개의 특정 요소만으로 해결하려는 것)

모델이 훈련 세트의 규칙을 제대로 찾지 못해 테스트 세트에 대한 정확도가 모두 낮은 현상

고집이 센 고집쟁이와 비슷하며, 매우 둔한 사람과 비슷합니다.

 

---

머신러닝 모델의 성능평가 및 개선 방법

 

머신러닝의 지도학습은 회귀와 분류로 나뉘며, 각각의 모델에 따라 평가 지표가 다릅니다.

 

 

1. 회귀모델

 

회귀모델의 핵심 성능 지표는 예측값의 정확도로, 손실함수인 평균절대오차( MAE : Mean Absolute Error )와 평균제곱오차( MSE : Mean Squared Error )가 주요 지표로 활용됩니다.

 

 

평균절대오차 란?

실제값과 에측값 간 차이의 절댓값을 평균을 내는 방법

 

평균제곱오차 란?

실제값과 에측값 간 차이를 제곱하여 평균을 내는 방법

 

두 방법 모두 0에 가까울 수록 좋은 모델이라고 판단합니다.

 

* 제곱을 하는 이유는 음수를 없애기 위해서 입니다.

 

 

2. 분류모델

 

분류모델은 예측 결과를 혼동행렬로 정리하여 정확도, 정밀도, 재현율을 통해 성능을 분석합니다.

 

혼동행렬 이란?

분류모델이 예측을 수행하면서 긍정인지, 부정인지 사실인지 거짓인지에 따라 4개의 경우로 구분하여 표로 나타낸 것

 

정확도 란?

전체 데이터 중에서 모델이 정확하게 예측한 것의 비율

 

정밀도 란?

모델이 양성인 비율

 

재현율 이란?

통계학에서는 "민감도"라는 용어로도 사용되며, 실제 양성인 것 중에서 모델이 양성이라고 예측한 비율