베이지안 최적화

Bayesian Optimization; 베이지안 최적화

한 번 평가하는 데 비용이 많이 드는 함수의 최댓값이나 최솟값을, 평가 횟수를 최대한 줄여 찾는 최적화 기법

기계 학습의 하이퍼파라미터 탐색에 주로 쓰인다. 모델 하나를 학습시켜 성능을 재는 데 몇 시간이 걸린다면, 시도 횟수 자체를 줄이는 것이 중요해진다.

원리

• 대리 모델(Surrogate Model) — 지금까지의 관측으로 목적 함수의 모양을 확률적으로 추정한다.

 가우시안 프로세스를 많이 쓰며, 각 지점의 예측값과 불확실성을 함께 준다

• 획득 함수(Acquisition Function) — 다음에 어디를 평가할지 고른다.

 기대 개선(EI), 신뢰 상한(UCB), 개선 확률(PI) 등이 있다

• 평가 결과를 다시 대리 모델에 반영하는 과정을 되풀이한다

핵심은 탐험과 활용의 절충이다. 지금까지 좋았던 근처를 더 파 볼 것인가(활용), 아직 안 가 본 불확실한 곳을 볼 것인가(탐험).

다른 탐색 방법과

방법	특징
격자 탐색(Grid Search)	모든 조합을 다 해 본다. 차원이 늘면 폭발한다
무작위 탐색(Random Search)	무작위로 고른다. 격자보다 효율이 좋은 경우가 많다
베이지안 최적화	이전 결과를 반영해 다음 지점을 고른다. 평가 횟수가 적다

격자·무작위 탐색은 이전 시도의 결과를 쓰지 않는다. 베이지안 최적화가 이들과 갈리는 지점이다.

한계

• 대리 모델 자체의 계산 비용이 있어, 평가가 싼 함수에는 오히려 손해다
• 차원이 매우 높으면 가우시안 프로세스의 성능이 떨어진다
• 병렬화가 상대적으로 어렵다. 다음 지점이 이전 결과에 의존하기 때문이다

같이 보기

• 기계 학습
• 과적합 문제
• 경사 하강법