[파이썬/Python] 하이퍼파라메타 튜닝

모델을 선정했으면 그 모델과 데이터에 맞는 하이퍼파라메타를 튜닝시켜야 한다.

(mae나 mse, rmse 등 내가 목표로 하는 오차가 적게 나오도록)

원래 그리드서치라고 [3, 5, 8] 식으로 내가 한 정해서 수를 지정해 놓으면

그것들의 조합으로 최적의 하파를 제시해주게 된다.

 

그.런.데. 2019년 optuna라고 새로운 하파튜닝 친구가 나왔다고 한다.

float(0.3, 0.8) 이라고 넓은 범위만 지정해 놓으면 그 안에서의 무작위로 뽑아 최적의 하파를 제시해준다.

 

음. 나는 모델을 lightgbm, xgboost, catboost, randomforest 등 다양한 모델을 시도해봤는데

라이트지비엠이 가장 빠르다. 20분 내외로 나왔던 것 같다. cv를 5로 지정했을때도 5시간이 걸리기는 했지만

200번의 수행을 제대로 마치기도 했다. 근데 다른 모델들은 cv를 지정안했을때 5시간 6시간 내외로 걸렸고

cv를 지정했을때는 11시간을 돌려도 20번? 정도 밖에 돌리지 못했다.(그러다가 에러남 .. 🤬)

 

아무튼.. 여러 시도를 했던 흔적들

위 두개는 라이트지비엠

아래 두 개는 xgboost

근데 아직 어떤 매개변수들을 선정해야하는지, 그 변수들의 범위는 어디서부터 어디까지가 적합한지

아직 공부중이다. 캐글이나 데이콘 참고하면서 따라하는 즁..

 

어떻게 하면 적은 시간으로 좋은 효율을 낼 수 있을까 고민하게 된다 ㅎㅎ..

 

 

optuna에서 아래 그래프도 지원한다. 더 많은 그래프도 있지만 생략..,