분석 목적

• 초분광 데이터, 기상/수질 데이터를 활용한 15분 후 시점의 양평 Chlorophyll-a 예측
• 실시간 데이터에 활용한 가능한 파이프라인 구축

데이터 소개

• 반응 변수 : Chlorophyll-a
• 설명 변수
  • 초분광 데이터 : 550nm ~ 900nm
  • 기상 데이터 : 기온, 습도, 풍속, 풍향, 일사량
  • 수질 데이터 : 수온, 수심, 전도도, 탁도, PH, Phycocyanin
• 데이터 특징
  • 15분 단위의 실시간 데이터
  • 데이터 수 << 변수의 수

분석 과정

• 모델은 매일 자정 업데이터 되며, 15분 후 Chlorophyll-a 예측
• 데이터 문제점 및 해결 방안
  • 초분광, 기상, 수질 데이터의 측정 시간이 동일하지 않음 : 일정 시간을 기준으로 데이터 재구성
  • 초분광 데이터가 존재하지 않는 시간대 : 초분광 데이터 유무를 범주형 변수로 표현
• 데이터 전처리
  • 초분광 데이터 : Lag Dataset 생성
  • 기상 데이터, 수질 데이터 : 표준화 전처리
  • 실시간 정보 데이터 : 부분 최소제곱법(PLS)을 통한 변수 축소
    • 계절 변수 : spring, summer, fall, winter
    • 시간 변수 : morning, afternoon, evening, non-hs(초분광 없는 시간대)
• 모델 검증 : 일별 R-square, MAPE
• 추가 사항 : 모델의 모든 처리 과정을 조작 가능한 옵션으로 설정(Lag dataset 시점, 변수 전처리, 사용 방법 및 유무, 예측 모델 종류, 앙상블 사용 여부)
• Dataset 생성 과정

  • Lag Dataset : 반응 변수를 그 이전 시점의 설명 변수와 매칭시켜 놓은 데이터 세트

    • 매칭시킬 이전 시점의 범위는 선택 가능(lag_time)
    • 이전 시점의 반응 변수 값을 설명 변수로 사용할지 여부 선택 가능

  • 시간 변수를 범주형 변수로 변환

    • 시간 변수 중 Hour 변수를 이용하여 초분광 변수가 안 들어오는 시간과 초분광 변수가 들어오는 시간으로 구분하여 변환
    • 시간 변수 중 Month 변수를 이용하여 계절을 의미하는 범주형 변수로 변환

  • Lag Dataset으로 변환된 각 데이터 세트에 대한 전처리

    • PLS(Partial least Square) 기법을 사용하여 변수의 양을 축소
    • Other(수질 변수, 날씨 변수) 변수의 경우 표준화를, 시간 변수의 경우 One-Hot encoding을 통하여 전처리

    

분석 결과

• 초분광 데이터 변수에 component 별 PLS의 MSE 결과