데이터는 머신러닝(Machine Learning) 및 딥러닝(Deep Learning) 모델의 학습에서 가장 중요한 요소 중 하나입니다. 데이터의 중요성은 단순히 모델의 입력을 제공하는 것에 그치지 않고, 모델의 성능과 예측의 정확성을 결정하는 데 핵심적인 역할을 합니다. 데이터의 품질과 양은 모델이 어떻게 학습하고 일반화할 수 있는지를 결정짓는 중요한 요소입니다.   데이터를 다룰 때는 데이터의 형식, 수집 방법, 통계적 특성 등을 고려해야 합니다. 데이터 형식에는 여러 가지가 있으며, 이 포스팅에서 사용하려는 형식은 NetCDF-4입니다. NetCDF-4 형식은 데이터를 정확하게 저장하고 반영하는 파일 형식으로, 노이즈의 영향을 적게 받는 편입니다.   구글 코랩을 이용하여 데이터셋을 다뤄보겠습니다...

머신러닝에서 손실함수(Loss function:실제데이터값과 모델이 내놓은 데이터 값의 차이를 나타내는 함수)을 최적화(Optimizaion:손실함수를 어떻게 가장 작게 할 것인지에 대한 수학적인 방법)해야한다고 하였다. 앞선 포스팅에서는 최소제곱법을 소개하였다. 이번 포스팅에서는 최적화 방법 중의 하나인 경사하강법(gradient descent)에 대해 소개하겠다. 최소제곱법같은 경우에는 한번에 계산해서 찾아내는 방법으로 선형함수, 선형회귀에서만 사용가능한 수학적인 방법이였지만, 경사하강법은 선형함수, 선형회귀 뿐만 아니라 대부분의 함수에서 사용할 수 있는 방법이다.    우리가 경사하강법을 사용해서 얻고자 하는 목표는 손실함수의 최저점을 찾기 위함이였다. 그렇다면 미분계수가 0인 지점을 찾으면 되는 ..

앞서 포스팅에서 머신러닝, 딥러닝에 대해 다뤄보았다. 이 chapter에서는 DL(deep learning)에 대해 다뤄볼 것이며 이전 포스팅보다 조금 더 상세하게 풀어나갈 생각이다. AI는 무엇인가? AI는 넓은 영역이다. AI를 한 문장으로 설명하자면 인간의 task를 대신할 수 있는 분야라고 말할 수 있겠다. (인간의 task라고 하면 학습하고 사고하고 추론하는 등의 능력이라 할 수 있다.)위의 그림처럼 크게 영역을 3가지로 나눌 수 있다. 딥러닝을 알아가기 전에 머신러닝을 이해해야지 딥러닝을 이해하기 쉽기 때문에 이번 포스팅에서는 머신러닝(ML)이 무엇인지 풀어나가겠다.   머신러닝은 AI의 한 분야이다. 때문에 머신러닝도 인간의 능력을 실현하게끔하는 기술, 알고리즘의 집합이라 할 수 있다. 여기..