Regularization, Normalization, Standardization, Generalization

퍼플렉시티가 정리해 주었다.

요약

• Regularization => 모델의 오버 피팅을 방지하기 위함.
• Normalization => 데이터의 범위를 0~1로 스케일링함.
• Standardization => 데이터의 분포를 평균을 0이고 표준편차가 1이 되도록 바꾸어줌.
• Generalization => 모델이 훈련 데이터 뿐만 아니라 완전히 새로운 데이터에도 대응 할 수 있도록 만드는 일. 특정하게 그 데이터에서만 기능하는 것이 아닌 “일반적인” 데이터에도 기능하도록 만든다.

정규화 (Regularization)

정규화는 머신러닝 모델이 과적합(overfitting)되는 것을 방지하기 위한 기법입니다. 모델이 훈련 데이터의 노이즈까지 학습하여 새로운 데이터에 대한 일반화 성능이 저하되는 문제를 해결합니다12.

주요 특징:

• 손실 함수에 패널티 항을 추가하여 모델의 복잡도를 줄입니다12

• 모델 파라미터(가중치)의 크기를 제한하도록 유도합니다2

• 과적합과 과소적합(underfitting) 사이의 최적 균형을 찾는 데 도움을 줍니다1

적용 사례:
예를 들어, 소매업에서 제품 재고 부족을 예측하는 모델에서 정규화를 통해 모델이 특정 주방의 특이점을 암기하는 대신 “커피 머그는 보통 머리 위 캐비닛에 보관된다”와 같은 높은 수준의 개념을 학습하도록 합니다1.

정규화 (Normalization)

정규화는 수치형 데이터 특성을 공통 범위(일반적으로 0~1)로 스케일링하는 기법입니다. 데이터의 상대적 관계를 왜곡하지 않으면서 특성들을 일관된 범위로 변환합니다3.

주요 특징:

• 서로 다른 스케일의 특성들을 공통 범위로 조정합니다3

• 데이터 포인트 간의 상대적 거리를 유지합니다3

• 거리 기반 알고리즘(k-NN, [[K-means]] 등)에서 특히 유용합니다3

표준화 (Standardization)

표준화는 데이터를 평균이 0이고 표준편차가 1인 분포로 변환하는 기법입니다. 이는 서로 다른 단위나 범위를 가진 특성들을 비교 가능한 스케일로 만들어 줍니다4.

주요 특징:

• 데이터를 평균 0, 표준편차 1로 변환합니다4

• 정규 분포를 가진 데이터에 적합합니다4

• 특성 간의 스케일 차이로 인한 문제를 해결합니다4

적용 사례:

• 주성분 분석(PCA) 전: 높은 분산을 가진 특성이 부당하게 첫 번째 주성분을 지배하는 것을 방지합니다4

• 클러스터링 전: 모든 특성이 거리 측정에 동등하게 기여하도록 합니다4

• KNN, SVM 등의 거리 기반 알고리즘 전: 모든 특성이 유사성 측정에 동등하게 기여하도록 합니다4

• Lasso 및 Ridge 회귀 전: 변수 스케일이 페널티 적용에 미치는 영향을 균등하게 합니다4

일반화 (Generalization)

일반화는 AI 모델이 훈련 데이터를 넘어 새롭고 보지 않은 데이터에 대해서도 잘 수행하는 능력을 의미합니다5.

주요 특징:

• 모델이 특정 훈련 예제를 넘어 새로운 데이터에 대해 정확한 예측을 할 수 있는 능력입니다5

• 데이터에서 의미 있는 패턴과 특성을 체계적으로 추출하는 것에 기반합니다5

• 모델의 견고성과 적응성을 나타내는 중요한 지표입니다5

적용 사례:

• 자연어 처리: 다양한 언어 간 번역 작업에서 정확하고 문맥적으로 관련된 번역을 보장합니다5

• 이미지 인식: 완전히 새로운 카테고리나 다양한 배경의 이미지에서도 객체를 정확하게 식별하고 분류합니다5

• 예측 분석: 새로운 데이터에 대한 정확한 예측을 가능하게 합니다5

정규화, 정규화, 표준화는 모두 일반화 성능을 향상시키기 위한 기법들이지만, 각각 다른 방식으로 접근합니다. 정규화는 모델 복잡도를 제한하고, 정규화와 표준화는 데이터 전처리 단계에서 특성의 스케일을 조정합니다.

Citations:

1. https://www.techtarget.com/searchenterpriseai/feature/Machine-learning-regularization-explained-with-examples
2. https://www.simplilearn.com/tutorials/machine-learning-tutorial/regularization-in-machine-learning
3. https://www.appliedaicourse.com/blog/normalization-in-machine-learning/
4. https://builtin.com/data-science/when-and-why-standardize-your-data
5. https://www.larksuite.com/en_us/topics/ai-glossary/generalization
6. https://www.dataquest.io/blog/regularization-in-machine-learning/
7. https://blog.naver.com/jaeyoon_95/222349845121?viewType=pc
8. https://www.opentrain.ai/glossary/regularization
9. https://www.linkedin.com/pulse/leveraging-ai-ml-data-normalization-enhancing-accuracy-muneesh-sharma
10. https://en.wikipedia.org/wiki/Normalization_(machine_learning)
11. https://www.opentrain.ai/glossary/normalization
12. https://learn.microsoft.com/en-us/azure/machine-learning/component-reference/normalize-data?view=azureml-api-2
13. https://www.deepchecks.com/glossary/normalization-in-machine-learning/
14. https://blog.dxwand.com/glossary-term/normalization/
15. https://tracer.tech/blog/ai-powered-data-normalization-the-future-of-data-processing/
16. https://www.sapien.io/ko/glossary/definition/normalization
17. https://pubs.aip.org/aip/acp/article-pdf/doi/10.1063/5.0126662/16783065/040034_1_online.pdf
18. https://www.linkedin.com/pulse/standardization-machine-learning-sachin-vinay
19. https://www.iso.org/committee/6794475.html
20. https://aistandardshub.org/resource/main-training-page-example/1-what-are-standards/
21. https://cset.georgetown.edu/publication/artificial-intelligence-standardization-white-paper-2021-edition/
22. https://www.nature.com/articles/s41746-024-01127-3
23. https://www.cs.toronto.edu/~lczhang/321/notes/notes09.pdf
24. https://www.europarl.europa.eu/RegData/etudes/ATAG/2023/745708/EPRS_ATA(2023)745708_EN.pdf
25. https://www.youtube.com/watch?v=TyT8i8YIcwI
26. https://media.geeksforgeeks.org/wp-content/uploads/20240521102511/Generalization-Rules-Techniques-in-AI.webp?sa=X&ved=2ahUKEwjK8Ye2lpOMAxXeKDQIHcNfBoQQ_B16BAgHEAI
27. https://wikidocs.net/237358
28. https://media.geeksforgeeks.org/wp-content/uploads/20240521102511/Generalization-Rules-Techniques-in-AI.webp?sa=X&ved=2ahUKEwj3vYa2lpOMAxV7JzQIHYQWMtEQ_B16BAgJEAI
29. https://developers.google.com/machine-learning/crash-course/overfitting/generalization
30. https://numalis.com/ai-the-difference-between-learning-and-generalizing/
31. https://media.springernature.com/full/springer-static/image/art:10.1038%2Fs41746-024-01127-3/MediaObjects/41746_2024_1127_Fig1_HTML.png?sa=X&ved=2ahUKEwjw4IK2lpOMAxV1h1YBHSTsBDcQ_B16BAgBEAI
32. https://www.linkedin.com/pulse/ai-speaks-understanding-regularization-machine-melissa-lee-blanchard-kgjse
33. https://en.wikipedia.org/wiki/Regularization_(mathematics)
34. https://www.ibm.com/think/topics/regularization
35. https://c3.ai/glossary/machine-learning/regularization/
36. https://c3.ai/introduction-what-is-machine-learning/regularization/
37. https://wikidocs.net/120052
38. https://www.iquanta.in/blog/data-normalization-in-machine-learning-techniques-advantages/
39. https://graphite-note.com/the-importance-of-normalization-in-machine-learning/
40. https://www.datacamp.com/tutorial/normalization-in-machine-learning
41. https://www.markovml.com/blog/normalization-in-machine-learning
42. https://c3.ai/glossary/data-science/normalization/
43. https://developers.google.com/machine-learning/crash-course/numerical-data/normalization
44. https://builtin.com/articles/mean-normalization
45. https://www.shiksha.com/online-courses/articles/normalization-and-standardization/
46. https://www.espire.com/blog/posts/ai-powered-data-standardization-the-ultimate-guide
47. https://www.din.de/en/innovation-and-research/artificial-intelligence/what-is-the-role-of-standardization-in-ai—329552
48. https://www.datacamp.com/tutorial/normalization-vs-standardization
49. https://www.dke.de/standardization-roadmap-ai
50. https://www.linkedin.com/pulse/standardization-artificial-intelligence-needs-possibilities-challenges
51. https://data-science-hi.tistory.com/96
52. https://www.rudderstack.com/learn/machine-learning/generalization-in-machine-learning/
53. https://magnimindacademy.com/blog/what-is-generalization-in-machine-learning/

Answer from Perplexity: pplx.ai/share