머신러닝과 데이터 분석- 데이터 분석 방법론 (2)

 

 

 

 

1. 데이터 수집

 대량의 데이터 수집하는데 그 목적을 두고 있다.

 

 그럼 어떤 데이터를 수집해야 하는가?

 

 - 데이터는 머신러닝 모델 학습의 기초 

 - 고품질의 관련성 있는 대표적인 데이터는 모델 정확도와 신뢰성을 향상

 - 열악한 데이터는 편향되거나 신뢰할수없거나 부정확한 예측으로 이어질수 있음. 

 

 

 - 사용자 생성 데이터( 예 : 리뷰, 소셜 미디어) 

 - 센서 데이터 (예 : IoT 장치, 웨어러블 건강 추적기)

 - 웹 스크래핑 ( 예: 웹사이트 데이터 수집)

 - 공개 데이터 세트 ( 예: 공개 정부 데이터 )

 

  

 데이터 수집의 문제점

 - 데이터 완정성 , 데이터 노이즈, 데이터의 편향, 법적 및 윤리적 문제 

 

 

 

 

2. 데이터 가공

 - 데이터 전처리는 원시 데이터를 모델링에 적합한 구조화된 형식으로 변환

 - 결측값 처리, 기능 확장, 범주형 데이터 인코딩, 이상값 제거, 데이터 변환을 통해 데이터 세트 생성

 - 적절한 전처리는 모델 정확성과 견고성을 향상시켜 기계 학습 워크플로의 중요한 부분

 

 

 

일반적으로 사용되는 최소값 0 최대값 1사이의 값으로 조정

 

 

 

 

https://aihub.or.kr/

AI-Hub