분류 전체보기
맵 차트 만들기
위도와 경도를 토대로 맵 형태의 뷰를 작성할 수 있다.맵으로 표현하기 위해서는 위도와 경도가 필요한데, 우리나라의 경우 시도와 시군구명이 있으면이 필드들로 위도와 경도를 만들 수 있다. 맵 차트1. 시도 필드 옆 아이콘 > 마우스 오른쪽 > 지리적 역할 > 주/시/도1-1. 시군구 필드도 같은 방법으로 해서 시군구> 측정값에 위도와 경도가 생성된다. 2. 우측하단에 unkown 이란 정보가 떠서 눌러보면 Ambiguous 란 에러를 내는 것을 알 수 있다. 이는 시군구가 어느 시도에 포함되어 있는지 알 수 없으면 에러를 내는 것이다. ( 강서구 > 서울에도 있고, 부산에도 있음 / 고성군 > 경남에도 있고 강원에도 있음..) 3. 이러한 에러를 해결해주기 위해서는 계층을 만들어줘야하는데, 하위 ..
2. 텍스트 전처리
텍스트 전처리텍스트 전처리란, 분석 하기 전 텍스트를 분석에 적합한 형태로 변환하는 작업이다.전처리 단계로는 토큰화, 형태소 분석, 품사 태깅, 원형 복원, 불용어 처리가 있다.전처리는 분석결과와 모델 성능에 직접 영향을 미치기 때문에 매우 중요하다 진리의 GIGO토큰화 (Tokenization)텍스트를 자연어 처리를 위해 분리하는 것이다.토근화는 문장별로 분리하는 문장 토큰화와, 단어별로 분리하는 단어 토큰화로 구분된다.한국어의 경우 토큰화와 형태소 분석 단계가 혼용되는데, 형태소 분석이 되어야만 토큰화가 가능하기 때문이다. * 형태소 분석 : 뜻을 가진 가장 작은 단위인 형태소로 분리하는 것문장 토큰화문장을 기준으로 토큰화하는 것으로,온점, 느낌표, 물음표 등으로 너무 단순하게 분리할 경우에..
머신러닝 모델 학습 프로세스
머신러닝의 핵심 아이디어는 X와 Y의 관계를 찾는 것인데 주 관심은 Y, 즉 예측하려는 대상에 있다.Y를 설명하는 X변수는 보통 여러 개로, X변수들을 수많은 방식 조합하여 Y를 표현할 수 있기에 여러개의 X와 Y의 관계를 찾는 것이다.수학적으로 표현하면, Y = f (X1, X2, X3, ... , Xn) 이다. * 머신러닝에서 함수는 모델이 됨X와 Y의 관계 찾기 이렇게 X, Y로 함수식을 찾아야하는데, 관계가 복잡해질 수록 함수식을 찾기 어렵기에 X값 앞에 무언가가 붙을 수도 있고, X값만으로 Y값을 찾지 못할 수도 있다.X값만으로 식을 표현하지 못할 때는 앱실론 ( ε) 을 통해 식을 표현할 수 있다. Y = ?X1 + ?X2 + ε 를 좀 더 포멀하게 표현하기 위해 Y = w1X1 + w2X..
도넛차트 만들기
도넛 차트는 파이 차이와 동일하게 전체에서 각각의 값에 대한 비중을 살펴보는 차트지만, 파이 차트와는 달리 전체 합계를 표현할 수 있고, 요약 및 텍스트 또한 넣을 수 있기에 파이 차트보다 많이 활용된다 * 도넛 차트는 파이 차트 두 개를 합쳐서 만든다(이중축 사용) 도넛 차트1. 행 선반을 더블 클릭해서 의미 없는 숫자 0을 하나 삽입2. 마크를 파이차트로 변경3. 행 선반에 있는 0 필드를 컨트롤 키를 누른 상태에서 옆으로 옮겨 복제 4. 첫번째 합계 마크에 고객 세그먼트를 색상으로 지정4-1. 마크의 고객 세크먼트 필드 > 마우스 오른쪽 > 정렬 > 정렬기준 : 필드, 정렬 순서 : 내림차순, 필드명 : 매출5. 첫번쨰 합계 마크에 매출을 각도로 지정6. 첫번째 합계 마크의 크기를 키워줌 7. 열..
수치 예측 / 범주 예측 (분류)
변수는 원인이 되는 X변수(독립변수) , 결과가 되는 Y변수(종속변수) 로 나눌 수 있다. 예측은 수치 예측과 범주 예측으로 나눌 수 있는데, 수치 예측은 Y변수가 연속형이고, 범주 예측은 Y변수가 범주형이다.* 연속형 데이터 : 데이터 자체가 숫자로 표현됨 ex. 가격, 길이 범주형 데이터 : 원칙적으로 데이터를 숫자로 표현할 수 없음 ex. 제품불량여부 수치 예측 (Regression)결과가 수치인 값을 예측하는 것이다.수치예측 예로는 중고차 가격 예측 등이 있다. 범주 예측 (분류, Classification)결과가 어느 분류에 포함되는지를 예측하는 것이다.범주 예측 예로는 불량 예측, 고객 이탈 여부 예측, 스팸 여부 예 등이 있다. 출처김성범 [교수 / 산업경영공학부] # 핵심 머신러닝..
파이차트 만들기
파이 차트는 전체에 대해 각각 얼마정도의 비중을 차지 하는지를 살펴보는 차트이다.다만, 파이 차트는 전체 총합에 대한 값을 보여주기 힘들고, 추가적인 메세지를 주는데 한계가 있어 파이 차트보다는 도넛차트가 더 선호된다. 표현 방식우측 상단에 표현 방식을 누르면 조건( ex.차원값과 측정값의 개수) 에 따라 나타낼 수 있는 차트가 보여진다.필드들을 눌렀을 때, 표현 방식 중 노란색 테두리가 생기는 표현 방식이 있는데, 그것이 태블로가 봤을 때 필드들을 가장 적합하게 표현할 수 있다고 생각한 방식이다. 파이 차트파이차트는 1개 이상의 차원과, 1개 또는 2개의 측정값이 필요하다. 1. 고객 세트먼트(차원)과 매출 (측정값)을 선택그럼 보다시피, 차원 1개와 측정값 1개로 표현할 수 있는 그래프는 표현방식에서..
1. 개요 - (2) 통계기반 자연어 처리 과정
데이터 수집 단계분석 대상 관련 자료 수집openAPI, 웹크롤링 등으로 수행텍스트 전처리 단계 가장 중요한 단계분석 가능한 형태로 자료를 변환 (기계가 텍스트를 이해할 수 있도록 표준화해줌)텍스트 분석 단계시각화 단계워드클라우드, 파이차트 등
