티스토리

데이빗의 데이터

검색하기

블로그 홈

데이빗의 데이터

double-d.tistory.com/m

Minor Data Miner - David

구독자: 2

방명록 방문하기

주요 글 목록

데이터 정리: 3가지 대표적인 특성 선택 기술 (Feature Selection) 지난 글, '데이터 정리: 5가지 대표적인 차원 축소 기술(Dimensionality Reduction)에 이어 이번에는 특성선택 기술 (Feature Selection)에 대해 간략한 내용만 알아보자. 추후에 본 글에서 언급된 각 기술에 대해 자세히 다루도록 하겠다. https://double-d.tistory.com/37 데이터 정리: 5가지 대표적인 차원 축소 기술 (Dimensionality Reduction) 데이터 분석에서 많은 양의 데이터를 처리할 때, 데이터의 차원을 축소하고 중요한 특성을 선택하는 것은 매우 중요한 작업이다. 이를 통해 모델의 복잡성을 줄이고 계산 효율성을 향상시키며, double-d.tistory.com 특성 선택도 데이터 분석에서 매우 중요한 단계이다. 이 과정은 주어.. 공감수 0 댓글수 0 2024. 4. 22.
데이터 정리: 5가지 대표적인 차원 축소 기술 (Dimensionality Reduction) 데이터 분석에서 많은 양의 데이터를 처리할 때, 데이터의 차원을 축소하고 중요한 특성을 선택하는 것은 매우 중요한 작업이다. 이를 통해 모델의 복잡성을 줄이고 계산 효율성을 향상시키며, 더 나은 모델 성능을 달성할 수 있기 때문이다. 다루어야 할 내용이 적지 않기 때문에, 본 글에서는 '데이터 차원 축소'에 대해서 우선 다루겠다. 이후의 글에서는 데이터 정리의 다른 방법인 '특성 선택'에 대해서 적어보겠다. 데이터 차원 축소 기술 (Dimensionality Reduction Techniques) 아래 표는 대표적인 5가지 데이터 차원 축소 방법에 대한 요약이다. 기술 설명 필요성 예시 PCA (주성분 분석) 고차원 데이터의 주요 특성을 추출하여 데이터를 낮은 차원으로 투영하는 기술 데이터의 차원을 줄여.. 공감수 0 댓글수 0 2024. 4. 17.
데이터 변환: 정규화, 표준화 및 집계 기술 데이터 분석에서 데이터의 특성을 조정하거나 변환하는 것은 매우 중요한 일이다. 단순한 분석 작업의 경우, 있는 데이터를 그대로 쓰면 된다. 하지만 데이터의 양이 늘어나고 복잡해질수록 있는 데이터를 그대로 쓰면 인사이트를 얻기 어려울 수 있다. 그럴 때 사용할 수 있는 게 주어진 데이터를 왜곡이 발생시키지 않는 범위 내에서 적절하게 변환시켜 주는 방법이다. 이러한 데이터 변환 기술은 데이터의 품질을 향상하고 분석 결과를 개선하는 데 도움이 된다. 이번 글에서는 데이터 변환의 세 가지 기술인 정규화, 표준화 및 집계에 대해 알아보려고 한다. 얼마 전에 알아본 '데이터 정제: 중복 제거, 누락 값 처리, 이상 값 처리 기술'과 마찬가지로 개념을 잡기 위한 얕게 다뤄보려 한다. 정규화 (Normalization.. 공감수 1 댓글수 0 2024. 4. 9.
데이터 정제: 중복 제거, 누락 값 처리, 이상 값 처리 기술 데이터 분석을 위해 데이터를 사용할 때 데이터의 품질은 매우 중요하다. 데이터에는 종종 중복된 값, 누락된 값 또는 이상 값이 포함되어 있을 수 있으며, 이러한 데이터 오류는 분석 결과를 왜곡시킬 수 있다. 따라서 데이터를 정제하여 데이터 품질을 향상하는 것은 데이터 분석 작업에서 매우 중요한 단계이다. 이번 글에서는 데이터 클리닝 또는 정제를 위한 주요 기술인 중복 제거, 누락 값 처리 및 이상 값 처리에 대해 개념 위주로 쉬운 예와 함께 다뤄보겠다. 중복 제거 (Duplicate Removal) 중복된 데이터는 분석 결과를 왜곡시킬 수 있으므로 중요한 요소이며, 매우 빈번하게 발생된다. 이러한 중복된 데이터를 제거하는 과정은 데이터 정제의 첫 번째 단계이다. 예를 들어, 고객 데이터베이스에서 중복된 .. 공감수 0 댓글수 0 2024. 4. 6.
K-폴드 교차검증법: 움파룸파의 "A thousand fold!!" 얼마 전 영화 Wonka에서 휴 그랜트가 연기한 움파룸파가 부르는 노래가 있었다. 움파룸파 송이라고 불리는 중독성이 있는 노래였다. 그중에서 휴 그랜트가 강조해서 반복했던 단어가 있는데, “A thousand folds! (천 배!!)”였다. 도둑맞은 카카오에 대해서 천 배로 값아야 한다는 의미였는데, 뜬금없지만 나는 ‘K-폴드 교차 검증 방법' (K-fold Cross Validation)이 생각 났다. Til I've paid my friends back a thousand fold! A thousand fold?! You gotta be kidding me! I repeat A thousand fold! 생각이 난 김에 K-폴드 교차 검증 방법에 대해서 알아보자. 샘플링에서 관련 내용이 나올 수도 .. 공감수 0 댓글수 0 2024. 3. 11.
불러온 데이터들 합치기 : Join() 함수로 류현진 선수 데이터보기 여러 가지 방법으로 데이터세트나 데이터프레임을 불러오는 방법을 알아봤었다. 이제 불러온 데이터들을 합치는 방법을 알아보자. 데이터분석 업무를 할 때, 한 개의 데이터 테이블만 가지고 하는 경우는 매우 드물다. 여러 테이블들을 합쳐서 사용해야 하는데, 그때 사용하는 함수 중 하나가 join() 함수이다. join() 함수 외에도 다른 방법이 있긴 하다. mapvalue() 함수를 사용하는 것인데, 다른 포스팅에서 다루도록 하겠다. 키 값 : Primary Key 와 Foreign Key join()을 할 때 반드시 알아야 할 개념이 있다. Primary Key와 Foreign Key이다. 기본키 및 외래키로 번역이 되는데, 그냥 영어로 자체로 보는 게 개념을 이해하는데 더 도움이 되므로, 영어를 사용하겠다.. 공감수 1 댓글수 1 2024. 3. 4.
데이터프레임 불러오기 5 - 엑셀 파일 아마 대부분의 직장인들은 엑셀이 손에 익었을 것이다. 일상 업무에서 자주 접하는 파일도 엑셀 파일일 확률이 높다. 간단한 데이터 변환 작업을 하기에는 엑셀이 편하기도 하니, 엑셀을 다시 R로 불러들일 상황이 자주 발생한다. 따라서 엑셀 파일을 불러오거나 엑셀로 변환시키는 방법은 필수적으로 알고 있어야 한다. write.xlsx() 함수로 엑셀파일 만들기 일단 예제로 사용할 엑셀 파일을 만들어 보겠다. 이를 위해서는 "xlsx" 패키지의 'write.xlsx()' 함수가 필요하다. CSV 파일 불러오기를 통해 만들었던 'Lahman' 패키지의 People이라는 데이터프레임을 엑셀 파일로 만들어 보자. 기억이 나지 않는다면 다음 링크의 글을 다시 확인해 보자. https://double-d.tistory.c.. 공감수 0 댓글수 1 2024. 2. 27.
데이터프레임 불러오기 4 - CSV 파일 복습 및 심화 앞선 다른 포스팅 (R: 데이터프레임 불러오기 1 - CSV파일, R 기본데이터세트)에서 잠시 CSV 파일을 어떻게 불러오는지 확인하였다. 본 포스팅에서는 한 번 더 CSV파일을 불러오는 것에 대해 복습하고, 심화된 내용에 대해서도 알아보자. 실습에 사용할 데이터세트는 지난번 포스팅에서 언급한 Sean Lahman 데이터베이스이므로, 아직 글을 확인하지 않았거나 해당 데이터세트가 없는 경우 위 링크의 글을 읽어보기를 권한다. CSV 파일 CSV 는 Comma Separated Values라는 뜻으로, 콤마를 통해 값들이 분리되어 있다는 의미이다. 실제로 텍스트 편집기로 CSV 파일을 열어 본 적이 있는 사람이라면, 이름 그대로를 확인해 보았을 것이다. 유사한 방식으로 TSV 파일도 있는데, Tab Sep.. 공감수 0 댓글수 1 2024. 2. 26.
데이터프레임 불러오기 3 - 데이터베이스에서 직접 불러오기: DBI & RSQLite 지난 글에서 RODBC패키지를 사용한 데이터프레임 불러오기를 알아봤다. 만약 데이터베이스가 MS SQL(SQL Server), MySQL, Oracle 등 RDBMS가 아니고 SQLite라면 어떻게 해야 할까? RDBMS RDBMS는 Relational Database Management System이고, 일반 DBMS의 단점을 보완하기 위해 만들어졌다. 즉, 그냥 파일 형태로 데이터를 저장하기만 하면 각 파일들이 어떻게 서로 영향을 주고받는지 확인하기 힘드니, 방법을 생각해 낸 게 RDBMS이다. RDBMS는 데이터를 테이블 형태로 저장하고, 각 테이블에 primary key를 만들어서 테이블 간 공통으로 사용될 수 있는 key값을 만들어 서로 연결할 수 있게 해 준다. RDBMS의 예로는 Oracle.. 공감수 0 댓글수 1 2024. 2. 25.
데이터프레임 불러오기 2 - 데이터베이스에서 직접 불러오기: RODBC 이전 글에서 데이터프레임 또는 데이터세트를 불러오는 방벙에 대해서 다루었다. 가장 기본적인 CSV파일을 직접 하나하나 불러오는 방법, CSV파일이 들어있는 폴더를 한꺼번에 불러와서 하나의 리스트에 넣어놓고 사용하는 방법, R이 기본적으로 제공하고 있는 데이터세트를 사용하는 방법 등을 Sean Lahman의 Baseball Database를 예로 설명하였다. https://double-d.tistory.com/27 R: 데이터프레임 불러오기 1 (CSV파일, R기본 데이터세트) 오랜만에 이전 포스팅에 가 보았다. (https://double-d.tistory.com/18) 데이터베이스 예제로 Sean Lahman의 Baseball Database를 소개한 글이었다. 링크로 남겨두었던 웹사이트에 가보니 연결.. 공감수 0 댓글수 0 2024. 2. 22.
맥북에서 SQL 시작하기: DBngin 사용 윈도우 PC 사용자는 마이크로소프트의 SQL Server를 설치하면 Server Instance를 쉽게 생성할 수 있다. 서버 인스턴스 Server Instance(서버 인스턴스)란 무엇인가. 아래는 마이크로소프트의 웹사이트에서 발췌한 내용이다. 인스턴스 데이터베이스 엔진 인스턴스는 해당 인스턴스에서 관리하는 데이터베이스에 있는 데이터에 대한 애플리케이션의 모든 작업 요청을 처리하는 서비스로 작동되며, 애플리케이션에서 보내는 연결 요청 (로그인)의 대상이 됩니다. 애플리케이션과 인스턴스가 개별 컴퓨터에 있는 경우 연결은 네트워크 연결을 통해 실행됩니다. 애플리케이션과 인스턴스가 동일한 컴퓨터에 있는 경우 SQL Server 연결은 네트워크 연결 또는 메모리 내 연결로 실행될 수 있습니다. 연결이 완료되면.. 공감수 0 댓글수 0 2024. 2. 18.
데이터프레임 불러오기 1 - CSV파일, R기본 데이터세트 오랜만에 이전 포스팅에 가 보았다. (https://double-d.tistory.com/18) 데이터베이스 예제로 Sean Lahman의 Baseball Database를 소개한 글이었다. 링크로 남겨두었던 웹사이트에 가보니 연결이 되지 않는다. 구글링을 해보니 다행히 웹사이트는 그대로 있다. 다만 공유하는 데이터베이스 형태가 줄어들었다. 예전에는 sql light버전 및 다양한 형태로 제공되었는데, 이제는 MS Access 형태와 CSV만 제공된다. 윈도우 사용자의 경우 MS Access 파일인 .mdb를 다운받아 사용할 수 있다. 하지만 맥 사용자는 CSV 파일만 사용이 가능하다. 이번 글에서는 업데이트된 Sean Lahman의 웹사이트 기준으로 데이터를 R 로 불러오는 여러 방법에 대해서 알아보자.. 공감수 0 댓글수 1 2024. 2. 12.
데이터 샘플링: 왜, 언제 해야 하는가 지난 글(데이터 샘플링: 통계적 및 비통계적 샘플링 방법)을 쓰고 난 후에, 샘플링이 왜 필요한지에 대한 감이 잘 오지 않을 것 같아 그 필요성 및 어떻게, 언제 사용되는지 추가로 글을 쓰기로 했다. 했던 말들의 반복도 조금 있겠지만, 샘플링의 중요성은 무시할 수 없다. 특히 데이터 분석은 여러 단계를 거친 후에야 실질적인 인사이트를 도출해 낼 수 있는데, 이때 데이터 샘플링은 대부분의 단계들에 선행하는 매우 중요한 단계 중 하나이다. 데이터 샘플링은 왜 필요할까 데이터 샘플링이 왜 필요한지 당연할 수도 있는 것들이지만 되짚어 보자. 시간 및 비용 제약 극복 : 대규모 데이터를 다룰 때, 샘플링을 하면 시간과 비용을 절약할 수 있다. 데이터 사이즈가 커질 수록 전체 데이터를 모두 수집하고 분석하는 것은 .. 공감수 1 댓글수 0 2023. 2. 27.
데이터 샘플링: 통계적 및 비통계적 샘플링 방법 데이터 샘플링(표본추출)은 많은 양의 데이터를 대상으로 분석 작업 수행 시, 전체 데이터가 아닌 일부를 ‘샘플(표본)’로 선택하여 전체 데이터를 대표하게 하는 작업이다. 이 샘플링은 처리할 데이터의 양이 많을 때 반드시 필요한 중요한 단계이다. 샘플링은 통계에서 나온 개념이다. 사실 통계가 나온 중학교 2학년 때부터 수학이 싫어졌던 경험이 있는 사람으로서, 자세한 내용은 별로 관심이 없다. 하지만 자세한 내용을 모른다고 분석 업무를 못하는 건 아니니, 이런 게 있다고 아는 정도로 이해하고 넘어가자. 데이터 샘플링 방법은 크게 통계적 기법을 기반으로 한 샘플링과, 비통계적 기법을 기반으로 한 샘플링이 있다. 샘플링 종류 방법 장점 단점 데이터 분석에서의 사용빈도 통계적 단순 랜덤 모집단에서 무작위 추출 편.. 공감수 1 댓글수 0 2023. 2. 20.
데이터 구조: 배열, 목록 및 테이블 데이터 구조는 컴퓨터 프로그램에서 데이터를 저장, 구성 및 액세스 할 때 데이터를 구성하는 방식을 의미한다. 데이터 분석 업무를 하다 보면, 다양한 데이터 구조를 사용하여 대규모 데이터 세트를 저장, 처리 및 분석하게 되며, 상황에 맞게 적절한 데이터 구조를 선택해야 한다. 그래야 최적화된 속도와 결과를 얻을 수 있다. 이번 글에서는 일반적으로 사용되는 세 가지 데이터 구조(배열, 목록 및 테이블)를 살펴보고 데이터 분석의 맥락에서 각각의 차이점과 예시에 대해서 알아보려 한다. 또한, 아직 다른 글에서 다루지 않은 R 과 Python의 코딩들도 예시로 보여주려 하니, 대략적인 감을 잡는 참조용으로만 보길 바란다. 각 언어별로 데이터 구조에 대한 용어가 약간 상이할 수 있으며, 코딩 방법도 다른데, 구체적.. 공감수 0 댓글수 0 2023. 2. 17.
데이터 유형: 숫자, 범주 및 순서 데이터의 이해 다양한 유형의 데이터(data type)를 이해하는 것은 데이터 분석의 결과를 정확하게 해석하는 데 중요한 요소이다. 실무를 하다 보면 어이없는 에러의 원인이 데이터 유형에 대한 무지인 경우가 적지 않다. 그러니 나중에 에러의 원인을 찾느라 고생하기 전에 데이터 유형에 대해 잘 알아보자. 아래 글을 통해 세 가지 주요 데이터 유형(숫자형, 범주형 및 순서형)을 살펴보고 각 데이터 유형이 데이터 분석에 미치는 영향을 더 잘 이해하는 데 도움이 되도록 예시들과 함께 알아보자. 데이터유형 정의 예시 숫자형 (Numeric) 연속 (Continuous) 나이, 키, 몸무게, 급여 등과 같이 정의된 범위 내에서 모든 값을 가지는 유형 신장(cm), 급여($) 등 이산 (Discrete) 가족의 자녀 수, 집의 방.. 공감수 0 댓글수 0 2023. 2. 13.
SQL 처음으로 배우기 - 마무리 SQL 쿼리에서 필요한 기본 함수들은 이제 다 배워봤다. 커쇼의 이름이 나온 김에 재미로 한 번 쿼리를 만들어보자. 추억의 다저스 3인방 클레이튼 커쇼의 이름을 보니, 류현진이 LA다저스에 데뷔했었던 2013년이 생각난다. 당시 다저스에는 세 명의 선발투수진이 있었는데, 국내 팬들 사이에서는 손오공(커쇼), 사오정(그레인키), 저팔계(류현진)에 빗대어졌었다. 지난 포스팅에서 (SQL 처음으로 배우기 - JOIN) 클레이튼 커쇼가 2016년에 MLB 최고의 연봉을 받는 선수임을 확인했다. 2013년도에 국내 팬들에게도 잘 알려진 다저스 3인방의 연봉이 어떻게 변해왔는지 알아보자. Lahman Baseball Database 연봉 잭 그레인키(Zack Greinke)의 연봉은 아래의 쿼리를 통해 확인할 수 .. 공감수 0 댓글수 2 2023. 1. 10.
SQL 처음으로 배우기 - JOIN 앞의 글 'SQL 처음으로 배우기 - SELECT / FROM / WHERE / ORDER BY'를 통해 단 몇 분도 안되어 데이터베이스에서 데이터 뽑는 것을 배웠다. 연봉 1위로 3천3백만 불을 받은 그 선수는 누구일까? 아마 SQL 편집기를 다루는게 익숙하지 않아 버벅거렸을 수는 있으나, SQL 쿼리의 문법이 어렵지는 않았으리라. SQL 편집기를 다루는 법에 대해서는 곧 별도의 글을 작성할 예정이다. 우선 그전에 SQL 쿼리가 어떤 것이 있고, 얼마나 간단한지 정도 알고 가자. 이번 글도 마찬가지로 얼마나 간단하게 사용될 수 있는지를 보기 위한 글이다. 데이터베이스에서 데이터를 뽑을 때, 하나의 데이터 테이블에서만 뽑는 경우는 거의 없다. 대부분 연관되어 있는 다른 테이블과 같이 연결하여 뽑게 된다... 공감수 1 댓글수 0 2022. 11. 27.
SQL 처음으로 배우기 - SELECT/ FROM / WHERE/ ORDER BY SQL을 맨 처음으로 배우는 사람을 위해 글을 쓴다. 예전 회사에 Business Analyst라는 타이틀을 가지고 있는 동료가 있었다. 실제 하는 일은 타이틀과는 좀 거리가 있었지만 말이다. 어쨌든 그 친구가 일하는 걸 보니 SQL 쿼리로 데이터를 뽑고 있는 게 아닌가. 신기해서 어떻게 배웠냐고 물었더니 독학으로 배웠다고 한다. '대박! 멋진 녀석이었군! 혼자 코딩 배우는 신기한 사람들이 있다더니 여기 있었구먼.' 티는 안 냈지만 내심 부러우면서 아주 살짝 경외심도 들었다. 그렇게 몇 년이 지나고 우연한 기회에 SQL 기초 강의를 듣게 되었다. 그리고 한 시간도 안되어서 예전에 내가 생각했던게 무색해졌다. 기초는 그만큼 쉬웠다. 지금 당장 여기 있는 글을 읽고 나면 바로 데이터를 뽑아볼 수 있다. 물론.. 공감수 0 댓글수 0 2022. 11. 22.
마이크로소프트 SQL Server Management Studio(SSMS) 셋업 지난번 글, '무료 SQL 편집기 설치 - DBeaver' 를 쓰고 나니, MS SQL Server Management Studio(SSMS)에 대해서 너무 간단하게 쓴 것 같아 별도의 글을 쓰게 되었다. 혹시나 필요한 사람이 있을 수도 있으니, DBeaver 대신에 MS SQL Server management Studio(SSMS)를 쓰고 싶은 사람은 이 글을 보면 되겠다. 이 글은 SQL을 처음 시작하고자 하는데, 편집기 설치 및 서버 연결이 전혀 감이 안오는 사람들을 대상으로 한다. MS SQL Server Management Studio(SSMS)를 사용하려면, 먼저 서버 환경을 구축해야 한다. 이전 글에서는 MS SQL Server를 설치해야 한다고 했는데, 사실 MS SQL Server의 종류.. 공감수 0 댓글수 0 2022. 11. 19.
무료 SQL 편집기 설치 - DBeaver SQL을 배우고, 실습을 해보기 위해서는 SQL 편집기를 설치해야 한다. 지난 글 'SQL 왜 필요한가'를 통해 SQL은 관계형 데이터베이스 시스템을 개발한 단체/업체에 따라서 쿼리 문법 등이 조금씩 다름에 대해서 언급하였다. 각 SQL은 본인들에게 최적화된 SQL 편집기를 가지고 있는데, 예를 들어 MS SQL Server는 MS SQL Server Management Studio, MySQL은 MySQL SQL Editor 등의 고유 SQL 편집기를 제공하고 있다. 편집기 자체는 대부분 무료이기 때문에 무료인게 큰 장점은 아니긴 하다. 다만, 본인이 작업하려고 하는 데이터베이스가 각 SQL에 맞지 않을 때에는 불편한 과정을 거쳐야 처음 셋업이 되는 번거로움이 있다. 그런 번거로움을 피하기 위해서 DB.. 공감수 0 댓글수 0 2022. 11. 14.
R 속에서 SQL 사용하기 'SQL 왜 필요한가'를 통해서 간략하게 SQL을 알면 왜 좋은지 정리하였다. 대부분의 데이터베이스가 관계형 데이터베이스이기 때문에 SQL 쿼리를 통해서 데이터를 뽑아내는 것이 가장 효과적인 데이터 추출 방법 중 하나이다. https://double-d.tistory.com/16 SQL 왜 필요한가 ※ 데이터베이스나 SQL전문가가 아닌 데이터분석을 위한 실무자 입장에서 본 글을 작성하였음을 미리 알립니다. R을 소개하면서 여러 가지 프로그래밍 언어들에 대해 언급한 적이 있다. 그중에 double-d.tistory.com 당연하겠지만 데이터를 추출하고 난 후에는 CSV나 엑셀 형태로 받아서 다시 R로 불러오는 수고를 할 필요가 없다. R에 관련 패키지를 설치해서 필요한 함수를 사용하기만 하면, 바로 서버와.. 공감수 0 댓글수 0 2022. 11. 10.
SQL 왜 필요한가 ※ 데이터베이스나 SQL전문가가 아닌 데이터분석을 위한 실무자 입장에서 본 글을 작성하였음을 미리 알립니다. R을 소개하면서 여러 가지 프로그래밍 언어들에 대해 언급한 적이 있다. 그중에 하나가 SQL이다. https://double-d.tistory.com/5 R? 데이터 분석을 위해 선택할 언어 R이란? 국립중앙과학관에서 정의하고 있는 R은 다음과 같다. R은 오픈소스 프로그램으로 통계/데이터 마이닝 및 그래프를 위한 언어이다. R은 주로 연구 및 산업별 응용 프로그램으로 많이 사용 double-d.tistory.com SQL (Structured Query Language) - 시퀄 데이터 분석을 위해 SQL을 알아두면 매우 유용하다. 대부분의 회사에서 데이터베이스를 운용하고 있는데, 데이터 베이스.. 공감수 0 댓글수 0 2022. 11. 9.
데이터 분석 4단계: 분석 (Analyze) 데이터가 수집되고, 클리닝을 통한 전처리가 끝났다면 분석을 해야 한다. 데이터 분석 단계를 어떻게 정의하느냐에 따라 ‘분석’ 단계에서 하는 일에 차이가 있을 수 있다. 여기에서는 기존 6단계 구분법에 의해 ‘데이터 처리(Process)’와 ‘공유(Share)’ 단계의 중간에 있는 ‘분석’ 단계에 대해서 설명하도록 하겠다. 데이터 분석의 유형 분석의 목적에 따라 데이터 분석을 크게 4가지 유형으로 나눌 수 있다. 설명분석과 진단분석은 과거의 데이터에 대한 해석이 주목적이고, 예측분석과 처방분석은 미래에 대한 의사결정을 위한 자료 제공이 주목적이다. 현업에서는 한 가지만 하는 경우는 거의 없으니 개념적인 이해를 위해 알아보자. 설명분석 (Descriptive Analysis) : 이전에 일어났던 일에 대해 .. 공감수 2 댓글수 0 2022. 6. 16.
데이터 분석 3단계: 처리(Process) - 데이터 클리닝 앞 선 글에서도 몇 번 언급되었지만, 정제되지 않은 데이터에서는 엉뚱한 분석 결과가 나올 가능성이 크다. 'garbage data in' 하면 'garbage data out'이라고 봐야 한다. 데이터 클리닝(Data Cleaning)은 데이터 정제(Data cleansing, Data scrubbing)라고도 하고, 데이터 분석에서 필수로 수행해야 하는 작업이다. 아래는 타블로(Tableau)에서 데이터 클리닝 관련하여 제공하고 있는 학습자료에서 일부 발췌하고 내용을 덧붙였다. 데이터 클리닝은 무엇인가 데이터 소스가 하나인데 자체가 제대로 관리되지 않았을 수 있다. 엉뚱한 항목에 엉뚱한 값이 들어가 있거나, 제품 등록할 때 시간이 없다고 일부 항목을 누락한 채로 등록하였을 수 있다. 각각의 데이터가 제.. 공감수 3 댓글수 0 2022. 6. 6.
데이터 분석 3단계: 처리(Process) - 데이터 문제 데이터와 관련된 이슈들 1. 데이터 부재 분석은 하고 싶으나, 데이터 자체가 없을 수 있다. 이럴 때는 어떻게 하는게 합리적인 방법일까? 솔루션1) 우선 시간과 자원이 허락되는 내에서, 작은 범위의 데이터라도 수집하여 분석해 본다. 그러면서 동시에 더 많은 데이터를 수집할 수 있는 추가 시간을 요청한다. 솔루션2) 만약 전혀 시간이 없는 상황이라면, 유사한 대체 데이터를 찾아서 분석한다. 2. 데이터 부족 데이터가 있기는 있는데, 부족하다. 나는 리트리버에 대한 데이터가 필요한데, 리트리버에 대한 데이터가 너무 부족하다. 솔루션3) 그럴 땐 임시로 라브라도에 대한 데이터도 합쳐서 본다. 하지만 주의해야 한다. 섞인 데이터로 인해서 실제와는 다른 분석 결과가 나올 수도 있기 때문이다. 솔루션4) 그리고 가.. 공감수 0 댓글수 0 2022. 6. 3.
데이터 분석 2단계: 준비 (Preparation) - DB, 데이터베이스 데이터베이스(DB, Database)란? 데이터를 준비하기 전에 데이터를 담고 있는 데이터베이스가 무엇인지 알아보자. 네이버 검색을 통해 나온 두산백과에서 정의하고 있는 데이터베이스란 아래와 같다. 여러 사람에 의해 공유되어 사용될 목적으로 통합하여 관리되는 데이터의 집합을 말한다. 자료항목의 중복을 없애고 자료를 구조화하여 저장함으로써 자료의 검색과 갱신의 효율을 높인다. 현대적인 의미의 데이터베이스 개념을 확립한 사람은 당시 제너럴일렉트릭(GE)에 있던 C. 바크만으로 그는 1963년 IDS(Integrated Data Store)라는 데이터베이스 관리 시스템을 만들었다. 다시 말해서, 논리적으로 연관된 하나 이상의 자료의 모음으로 그 내용을 고도로 구조화함으로써 검색과 갱신의 효율화를 꾀한 것이 데.. 공감수 1 댓글수 0 2022. 5. 30.
오픈 데이터 소스 오픈 데이터 (Open Data) Second 또는 Third-Party 데이터의 가격은 비싸다. 수집하는데 많은 노력이 들뿐만 아니라, 데이터 검수하는데도 적지 않은 주의와 자원이 필요하기 때문이다. 이러한 이유로 일반인들은 데이터 구매에 대한 생각조차 하기 쉽지 않다. 다행히 정부와 학계, 단체에서 제공하는 양질의 오픈 데이터를 무료로 구할 수 있다. 오픈 데이터는 제공하는 주체에 따라 크게 3가지 분류가 있다. 첫째, 정부 주도 공공 데이터이다. 둘째, 기타 범정부 기관 및 학계, 단체 등에서 제공하는 무료 데이터도 있다. 셋째, 사기업에서 제공하는 데이터이다. 대부분의 빅테크 기업이 제공하고 있다. 첫째, 정부 주도 공공 데이터 우리나라 정부도 데이터의 중요성을 강조하면서 몇 년 전부터 공공데이터.. 공감수 0 댓글수 0 2022. 5. 24.
데이터 분석 2단계: 준비 (Preparation) - 데이터 구하기 분석을 위한 데이터는 어떻게 구할 것인가. 내부 데이터를 사용하면 문제는 비교적 간단하다. 하지만 대부분의 경우 내부 데이터만으로는 부족할 수 있다. 때로는 외부에 있는 자료를 직접 찾거나, 다른 회사로부터 구매해야 할 수도 있다. 데이터 소스를 골라야 한다. 자체 생성/수집할 수 있는 데이터를 First-party Data라고 한다. 아쉽게도 그것만으로는 부족할 수 있고, 앞서 말했듯이 내부 데이터 외의 데이터를 구해야 하는 상황이 온다. First-Party와 구분되는 2가지 데이터가 더 있다. 다른 개인/단체/회사에서 직접 수집하여 판매하는 데이터를 Second-Party Data, 본인들이 수집하지 않았지만 여러 가지 데이터를 한꺼번에 취급하면서 다른 개인/단체/회사가 수집한 데이터를 판매하기도 .. 공감수 0 댓글수 0 2022. 5. 22.
데이터 분석 1단계: 문제제기 (Ask) - 외부팀과의 협업 구멍가게가 아닌 이상, 대부분의 분석 업무는 타부서 또는 타회사와의 협업이 필수이다. '데이터 분석 1단계: 문제제기 (Ask) - 질문에 대하여' (https://double-d.tistory.com/6)에서 외부용 질문에 대해 잠깐 언급하였다. 이번 글에서는 그 내용을 좀 더 자세하게 설명하겠다. 외부팀과의 협업을 위해서 어떤 점들을 주의해야 할까? 효과적인 커뮤니케이션을 위한 고려사항 커뮤니케이션학과도 있고, 커뮤니케이션 전문가도 있다. 학문이 되고, 전문가가 필요할 만큼 타인과의 소통은 어려우면서 중요하다. 유관부서/경영층/의뢰인 등인 Stakeholder 또는 팀원들과 어떻게 소통해야 할까 예기치 못한 상황에 대비하라 분석 프로젝트를 시작하기 전에 예상되는 어려움에 대한 목록(Risk List).. 공감수 0 댓글수 0 2022. 5. 20.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.