데이터 분석11 KNIME 개요&설치 KNIME은 무료로 사용할 수 는 Data Analytics Platform 입니다. Work-Flow 기반으로 데이터 분석이 가능하며, 코딩이 필요한 다른 분석 프로그램에 비해 접근성이 낮고 분석 과정을 시각화할 수 있습니다. 1. KNIME 특징 1) 무료 사용 가능 (서버 구축시 비용 발생) 2) 진입장벽이 낮음 3) 파이썬, R등의 기타 소프트웨어 스크립트를 사용할 수 있음 4) 데이터 전처리, 시각화, 통계분석, 머신러닝, 딥러닝 등 다양한 데이터 분석 기능을 제공 > 파이썬이나 R에 익숙한 분들은 KNIME이 크게 매력적이지 않겠지만 기계언어에 익숙하지 않은 초보자들에게 유용한 소프트웨어입니다. 2. KNIME 다운로드 Windows, Linux, Mac OS를 지원하며, 사용환경에 맞는 파일.. 2021. 12. 30. 미래의 빅데이터 빅데이터 활용의 3요소 1. 기본 3요소 데이터 모든 것의 데이터화 기술 진화하는 알고리즘, 인공지능 인력 데이터 사이언티스트, 알고리즈미스트 1) 데이터 모든 것을 데이터화(Datafication)하는 현 추세로 특정 목적없이 축적된 데이터를 통한 창의적인 분석이 가능해져, 새로운 가치로 부상하고 있다. 2) 기술 대용량의 데이터를 빠르게 처리하기 위한 알고리즘의 진화와 함께 스스로 학습하고 데이터를 처리할 수 있는 인공지능 기술이 출현하였다. 3) 인력 빅데이터를 처리하기 위한 데이터 사이언티스트와 알고리즈미스트의 역할을 통해 빅데이터의 다각적 분석을 통한 인사이트 도출이 중요해지고 있다. *데이터 사이언티스트: 빅데이터에 대한 이론적 지식과 숙련된 분석 기술을 바탕으로 통찰력, 전달력, 협업 능력을.. 2021. 12. 28. 빅데이터 시대의 위기 요인 빅데이터 시대의 위기 요인 1. 사생활 침해 내용 개인정보가 포함된 데이터를 목적 외에 활용할 경우 사생활 침해를 넘어 사회/경제적 위협으로 변형될 수 있다. 예시 여행 사실을 트윗한 사람의 집을 강도가 노리는 고전적 사례 발생 2. 책임 원칙 훼손 내용 빅데이터 기본분석과 예측기술이 발전하면서 정확도가 증가한 만큼, 분석대상이 되는 사람들은 예측 알고리즘의 희생양이 될 가능성도 증가한다. 민주주의 국가에서는 잠재적 위협이 아닌 명확한 결과에 대한 책임을 묻고 있어 이에 따른 원리를 훼손할 가능성이 있다. 예시 영화 "마이너리티 리포트"에 나오는 것처럼 범죄 예측 프로그램에 의해 범행을 저지르기 전에 체포, 자신의 신용도와 무관하고 부당하게 대출이 거절되었다. > 민주주의 국가의 형사 처벌은 잠재적 위협.. 2021. 12. 27. 빅데이터 비즈니스 모델 빅데이터 활용 사례 1. 기업 1) 구글은 사용자의 로그 데이터를 활용한 검색엔진 개발, 기존 페이지랭크 알고리즘을 혁신하여 검색 서비스를 개선했다. 2) 월마트는 고객의 구매패턴을 분석해 상품진열에 활용한다. 2. 정부 정부는 실시간 교통정보 수집, 기후 정보, 각종 지질 활동, 소방서비스 등 다양한 국가 안전 확보 활동을 위해 실시간 모니터링을 활용한다. 이 밖에도 미래 의제인 의료와 교육 개선을 위해 빅데이터를 활용해 해결책을 모색한다. 3. 개인 1) 정치인은 선거를 위해 사회관계망 분석을 통해 유세 지역을 선정하고, 해당 지역의 유권자에게 영향을 줄 수 있는 내용을 선정해 효과적인 선거 활동을 펼친다. 2) 가수는 팬들의 음악 청취 기록 분석을 통해 실제 공연에서 부를 노래 순서를 정하는데 활용.. 2021. 12. 24. 빅데이터의 가치와 영향 1. 빅데이터의 가치 여러 가지 변수로 인해 빅데이터 시대에서는 가치를 측정하는 것이 쉽지 않다 빅데이터 가치 산정이 어려운 이유 데이터 활용 방식 > 데이터 활용 방식에서는 재사용이나 재조합, 다목적용 데이터 개발 등이 일반화되면서 특정 데이터를 언제/어디서/누가 활용할 지 알 수 없게 되었다. 따라서 가치를 산정하는 것도 어려워졌다. 새로운 가치 창출 > 빅데이터 시대에는 데이터가 '기존에는 없던 가치'를 창출함에 따라 그 가치를 측정하기 어려워졌다. 분석 기술 발전 > 현재는 가치가 없는 데이터일지라도 추후에 새로운 분석 기법이 등장한다면 거대한 가치를 지닌 데이터가 될 수 있다. 2. 빅데이터의 영향 다양한 시장 주체들이 빅데이터를 활용함에 따라 소비자이면서 국민인 일반인들은 맞춤형 서비스를 저렴.. 2021. 12. 23. 빅데이터의 이해 빅데이터의 정의 1. 관점에 따른 정의 빅데이터의 정의는 빅데이터를 보는 관점에 따라 3가지로 정의한다 첫째 3V로 요약되는 데이터 자체의 특성 변화에 초점을 맞춘 좁은 법위의 정의 둘째 데이터 자체뿐 아니라 처리, 분석, 기술적 변화까지 보함되는 중간 법위의 정의 셋째 인재, 조직 변화까지 포함한 넓은 관점에서의 빅데이터에 대한 정의 2. 빅데이터 정의의 범주 및 효과 데이터 변화 규모(Volume) 형태(Variety) 속도(Velocity) 기술변화 데이터 처리, 저장 분석 기술 및 아키텍처 클라우드 컴퓨팅 활용 인재, 조직 변화 Data Scientist 같은 새로운 인재 필요 데이터 중심 조직 출현 배경 빅데이터 현상은 없었던 것이 새로 등장한 것이 아니라 기존의 데이터, 처리방식, 다루는 사람.. 2021. 12. 22. 이전 1 2 다음
