35. 데이터 스크래핑을 통한 데이터 구조화 수집

1. 브랜드 인식 측정을 위한 SNS 데이터

* Crawling : 웹 상에 퍼져 있는 데이터들을 수집해 오는 작업

  - 크롤링 하는 방법

    브라우저에 설치할 수 있는 프로그램 이용 → 웹 상에 있는 데이터를 구조화 → 엑셀에 수집

- 데이터 스크래핑을 위한 무료 프로그램

   ○ https://chrome.google.com/webstore/detail/instant-data-scraper/ofaokhiedipichpaobibbnahnkdoiiah/related

   ○ https://chrome.google.com/webstore/detail/listly-free-data-scraper/ihljmnfgkkmoikgkdkjejbkpdpbmcgeh/related?hl=ko 

   ○ https://chrome.google.com/webstore/detail/scraper/mbigbapnjcgaffohmbkdlecaccepngjd?hl=ko 

 

크롬 확장프로그램 설치 → 크롬 우측 상단 퍼즐 모양 클릭 →  해당 확장 프로그램 고정핀 버튼 클릭 → 아이콘 고정 확인

ex) 관련 키워드 스크래핑

 

검색 키워드 입력 → 자동완성 키워드 우클릭 →  관련 확장프로그램 클릭 → 스크래핑 확인

ex) 인스타 게시물 수 스크래핑

검색 해시태그 입력 → 브라우저 우측 상단 'instant data scraper'아이콘 클릭 →  스크랩 결과 '모두복사' 클릭

 → 엑셀에 붙여넣기

* 특정 키워드가 포함된 게시물 갯수 확인 수식

=SUMIF ( 키워드 추출 할 칸, "*"&키워드&"*", 갯수 칸 )

2. 프라이싱을 위한 데이터

ex) ~의 생일선물 검색

- 주로 어떤 상품들로 구성되었는가?

- 주로 어떤 가격대의 제품으로 구성되었는가?

▶ 상품 구성 패키지 전략

▶ 프라이싱 전략

 

원하는 내용 검색 → 상품 리스트 페이지가 모두 나오도록 스크롤 → 브라우저 우측 상단 Instant data scraper 클릭

→ 필요하지 않은 칼럽 삭제 → 엑셀에 붙여넣기

* 가격 평균값 구하기

가격 정보를 demension(원 이라는 글자 값) 에서 숫자값으로 변경 필요하므로

가격 셀 선택 → Ctrl + H  →  찾을 내용 '원' 을 바꿀 내용 '(없음)' 상태로 입력 후 '모두 바꾸기' 클릭

엑셀 우측 하단에 평균 숫자 확인

* 가격대별 건수 비중 확인 방법

=FLOOR(가격값 칸,분류 단위) → 피벗테이블 집계 클릭 → 뜨는 팝업창 '확인' 

피벗 테이블 필드 하단 '행'칸에 '가격' 을 드래그 해서 위치,

'값'칸에 리스트 목록 제목 칸 드래그해서 위치 (스크랩한 데이터 엑셀 참고)

비중 값 구하기

* 조건부 서식을 통한 시각화 

반응형

3. 소비 경향 분석을 위한 데이터

* 네이버 데이터랩 [ 쇼핑인사이트] 탭

https://datalab.naver.com/

- 분야별 인기 검색 키워드 파악

- 특정 분야의 분류 기능 활용

원하는 검색 범위 설정 → 검색 범위 우클릭 → 스크래퍼 시밀러 클릭  → 스크래퍼 화면에서 '클립보드에 복사' 클릭