<그림 2-8> BPP의 물가지수와 기존 CPI 비교
주: Food & beverages, furnishing & household products, recreation & culture, clothing &
footwear, housing, electricity & fuel, health 부분의 합성지수.
자료: PriceStats(www.pricestats.com, 검색일: 2021. 5. 11.).
4.2. 해외 통계청의 소비자 물가지수 반영 시도
미국 통계청(National Statistics Office: NSO)과 노동 통계국(Bureau of Labor Statistics: BLS)에서도 온라인 데이터를 수집하여 소비자 물가지수 (Consumer Price Index: CPI)21) 계산에 반영할 것을 고려 중이며 웹스크레이 핑을 하나의 데이터 수집 방법으로 포함하고 있다(Konny et al. 2019).
웹스크레이핑은 가격 정보 수집 외에도 더 다양한 정보 수집에 활용이 가능하
21) 한국의 소비자물가지수 조사 품목은 총 460개의 대표 품목으로 이루어져 있으며 이 중, 133개 품목 (29%)이 식료품 및 비주류 분류에 속하고 주류 및 담배까지 포함할 경우 140개 품목(30%)으로 소 비자물가지수를 계산하는 데에 있어 농식품의 중요도는 높음.
다. 미국 노동 통계국(BLS)은 기존 소비자 물가지수 계산 시 품목의 품질조정22) 을 수행하는데 이에 사용하는 상품별 특성을 웹스크레이핑을 활용하여 수집하고 있다(Konny et al. 2019).
유럽연합통계청(Eurostat)은 유럽소비자물가지수인 HICP(Harmonized Index of Consumer Prices) 작성을 위해 회원국들에게 오프라인 쇼핑몰 데이 터인 스캐너 데이터23)뿐만 아니라 웹스크레이핑 데이터의 활용을 권고하고 있 다. 또한, 가격 정보 수집을 위해 웹스크레이핑 소프트웨어 개발을 지원하고 있다 (Eurostat 2018; Polidoro et al. 2015).
영국 통계청은 2014년부터 웹스크레이핑 자동화 소프트웨어 툴을 개발하여 온 라인 데이터를 수집하고 있으며 이 데이터를 활용하여 개발한 새로운 물가지수 CLIP(Clustering Large Datasets into Price indices)의 시험편제 결과를 공개 하고 있다. 음식료품의 CLIP는 기존 영국 공식 CPI와 유사한 방향성을 보이고 있 다는 점에서 온라인 데이터의 유효성을 확인할 수 있다<그림 2-9>(ONS 2016).
<그림 2-9> 영국 음식료품에 대한 공식 CPI와 CLIP 비교
자료: Office of National Statistics(ONS 2016).
22) 과거·현재 제품의 가격 차이 중 품질 변화분을 제외한 순수한 가격 변화분만을 물가지수에 반영하는 작업을 말함(문혜정 2019).
23) 한국에서는 POS(Point of Sales)라고 불린다.
4.3. 소셜 미디어와 신문기사를 활용한 심리지수
소셜 미디어와 신문기사 자료를 수집하여 개발한 심리지수 역시 온라인 데이터 수집 방법을 적용한 것으로, 대표적인 사례로는 네덜란드 통계청의 소셜 미디어 지수(Social Media Index: SMI)가 있다. 네덜란드 통계청은 소셜 미디어 포스 팅을 웹스크레이핑을 통해 수집한 데이터에 대해 형태소 분석을 진행하여 감성 (sentiment)을 분석한 후, 각 포스팅의 전반적인 의견을 긍정, 부정, 중립으로 분 류하여 소셜미디어지수(Social Media Index: SMI)를 작성하였다(Brakel et al. 2016; Daas and Puts 2014). 이렇게 개발된 SMI는 네덜란드 공식 소비자신 뢰지수(Consumer Confidence Index: CCI)와 유사한 움직임을 보인다<그림 2-10>.
<그림 2-10> 네덜란드 소셜미디어지수(SMI)와 공식소비자신뢰지수(CCI) 비교
자료: Daas and Puts(2014).
이와 같은 심리지수는 샌프란시스코 연방은행(Federal Reserve Bank of San Francisco, San Francisco FED)과 미시간 대학교에서도 개발하였다.
Shapiro et al.(2017)은 이와 같은 지표가 현 상황을 잘 반영한다는 점을 증명하 였고, 미시간 대학교의 소비자 심리지수는 전통적 서베이 방식의 지표를 선행하 는 것으로 증명되었다.
소셜 미디어를 활용한 심리지수는 국내에서도 개발되었다. 한국은행은 네덜란 드의 SMI를 벤치마킹하여 한국 소셜미디어 데이터를 수집·분석한 심리지표를 만들었다. 이 심리지표는 소비자 심리지수와는 유사한 움직임을 보였고, 실물경 제 지표인 GDP에 대해서는 선행하는 것으로 나타났다.
온라인 데이터를 활용한 지표의 공통적인 특징은 기존 지표를 선행한다는 점이 다. 기존 지표의 경우 대부분 조사원들이 직접 표본조사를 통해 대표 품목 가격을 수집하여 계산한 후 공표되므로, 대표 품목에 대해 표본조사를 수행해서 생기는 오차 외에, 조사 시점과 물가 공표 시점 사이에 차이가 존재하게 된다. 반면, 온라 인 데이터를 수집하는 경우 온라인 쇼핑 채널에 대해서실시간으로 등록된 전체 품 목에 대해 데이터 수집·추출이 가능하므로, 기존 지수들에 비해 시점상으로 선행 하고, 체감물가와 물가지수와의 시점 간 괴리를 개선할 수 있을 것으로 기대한다.
4.4. 민간 기업의 전략 활동에서의 활용 사례24)
민간 기업들은 웹스크레이핑을 활용하여 자사 및 경쟁사의 가격 동향을 모니터 링하고 시장을 분석하는 전략을 세우고 있다. 예를 들어, A 제조사는 시장의 가격 동향을 기준으로 자사 상품의 가격 변동성을 모니터링하여 신규 상품 기획 시 시 장가격을 책정하는 데에 활용한다. 이를 통해 경쟁사의 경쟁 상품과 비교하여 자 사 상품의 가격경쟁력을 확보하고자 한다.
24) 웹스크레이핑 전문 업체 내부 자료 활용.
4.4.1. 자사 상품의 온라인 시장 가격 모니터링-국내 스포츠 의류사 사례
국내 스포츠 의류사 A는 자사상품 프로모션 기획 및 가격 경쟁력 확보를 위해 온라인 시장의 가격 동향과 경쟁사 프로모션 등 시장 현황을 일 단위 데이터로 수 집하여 모니터링하는 데에 활용하고 있다.
<그림 2-11> 국내 스포츠 의류사의 온라인 가격 수집 사례
자료: 내부자료.
4.4.2. 국가별 가격 모니터링-국내 타이어 제조사 사례
국내 타이어 제조업체인 B사는 자사 상품의 가격 경쟁력 확보를 위해 전 세계 주요 국가 139개 사이트로부터 타이어 온라인 시장의 가격을 주간 단위로 모니 터링하고 있다.
<그림 2-12> 국가별 온라인 시장에서의 타이어 가격 모니터링 사례
자료: 내부자료.
4.4.3. 온라인 채널별 다이나믹 프라이싱에 활용-멕시코 주류업체 사례
멕시코 주류업체인 C사는 채널별 가격동향을 일 단위로 모니터링하여 경쟁상 품의 가격 변화에 따라 자동으로 자사 채널 가격을 변동하도록 프로그램을 구축 하여 다이나믹 프라이싱 전략에 활용하고 있다. 가격 경쟁력 확보를 통해 시장 점 유율을 유지하기 위하여 경쟁업체의 가격을 일 단위로 모니터링하고 있다.
<그림 2-13> 주류업체의 온라인 일별 가격 데이터 모니터링 사례
자료: 내부자료.
4.4.4. 온라인 시장 마케팅 현황 모니터링 및 분석-국내 화장품 제조사 사례
국내 화장품 제조업체인 D사는 온라인 시장 주요 카테고리 등록상품 및 광고 분석을 통해 자사 마케팅 현황 및 경쟁사 마케팅 현황을 모니터링하고 있다. 키워 드 분석을 통해 주요 등록 상품의 속성, 소비자 트렌드 및 니즈를 분석하여 신규 상품 기획 시 활용하고 있다.
<그림 2-14> 국내 화장품 제조사의 온라인 시장 마케팅 현황 분석 사례
자료: 내부자료.
<그림 2-15> 국내 화장품 제조사의 기능/속성 및 소비자 니즈 분석 사례
자료: 내부자료.
4.4.5. 마케팅 효과 분석-해외 위스키 제조사 사례
해외 위스키 제조사인 E사는 주요 메인 키워드 카테고리의 광고 대비 효과 분 석을 통해 마케팅 효과가 높은 상품에 대해서는 마케팅 활동 강화, 효과가 저조한 상품에 대해서는 마케팅 전략을 재수립하는 데에 활용하고 있다.
<그림 2-16> 해외 위스키 온라인 시장 분석 사례
자료: 내부자료.
<그림 2-17> 카테고리별 주요 제조사/브랜드/SKU별 일간 단위 트렌드 분석
자료: 내부자료.
<그림 2-18> 주요 상위 판매자 정보 및 판매량 계측
자료: 내부자료.
4.5. 정부와 민간의 데이터 제공 사례
통계청 빅데이터과의 통계 데이터 허브국에서는 현재 웹스크레이핑을 활용하 여 120여 개 품목의 온라인 가격 데이터를 매일 수집하여 제공하고 있다.25) 그러 나 120개 품목 선정에 대한 정확한 정의가 명확하게 제공되지 않고, 가격 정보만 을 수집하고 있어 원하는 유통채널별, 품목별 세부 정보 수집과 활용에는 한계가 있는 것으로 평가되고 있다.
25) 통계청. 빅데이터. <https://data.kostat.go.kr/social/loginGuestProcess.do>. 검색일: 2021.
5. 11.
<그림 2-19> 통계청 온라인 가격 데이터
자료: 통계청 빅데이터(https://data.kostat.go.kr/social/loginGuestProcess.do, 검색일: 2021. 5. 11.).
민간데이터 공급업체들은 웹스크레이핑을 통해 데이터를 수집하여 제공하고 있 다. 민간 데이터 공급 업체들은 고객사들의 요청에 맞춰 유통채널과 품목을 선정 한 후, 웹스크레이핑을 통해 맞춤형 데이터를 수집하여 제공한다는 장점은 있다.
그러나 세부 시간 간격 및 수집 항목 증가에 따라 가격 상승이 높으며, 제공되는 정 보 및 시간 간격의 한계 등으로 인해 경제적이라고 볼 수 없다. 일반적으로 일별 데 이터는 제공되지 않으며, 최소 제공 시간 단위는 주간이다.
<그림 2-20> 민간 데이터 공급 업체 제공 온라인 수집 데이터 샘플
자료: 저자 내부 자료(민간 데이터 공급업체 제공).
제3장
웹스크레이핑을 활용한 온라인
농산물 소매유통정보 분석 사례
웹스크레이핑을 활용한 온라인 농산물 소매유통정보 분석 사례
3
1. 농식품 온라인 소매유통 실태 및 통계 현황
1.1. 온라인 쇼핑동향조사
현재 접근이 가능한 온라인 소매유통 관련 통계는 국가승인통계인 온라인 쇼핑 동향이 대표적이다. 통계청의 온라인 쇼핑동향조사로 전국 약 1,100개 사업체를 대상으로 상품군별 월별 거래액을 조사하여 상품군별 매출액 정보를 쇼핑몰의 취 급상품 범위별, 운영형태별, 판매매체별로 구분하여 제공하고 있다. 상품군, 취 급상품 범위, 운영형태, 판매매체는 <표 3-1>과 같이 정리할 수 있다. 취급상품 범위의 경우, 종합몰은 여러 가지 카테고리로 다양한 상품을 취급하는 쇼핑몰을 지칭하며, SSG닷컴, AK몰, 롯데온, 홈플러스몰 등이 이에 해당된다. 전문몰은 하나의 카테고리를 정해 관련 상품들만 모아놓은 쇼핑몰이다. 이를테면, 미용도 구 전문몰, 반려동물 전문몰을 예로 들 수 있다. 운영형태는 온라인몰과 온·오프 라인 병행몰로 나뉘는데, 온라인몰은 인터넷을 통한 전자상거래 형식으로만 운
영하는 온라인 쇼핑몰을 의미하고, 온·오프라인 병행몰은 전자상거래와 기존의 상거래 방식(오프라인 매장, 전자상거래 이외의 영업형태)을 병행하고 있는 업체 를 뜻한다. 판매매체는 인터넷쇼핑과 모바일쇼핑으로 나눌 수 있으며, 인터넷쇼 핑은 PC에서 인터넷을 통해 쇼핑을 하는 방식이고, 모바일쇼핑은 스마트폰을 기 반으로 모바일 인터넷을 통해 쇼핑을 하는 방식이다.
<표 3-1> 온라인 쇼핑동향조사 상품군, 취급상품 범위, 운영형태, 판매매체 정의
구분 세부정보
상품군
컴퓨터 및 주변기기 가전·전자·통신기기
서적 사무·문구
의복 신발 가방 패션용품 및 액세서리
스포츠·레저용품 화장품 아동·유아용품
음·식료품 농축수산물 음식서비스 생활용품 자동차 및 자동차 용품
가구 애완용품 여행 및 교통서비스 문화 및 레저서비스
e쿠폰서비스 기타서비스
기타
취급상품 범위 종합몰
전문몰
운영형태 온라인몰
온·오프라인몰
판매매체 인터넷쇼핑
모바일쇼핑 자료: 저자 작성.