웹스크레이핑을 활용한 농식품 온라인 소매유통 사례조사와 가능성 진단

(1)

웹스크레이핑을

활용한 농식품 온라인 소매유통 사례조사와

가능성 진단

W 54 l 2021. 6. l

정진호

W 54 l 2021

웹스크레이핑을 활용한 농식품 온라인 소매유통 사례조사와

가능성 진단

(2)

W 54 | 2021. 6. |

웹스크레이핑을 활용한 농식품 온라인 소매유통 사례조사와

가능성 진단

정진호

(3)

연구 담당

정진호︱부연구위원︱제1~4장 집필

토의용논문 W54

웹스크레이핑을 활용한 농식품 온라인 소매유통 사례조사와 가능성 진단

등 록︱제6-0007호(1979. 5. 25.) 발 행︱2021. 6.

발 행 인︱김홍상

발 행 처︱한국농촌경제연구원

우) 58321 전라남도 나주시 빛가람로 601 대표전화 1833-5500

인 쇄 처︱지아이지인

I S B N︱979-11-6149-489-0 93520

※ 이 책에 실린 내용은 한국농촌경제연구원의 공식 견해와 반드시 일치하는 것은 아닙니다.

※ 이 책에 실린 내용은 출처를 명시하면 자유롭게 인용할 수 있습니다.

(4)

코로나19 이전부터 성장해오던 농식품 온라인 소매유통은 코로나19 이후 사 회적 거리두기로 인해 급증하게 되었다. 코로나19로 소비자 농식품 온라인 쇼핑 경험이 증가하고 최근 소매유통 업체들의 4차 산업혁명 기술을 적용한 물류센터 에 대한 투자로 농식품의 신선도 유지가 가능해지면서 농식품에 대한 온라인 소 매유통 증가세는 지속될 것으로 예상된다.

4차 산업 혁명의 핵심 중 하나인 빅데이터(Big Data) 분석은 웹크롤링 (Web-Crawling), 웹스크레이핑(Web-Scraping), 소셜리스닝(Social Listening Analytics), 텍스트 마이닝(Text-Mining) 등 다양한 온라인 데이터 수집 및 분 석 방법을 제공하고 있으나, 구체적으로 활용되고 있지는 않다. 즉, 온라인 소매 유통 시장에 대한 다양한 데이터 수집이 가능해졌음에도 불구하고, 온라인 빅데 이터 수집 방법의 농식품 온라인 소매유통 분야 연구로의 구체적인 활용은 아직 이루어지지 않고 있는 실정이다. 특히, 빠르게 성장하는 온라인 농식품 산업 전반 에 대한 실태 파악이 필요한데, 농식품을 비롯한 온라인 소매유통현황조사는 대 부분 음식료품 온라인 쇼핑 산업 전체에 대한 통계자료를 바탕으로 이루어지고 있어 구체적인 실태 파악이 어려운 실정이다.

이 연구에서는 온라인 빅데이터 수집 기술 중 하나인 웹스크레이핑(Web-Scraping) 기술을 소개하고, 이를 활용한 사례조사로 두 개 품목(양파, 마늘) 소매 데이터를 8개 온라인 유통채널에서 수집하여 사례 분석을 시도해보았다. 이를 통해 궁극적 으로 웹스크레이핑의 농식품 온라인 소매유통 실태 파악으로의 활용 가능성을 검 토하였다. 기존 통계자료가 음식료품 온라인 쇼핑 산업 전체에 대한 정보를 제공 하였다면, 이 연구에서는 신선식품 품목별(마늘, 양파), 온라인 유통채널별(8개 유통 업체) 데이터를 수집하여 이를 바탕으로 세부 품목 및 유통채널에 대해 분석

요약

K o r e a R u r a l E c o n o m i c I n s t i t u t e

(5)

을 수행하였다는 점에서 차별성이 있다. 온라인에서 수집한 데이터를 활용하여 세부 품목별, 유통채널별로 일별 가격 변동, 일별 구매량 변동, 가공 형태별 구매 량, 중량별 구매량, 동일 품목의 유통채널별 가격 차이, 온라인 및 오프라인 가격 차이 분석을 수행하였다.

이 연구는 웹스크레이핑 방법을 통해 수집한 데이터를 활용하여 어떤 정보를 수집할 수 있고, 어디까지 분석이 가능한지를 살펴보고자 하였다. 또한 웹스크레 이핑의 연구 영역으로의 활용 가능성을 가늠하고, 온라인 데이터 수집 및 활용을 위한 빅데이터 분석 환경과 제도적 장치 마련의 필요성을 제시하였다.

(6)

제1장 서론

1. 연구의 필요성 및 목적 ···3

2. 선행연구 검토 및 본 연구의 차별성 ···11

3. 연구의 내용 및 범위 ···16

4. 연구 방법 ···17

제2장 온라인 데이터 수집 방법 소개 1. 온라인 데이터 수집 방법 ···21

2. 웹스크레이핑(Web-Scraping) ···23

3. 형태소 분석 ···27

4. 웹스크레이핑 활용 사례 ···31

제3장 웹스크레이핑을 활용한 온라인 농산물 소매유통정보 분석 사례 1. 농식품 온라인 소매유통 실태 및 통계 현황 ···45

2. 웹스크레이핑 활용 온라인 소매유통 사례 분석 ···53

제4장 온라인 데이터 활용 가능성과 대응 방향 1. 온라인 데이터 활용 방안 ···99

2. 한계점 및 적용 확대를 위한 대응 방향 ···101

부록 1. 인터넷 데이터 수집 기술의 법적/제도적 한계 ···107

참고문헌 ···127

차 례

(7)

제1장

<표 1-1> 단위가격 표시·미표시 온라인 쇼핑몰 ···9

제3장 <표 3-1> 온라인 쇼핑동향조사 상품군, 취급상품 범위, 운영형태, 판매매체 정의 ···46

<표 3-2> 이 연구에서 웹스크레이핑을 통해 수집한 항목 변수 ···54

<표 3-3> 2021년 3~4월 온라인 유통업체별, 품목별 하루 평균 SKU 수 ···55

<표 3-4> 2021년 5월 온라인 유통업체별, 품목별 하루 평균 SKU 수 ···56

<표 3-5> 마늘의 Concentration Ratio 10(CR10) ···93

<표 3-6> 양파의 Concentration Ratio 10(CR10) ···94

표 차례

(8)

제1장

〈그림 1-1〉 국내 식품산업 시장규모 변화 추이(2008~2018년) ···4

〈그림 1-2〉 주요 유통업체 13개사 온·오프라인 식품군 전년 동월 대비 성장률 ····5

〈그림 1-3〉 국내 전체 가구 수, 1인 가구 수, 1인 가구 비율 변화 ···6

〈그림 1-4〉 안드로이드 사용자의 쿠팡 및 쿠팡이츠 애플리케이션 총 사용시간 ···6

제2장 〈그림 2-1〉 웹스크레이핑 과정 ···24

〈그림 2-2〉 웹사이트 화면에서 정보가 표현되는 방법 ···25

〈그림 2-3〉 웹스크레이핑을 통해 수집한 원데이터 ···26

〈그림 2-4〉 형태소 분석이 필요한 SKU 정보 ···27

〈그림 2-5〉 토큰화(Tokenization)를 통한 형태소 분석 ···28

〈그림 2-6〉 형태소 분석의 예: 낱말 구름(왼쪽)과 의미 연결망(오른쪽) ···29

〈그림 2-7〉 SKU 형태소 분석 결과의 예: 지마켓 마늘 품목 ···30

〈그림 2-8〉 BPP의 물가지수와 기존 CPI 비교 ···32

〈그림 2-9〉 영국 음식료품에 대한 공식 CPI와 CLIP 비교 ···33

〈그림 2-10〉 네덜란드 소셜미디어지수(SMI)와 공식소비자신뢰지수(CCI) 비교 ··· 34

〈그림 2-11〉 국내 스포츠 의류사의 온라인 가격 수집 사례 ···36

〈그림 2-12〉 국가별 온라인 시장에서의 타이어 가격 모니터링 사례 ···37

〈그림 2-13〉 주류업체의 온라인 일별 가격 데이터 모니터링 사례 ···37

〈그림 2-14〉 국내 화장품 제조사의 온라인 시장 마케팅 현황 분석 사례 ···38

〈그림 2-15〉 국내 화장품 제조사의 기능/속성 및 소비자 니즈 분석 사례 ···38

〈그림 2-16〉 해외 위스키 온라인 시장 분석 사례 ···39

〈그림 2-17〉 카테고리별 주요 제조사/브랜드/SKU별 일간 단위 트렌드 분석 ····39

그림 차례

(9)

〈그림 2-18〉 주요 상위 판매자 정보 및 판매량 계측 ···40

〈그림 2-19〉 통계청 온라인 가격 데이터 ···41

〈그림 2-20〉 민간 데이터 공급 업체 제공 온라인 수집 데이터 샘플 ···42

제3장 〈그림 3-1〉 온라인 쇼핑동향 상품군별 비율 및 성장률 ···47

〈그림 3-2〉 온라인 쇼핑동향에서 식품 유통 비율 ···48

〈그림 3-3〉 음·식료품의 인터넷쇼핑과 모바일쇼핑 비교 ···49

〈그림 3-4〉 농축수산물의 인터넷쇼핑과 모바일쇼핑 비교 ···49

〈그림 3-5〉 음식서비스의 인터넷쇼핑과 모바일쇼핑 비교 ···50

〈그림 3-6〉 음·식료품의 온라인 쇼핑 종합몰과 전문몰 비교 ···51

〈그림 3-7〉 농축수산물의 온라인 쇼핑 종합몰과 전문몰 비교 ···51

〈그림 3-8〉 음식서비스의 온라인 쇼핑 종합몰과 전문몰 비교 ···52

〈그림 3-9〉 이 연구에서 웹스크레이핑을 활용하여 수집한 원데이터 ···53

〈그림 3-10〉 2021년 3~4월 통마늘 100g당 일별 가격 변화 ···57

〈그림 3-11〉 2021년 3~4월 깐마늘 100g당 일별 가격 변화 ···58

〈그림 3-12〉 2021년 3~4월 다진마늘 100g당 일별 가격 변화 ···59

〈그림 3-13〉 2021년 3월 흑마늘 100g당 일별 가격 변화 ···60

〈그림 3-14〉 2021년 5월 통마늘 100g당 일별 가격 변화 ···61

〈그림 3-15〉 2021년 5월 깐마늘 100g당 일별 가격 변화 ···62

〈그림 3-16〉 2021년 5월 다진마늘 100g당 일별 가격 변화 ···63

〈그림 3-17〉 2021년 3~4월 양파 100g당 일별 가격 변화 ···64

〈그림 3-18〉 2021년 3~4월 햇양파 100g당 일별 가격 변화 ···65

〈그림 3-19〉 2021년 3~4월 깐양파 100g당 일별 가격 변화 ···66

(10)

〈그림 3-20〉 2021년 5월 양파 100g당 일별 가격 변화 ···67

〈그림 3-21〉 2021년 5월 햇양파 100g당 일별 가격 변화 ···67

〈그림 3-22〉 2021년 3~4월 깐마늘 100g당 온라인과 오프라인 평균가격 비교 ···68

〈그림 3-23〉 2021년 5월 깐마늘 100g당 온라인과 오프라인 평균가격 비교 ····69

〈그림 3-24〉 2021년 3~4월 양파 100g당 온라인과 오프라인 평균가격 비교 ···70

〈그림 3-25〉 2021년 5월 양파 100g당 온라인과 오프라인 평균가격 비교 ····70

〈그림 3-26〉 2021년 3~4월 마늘 100g당 오픈마켓과 대형할인몰 가격 비교 ····71

〈그림 3-27〉 2021년 5월 마늘 100g당 오픈마켓과 대형할인몰 가격 비교 ····72

〈그림 3-28〉 2021년 3~4월 깐마늘 100g당 오픈마켓과 대형할인몰 가격 비교 ·· 73

〈그림 3-29〉 2021년 5월 깐마늘 100g당 오픈마켓과 대형할인몰 가격 비교 ····73

〈그림 3-30〉 2021년 3~4월 깐마늘 100g당 오픈마켓, 대형할인몰, 도매가격 비교···74

〈그림 3-31〉 2021년 5월 깐마늘 100g당 오픈마켓, 대형할인몰, 도매가격 비교 ··· 74

〈그림 3-32〉 2021년 3~4월 양파 100g당 오픈마켓과 대형할인몰 가격 비교 ···75

〈그림 3-33〉 2021년 5월 양파 100g당 오픈마켓과 대형할인몰 가격 비교 ····76

〈그림 3-34〉 2021년 3~4월 양파 100g당 오픈마켓, 대형할인몰, 도매가격 비교 ··· 76

〈그림 3-35〉 2021년 5월 양파 100g당 오픈마켓, 대형할인몰, 도매가격 비교 ·· 77

〈그림 3-36〉 마늘 전체 요일별 판매량 변동 ···79

〈그림 3-37〉 마늘 요일별 판매량 변동 ···79

〈그림 3-38〉 깐마늘 요일별 판매량 변동 ···80

〈그림 3-39〉 다진마늘 요일별 판매량 변동 ···80

〈그림 3-40〉 양파 전체 요일별 판매량 변동 ···81

〈그림 3-41〉 양파 요일별 판매량 변동 ···82

〈그림 3-42〉 햇양파 요일별 판매량 변동 ···82

〈그림 3-43〉 마늘 가공 형태별 판매 비율 ···83

(11)

〈그림 3-44〉 마늘 채널별, 가공 형태별 판매 비율 ···84

〈그림 3-45〉 마늘 채널별, 가공 형태별 판매량 ···85

〈그림 3-46〉 마늘 채널별, 중량별 SKU 비율 ···86

〈그림 3-47〉 깐마늘 채널별, 가공단계별 판매 비율 ···86

〈그림 3-48〉 다진마늘 채널별, 가공단계별 판매 비율 ···87

〈그림 3-49〉 마늘 가공 형태별 판매 비율 ···88

〈그림 3-50〉 양파 채널별, 가공단계별 판매 비율 ···89

〈그림 3-51〉 양파 채널별, 가공단계별 판매량 ···89

〈그림 3-52〉 양파 채널별, 중량별 판매 비율 ···90

〈그림 3-53〉 햇양파 채널별, 중량별 판매 비율 ···90

〈그림 3-54〉 깐양파 채널별, 중량별 판매 비율 ···91

(12)

제1장

서론

(13)

(14)

1 서론

1. 연구의 필요성 및 목적

최근 먹거리 산업은 2008년부터 2018년까지 꾸준히 증가해 왔으며, 이는 식 품 유통업과 외식산업이 주도해 왔다. 2015~2018년 식품 제조업이 84조 원에 서 92조 원으로 연평균 4.30% 성장한 반면, 농식품 유통의 경우 232조 원에서 261조 원으로 연평균 10.31%, 외식산업의 경우 108조 원에서 138조 원으로 연 평균 13.6% 성장하였다<그림 1-1>. 2008~2014년 기간 동안 식품 제조업이 55 조 원에서 88조 원으로 연평균 7.35%, 농식품 유통업은 117조 원에서 180조 원 으로 7.74%, 외식산업의 경우 65조 원에서 84조 원으로 연평균 5.13% 성장한 것과 비교하면<그림 1-1>, 농식품 유통업과 외식산업에서의 그 증가세는 확연하 게 드러난다. 2008~2014년 대비 2015~2018년 연평균 성장률은 농식품 유통 업은 7.74%에서 10.31%로, 외식산업은 5.13%에서 13.6%로, 크게 증가한 반 면, 식품 제조업의 연평균 성장률은 7.35%에서 4.30%로 오히려 감소하였다.

(15)

<그림 1-1> 국내 식품산업 시장규모 변화 추이(2008~2018년)

단위: 조 원

자료: 식품산업통계정보(https://www.atfis.or.kr/article/M001040000/view.do?articleId=3545&page

=&searchKey=&searchString=&searchCategory=, 검색일: 2021. 6. 1.).

이와 같은 2015~2018년 기간 동안의 식품 유통업 및 외식산업의 확대는 온라 인을 통한 농식품 쇼핑의 성장과 관련이 크다고 볼 수 있다. 온라인 유통업체 13개 사의 식품군 온·오프라인 전년 동월 대비 성장률을 살펴보면, 오프라인의 경우 플 러스 성장률은 약화되고 종종 음의 성장률을 나타내는 반면, 온라인의 경우 꾸준 히 플러스 성장률을 나타내고 있음을 확인할 수 있다. 오프라인의 경우 코로나19 발생 이전 기간에도 이미 마이너스 성장률을 나타내고 있었지만, 온라인의 경우 코로나19 이전 기간에도 꾸준히 플러스 성장률을 보여주었다. 코로나19가 발생 한 2020년 2월 온라인 유통업체의 성장률은 급등하였으나, 어느 정도 영향이 감 소한 2020년 후반에도 꾸준히 성장하고 있음을 보여주고 있다<그림 1-2>.

(16)

<그림 1-2> 주요 유통업체 13개사 온·오프라인 식품군 전년 동월 대비 성장률

단위: %

자료: 산업통상자원부(https://www.data.go.kr/data/15061361/fileData.do#tab-layer-file, 검색일:

2021. 6. 1.).

온라인 쇼핑은 코로나19 발생 이전 기간(2017~2019년)에도 인터넷 사용에 익숙한 밀레니얼 세대의 등장과 1인 가구의 증가<그림 1-3>로 전 산업에서 성장 하였으며, 특히 농식품·외식산업에서의 성장이 두드러진다. 2019년 이후 안드 로이드 사용자의 쿠팡 및 쿠팡이츠 애플리케이션 총 사용시간의 지속적 증가는 이와 같은 온라인 쇼핑의 증가세를 뒷받침하고 있다<그림 1-4>.

이와 같은 농식품·외식산업의 온라인 쇼핑 성장은 코로나19 팬데믹 이후 사회 적 거리두기로 인해 더욱 두드러졌다. 온라인 쇼핑동향조사(2020)에 따르면, 2020년 4분기 온라인 쇼핑에서 농식품·유통업이 차지하는 비율은 전년도 동 분 기 대비 19.1%에서 25.6%로 6.5%p 크게 증가하였다. 이 비율은 코로나19 이전 기간인 2017년 4분기 대비 2018년 4분기 증가율인 2.1%p, 2018년 4분기에서 2019년 4분기 증가율인 3.4%p와 비교해봤을때, 코로나19 효과가 컸음을 확인 할 수 있다.

(17)

<그림 1-3> 국내 전체 가구 수, 1인 가구 수, 1인 가구 비율 변화

단위: 천 가구, %

자료: 통계청. “인구 총조사.”(https://kostat.go.kr/portal/korea/kor_nw/1/2/2/index.board, 검색일:

2021. 5. 22.).

<그림 1-4> 안드로이드 사용자의 쿠팡 및 쿠팡이츠 애플리케이션 총 사용시간

단위: 시간/일(좌측: 쿠팡, 우측: 쿠팡이츠)

0 10000 20000 30000 40000 50000 60000 70000

- 200,000 400,000 600,000 800,000 1,000,000 1,200,000 1,400,000 1,600,000 1,800,000 2,000,000

쿠팡 App 총사용시간(Android only) 쿠팡이츠 App 총사용시간(Android only)

자료: 모바일인덱스 원자료 분석(hd.mobileindex.com, 검색일: 2021. 3. 9.); 이계임 외(2021, 발간 예정).

(18)

코로나19 효과는 2020년 식품소비행태조사에서도 나타나는데, 식료품 주 구 매장소로 온라인을 응답한 가구는 2019년 0.81%에서 2020년 3.51%로 4배 이 상 증가하였으며, 1달에 1회 이상 인터넷으로 식품을 구매하는 가구는 2014년 8.3%에서 2020년 37.9%로 증가하였다.

그러나 코로나19 기간 증가한 온라인 식료품 구매 경험, 밀키트·가정간편식과 배달음식 등 배달이 용이하고 조리가 편리한 식품의 확대, 4차 산업 혁명과 첨단 기술을 이용한 신선식품 배송 및 물류 혁신 등의 영향으로 포스트 코로나19 시대 에도 농식품의 온라인 쇼핑은 팬데믹 이전 수준으로 급감할 것으로 보이지는 않 는다. 특히, 식료품 구매의 핵심 계층인 중장년은 그동안 쉽게 온라인으로 포섭되 지 않았으나, 코로나19 여파로 어쩔 수 없이 경험하게 된 온라인 주문을 통해 온 라인 쇼핑의 고객으로 전환되기 시작하고 있다.¹⁾ 최종우 외(2018)에 따르면 코 로나19 이전에도 소비자들의 온라인으로 구매한 신선식품 품질에 대한 만족도 역시 오프라인에서 구매한 신선식품 품질과의 비교에서 3.7점(5점 척도)으로 낮 지 않은 수준이었으며, 향후 농식품 온라인 구매를 현재 수준으로 유지하겠다는 응답이 60.4%, 현재보다 확대하겠다는 응답이 28.1%로 나타나 농식품 온라인 구매 확대 가능성은 높다고 볼 수 있겠다.

이와 더불어 최근 증가하고 있는 온라인 농식품 유통업체들의 혁신적인 물류 시스템에 대한 지속적인 투자 역시 농식품의 온라인 쇼핑 증가세를 유지하는 요 인으로 작용할 것으로 보인다. 신선식품의 경우 배송 시 신선도 유지가 핵심으로 쿠팡, 마켓컬리, SSG닷컴 등 주요 유통업체들은 이미 신선식품 전용 물류 콜드체 인 및 풀필먼트에 과감한 투자를 하고 있다. 쿠팡은 약 9,760억 원을 투입하여 전 국 7개 풀필먼트 물류센터를 설립하였고, 네이버는 CJ대한통운과의 지분 교환을 통해 AI 풀필먼트 사업을 개시하였다. 마켓컬리는 김포시에 국내 최대 규모(총 2.5만 평)의 신선식품 전용 물류센터를 오픈하여 하루 평균 44만 건의 주문을 해

1) BCG. 2020. 8. 20. “갑자기 닥쳐온 유통의 미래, 승자는 누구?” <https://bcgblog.kr/fu- ture-of-distribution/>. 검색일: 2021. 6. 11.

(19)

결할 수 있게 되었고, 네이버와 신세계는 2,500억 원 규모의 지분 교환을 통해 7,300개 이마트 오프라인 거점을 활용해 신선식품 당일 및 익일배송을 도입하였 다. 농협몰 또한 현재 오프라인 매장을 ‘2시간 싱싱배송’이 가능한 디지털 풀필먼 트 센터(DFC)로 전환할 계획을 갖고 있으며, 첫 DFC인 성남유통센터를 시작으 로 2021년 내 11개 기존 유통센터에 DFC를 적용할 예정이다.

이와 같은 물류 혁신의 중요성이 대두되면서 신선식품의 한계를 넘으려는 콜드 체인 전문 스타트업 업체들 또한 등장하고 있다. 팀프레시와 아워박스가 대표적인 업체로 사업 영역을 확장하는 중이다. 팀프레시는 식품 커머스를 중심으로 냉장화 물주선, 새벽배송, 풀필먼트, 식자재유통 등 종합적인 콜드체인 플랫폼 서비스를 제공하고 있으며, 이베이코리아, 브랜디, 랭킹닷컴 등 약 200여 개 커머스 기업들 을 고객사로 보유하고 있다.²⁾ 아워박스는 냉장·냉동 전문 물류 업체로 네이버의 콜드체인 풀필먼트를 담당하는 업체로, 2020년 8월 네이버, IBK기업은행, 한라 홀딩스 등으로부터 100억 원 규모의 투자를 유치했으며, 이들 투자사들과 다양한 협업기회도 마련하고 있다.³⁾ 더불어 냉동·냉장 차고의 운영형태 또한 기존에는 장기간 단순 보관을 위한 위·수탁형이었으나, 최근에는 입·출고가 빈번히 발생하 는 유통물형 물류센터로 전환 중이다.⁴⁾

따라서 코로나19 시대 증가한 소비자들의 농식품 온라인 쇼핑에 대한 긍정적 경 험과 물류 혁신 기술의 도입을 고려했을 때, 포스트 코로나19 시대에도 농식품 온 라인 소매유통 증가세는 지속될 것으로 보인다.

그러나 이와 같은 농식품 소매유통의 증가세는 소비자들에게 쇼핑의 편리함과

2) Platum. 2021. 4. 27. “콜드체인 물류, 스타트업 ‘팀프레시’, DSC인베스트먼트에서 65억원 투자 유치.” <https://platum.kr/archives/161838>. 검색일: 2021. 6. 11.

3) 포츈코리아. 2020. 8. 17. “풀필먼트 전문기업 아워박스, 100억원 규모 시리즈A 투자 유치.” <http:

//www.fortunekorea.co.kr/news/articleView.html?idxno=12719&replyAll=&reply_sc_

order_by=C>. 검색일: 2021. 6. 11.

4) 콜드체인 뉴스. 2021. 1. 15. “비대면산업 핵심 ‘온라인 콜드체인시장’.” <http://www.cold- chainnews.kr/mobile/article.html?no=23289>. 검색일: 2021. 6. 11.

(20)

유통 효율화와 같은 긍정적인 면만을 제공하는 것은 아니다. 온라인 쇼핑의 증가 로 플랫폼 업체의 불공정 행위, 식품 영업 관리, 식품 안전 관리, 정보 불균형으로 인한 소비자 효용 감소, 포장 용기 증가로 인한 환경 문제 등 새로운 문제들이 등장 하고 있다. 또한 온라인 쇼핑몰에서 식품 품목의 단위 가격 미표시 문제는 정보 불 균형으로 인한 소비자 효용 감소의 원인이 될 수도 있다. 우리나라의 온라인 쇼핑 몰의 경우 19개의 주요 쇼핑몰 중 5개(26.3%)만이 가공식품, 신선식품, 일용잡화 등에 대해 단위가격을 일부라도 표시하고 있고, 나머지 14개(73.7%) 쇼핑몰은 단 위가격을 전혀 표시하지 않고 있어 가격 비교가 어렵기 때문에 소비자 효용 감소가 우려된다.⁵⁾ 한국 소비자원과 별개로 저자가 조사한 단위가격 표시·미표시 온라인 쇼핑몰은 다음과 같다.

<표 1-1> 단위가격 표시·미표시 온라인 쇼핑몰

단위가격 표시 여부 해당 온라인 쇼핑몰

단위가격 표시(4개) 이마트, 신세계몰, 트레이더스, 롯데온

단위가격 미표시(12개+)

홈플러스, 롯데슈퍼프레시, 지마켓, 인터파크, 옥션, 티몬, 위메프, 농협몰, 마켓컬리, 현대홈쇼핑, 롯데홈쇼핑, 농수산홈쇼핑, 식품가공업체 운영 전문몰 전체

자료: 저자 조사.

이와 같은 문제 해결을 위해 온라인 농식품 산업 전반-시장규모, 유통 사슬, 온 라인 쇼핑 산업 구조, 업체별 판매 동향 등-에 관한 실태 파악 및 이해가 필요하지

5) 한국소비자원 보도자료. 2020. 7. 30. “온라인 쇼핑몰에서도 단위가격 표시 필요해.” <https://www.

kca.go.kr/home/sub.do?menukey=4002&mode=view&no=1002974839#:~:text=%E C%98%A8%EB%9D%BC%EC%9D%B8%20%EC%87%BC%ED%95%91%EB%AA%B 0%EC%9D%98%20%EC%9E%90%EB%B0%9C%EC%A0%81%20%EB%8B%A8%E C%9C%84%EA%B0%80%EA%B2%A9%20%ED%91%9C%EC%8B%9C%20%EB%8 5%B8%EB%A0%A5%20%ED%95%84%EC%9A%94&text=%ED%95%9C%EA%B5%A D%EC%86%8C%EB%B9%84%EC%9E%90%EC%9B%90%EC%9D%80%20%EC%9 D%B4%EB%B2%88%20%EC%A1%B0%EC%82%AC,%EA%B6%8C%EA%B3%A0%E D%95%A0%20%EA%B2%83%EC%9D%84%20%EC%9A%94%EC%B2%AD%ED%9 6%88%EB%8B%A4.>. 검색일: 2021. 4. 2.

(21)

만, 관련 데이터와 기초자료가 체계적으로 생산되지 못하고 있어 한계가 있는 상 황이다. 그러나 현재 농식품산업 온라인 쇼핑 현황에 대한 데이터는 합산되어 있 거나 소비자 조사에 기반한 자료가 대부분이다. 국가승인통계인 “온라인 쇼핑동 향조사”의 경우, 온라인몰 운영 업체를 대상으로 거래액을 조사하였으나, 식품 관 련 상품군이 음·식료품, 농축수산물, 음식서비스로 합산되어 있어 농식품 온라인 소매유통 관련 세부 품목별, 업체별 실태 파악에는 한계가 있다. 다른 조사자료의 경우 소비자 설문조사에 의존하고 있어 관련 연구 역시 소비자들의 온라인 구매 현 황, 구매 패턴, 구매 동기 분석에 집중되어 있는 상황이다(정재은 외 2020; 김효 정·김미라 2019; 진현정 2018). 데이터 및 기초자료 부족으로 인해 실태를 파악 하지 못할 경우, 시장과 산업구조의 빠른 변화에 대응하지 못할 수 있으며, 다양한 관련 정책 영역에 대한 구체적인 대응이 불가능할 수도 있다.

한편, 최근 급성장하고 있는 빅데이터 산업은 다양한 온라인 데이터 수집 기술 의 발달을 가져왔으며, 동시에 이 기술들에 대한 접근성 역시 높아졌다. 대표적인 온라인 데이터 수집 방법으로 웹크롤링(Web-Crawling)과 웹스크레이핑 (Web-Scraping)을 들 수 있는데, 간단하게 정의하자면 인터넷 웹사이트 화면에 보이는 정보 중 필요한 데이터를 자동으로 수집하여 저장하는 기술이다. 이와 같 은 온라인 데이터 추출 방법을 통해 수집된 빅데이터는 이미 곳곳에서 사용되고 있 다. 소셜 미디어에서 발생하는 단어들을 추출해와서 낱말 구름(Word Cloud)을 형성하여 특정 주제에 대한 키워드 빈도를 보여주는 것이 대표적인 예이다. 또한, 웹스크레이핑을 활용하면 온라인 소매유통 웹사이트에서 화면에 보이는 제품명 (SKU), 가격, 구매량, 별점 정보 등을 제품별로 수집할 수 있으며, 이를 통해 온라 인 소매유통 시장에서 품목별, 유통업체별 상세 정보를 수집할 수 있다.

이렇게 수집한 데이터를 활용하면, 농식품 온라인 소매유통에 관련된 보다 정확 하고 세분화된 통계 정보 제공이 가능해질 것으로 보인다. 앞에서 지적한 단위 가격 정보는 물론, 일일 가격 변동 및 구매량 추이 등의 정보 제공이 가능하다. 특히 공공 기관이 데이터 개방을 통해 시장에 관한 정보를 제공하는 것은 시장실패를 유발하

(22)

는 요인 중 하나인 정보 불균형 문제 해결에 기여하여 빅데이터 시대 온라인 소매유 통 시장을 경쟁적이고 효율적으로 만들 수 있는 하나의 해결 방안이 될 수 있다.

그런데도 웹스크레이핑을 활용한 온라인 소매유통 분석은 아직까지 활발하게 이 루어지지 않고 있다. 우리나라의 경우 한국은행에서 소셜미디어 데이터를 수집하 여 시범적으로 개발한 심리지수, 통계청 빅데이터과의 통계 데이터 허브국에서 매 일 수집하여 제공하는 120여 개 품목의 온라인 가격 데이터 정도를 예로 들 수 있 다.⁶⁾ 그러나 이 두 경우는 시범적으로 수행하는 정도에 그치고 있으며, 통계청에서 수집하는 120여 개의 품목 선정 기준조차 정확하게 제공하고 있지 않다.

이 연구에서는 대표적인 온라인 데이터 수집 방법인 웹스크레이핑을 소개하고, 이를 활용하여 농식품 온라인 소매유통 사례분석을 수행하였다. 이를 통해 웹스크 레이핑의 활용성을 가늠해보고자 하였으며 따라서 이 연구의 목적은 다음과 같이 세 가지로 요약할 수 있다. 첫째, 온라인 데이터 수집 기술을 소개하고, 둘째, 이를 활용하여 농식품 온라인 소매유통 데이터를 수집하여 품목별, 유통채널별 세부 현 황을 분석한다. 마지막으로 분석 결과를 바탕으로 데이터 수집 기술의 활용성을 가늠해봄과 동시에 확대 적용 방안을 제안해보고자 한다.

2. 선행연구 검토 및 본 연구의 차별성

2.1. 온라인 빅데이터 관련 연구

온라인 빅데이터와 관련해서는 다양한 연구가 수행되고 있다. 이 연구에서는 온 라인 빅데이터 수집 방법에 대한 기술 연구와 경제학 관점에서 바라본 빅데이터 연

6) 통계청 빅데이터. <https://data.kostat.go.kr/social/loginGuestProcess.do>. 검색일: 2021.

5. 11.

(23)

구를 검토하였다.

Hillen(2019)은 웹스크레이핑 기술을 일반인이 이해할 수 있도록 설명하였다.

수집 방법, 수집 프로세스, 수집 형태에 대해 설명하고, 기존 오프라인 마켓에서 수 집되는 스캐너 데이터(한국의 POS 데이터), 통계청 데이터와 비교하여 웹스크레 이핑의 장·단점을 정리하였다. 스크레이핑 데이터의 장점은 (1) 저렴한 데이터 수 집 가격, (2) 매일 혹은 매시간 데이터를 수집할 수 있어 실시간 데이터 수집 가능, (3) 온라인 쇼핑몰에 대해서는 전수조사 가능, (4) 상품에 대한 정보 수집 가능, (5) 전 세계 온라인 쇼핑몰 데이터 수집 가능을 들 수 있다.

Massimino(2016)는 웹스크레이핑의 단점으로, (1) 수집을 시작하는 시점부터 데이터를 수집하므로 과거 데이터 수집이 불가능한 점, (2) 매일 수천 개의 SKU에 대해 데이터를 수집하므로 빅데이터 중의 빅데이터로 볼 수 있을 정도로 데이터의 크기가 큰 점, (3) 웹페이지 화면상에 공개된 데이터만 수집이 되므로, 가격 데이터 와 별점 정보 데이터 외에 실제 거래 데이터와 온라인 소비자 특성에 관한 데이터 는 수집이 불가능한 점을 제시하였다.

빅데이터와 관련된 또 다른 사회과학 연구들은 다음과 같다. Garces and Fanaras(2018)와 Bourreau et al.(2017)은 기존 기업의 방대한 데이터 소유 및 높은 데이터 구매 가격으로 인해 데이터의 소유 자체가 시장 진입 장벽으로 작용하 여 시장을 비경쟁적으로 만들 수도 있다는 점을 지적하였다.

온라인 업체들의 경우 소비자의 인구통계학적 특성, 구매 정보 등과 같은 데이 터를 소유하여 개별 소비자의 지불 의사 금액(Willingness To Pay)을 추산하여 가격 차별을 하는 등 이익 극대화에 활용하고 있으나(Woodcock 2017; Beckett 2014; Shiller 2014),⁷⁾ 소비자들은 본인들의 데이터가 어떻게 활용되고 있는지

7) 빅데이터 기업 하나가 미국 노동자 전체 38%에 대한 급여 명세서 데이터를 소유하고 있음(Beckett 2014). 머지않아 기업들은 개별 소비자의 소득, 급여일, 주택 소유 여부, 특정 기간 소비액, 특정 기간 /특정 상품에 대한 지불 의사 금액 등 모든 정보를 고려하여 동일한 제품을 개별 소비자들에게 다른 가 격으로 판매하는 1차 가격 차별(First Degree Price Discrimination)을 할 수 있게 됨(Beckett 2014; Shiller 2014).

(24)

에 대한 정확한 지식 그리고 업체들에 대한 데이터와 정보에 대한 접근이 제한적이 다. 특히 가격 차별에 관한 내용은 2015년 오바마 행정부 시절 백악관에서도 관심 을 기울이고 있을 만큼 그 중요성이 상당히 크다고 할 수 있다(Executive Office of the president of the US 2015).

미국 통계청(National Statistics Office: NSO), 노동통계국(Bureau of Labor Statistics: BLS)에서는 온라인 데이터 자체 구축의 필요성을 강조하며, 웹 스크레이핑을 활용하여 수집한 온라인 데이터를 소비자 물가지수(Consumer Price Index)에 반영할 것을 고려하고 있다(Konny et al. 2019; Cavallo 2017).

2.2. 국내외 농식품 온라인 소매유통 연구

국내 농식품 온라인 소매유통 연구는 주로 소비자 설문조사 자료를 활용하고 있 어 소비자의 온라인 구매 특성 분석에 관한 내용이 대부분이다. 정재은 외(2020) 는 소비자들의 온라인 식품 구매에 대한 태도와 구매 의도에 영향을 미치는 요인을 분석하였으며, 식품 관련 정보 제공이 온라인 식품 구매 의도를 높인다는 점을 발 견하였다.

김효정·김미라(2019)는 온라인에서 식품 구매 경험이 있는 성인 소비자들의 특 성을 분석하여 온라인 식품 구매자의 경우 비구매자보다 식품 구매 역량이 높았으 며, 안전성, 편의 추구, 건강 추구, 미각 추구에 있어 높은 수준을 보여준다는 점을 발견하였다.

전현정(2018)은 온라인 식품 구매 여부에 영향을 미치는 요인을 인구 통계학적 특성에 기반하여 분석하였는데, 주부, 전문가, 학생 등은 품질이 좋아서 온라인 식 품 구매를 이용한다고 응답하였고, 35~42세 그룹은 저렴한 가격을 이유로 온라인 식품 구매를 이용한다고 응답하였다.

(25)

해외 농식품 온라인 소매유통 연구는 국내 연구에 비해 다양한 내용에 걸쳐서 이 루어지고 있다. Etumnu et al.(2020)은 아마존(Amazon.com) 쇼핑몰에서 소비 자 평가와 분포가 해당 상품 판매에 어떤 영향을 미치는지 살펴보았으며, 평가지 표가 1% 상승할 때 해당 상품의 판매는 0.25% 증가한다는 점을 발견하였다.

Sousa et al.(2020)은 온라인 쇼핑 데이터를 활용한 농촌지역 개발 연구에서 도 시지역과 농촌지역 온라인 쇼핑 소비자들의 특징을 비교하였다. 농촌지역 소비자 들은 식품보다는 취미 관련 상품, 구매 규모로는 벌크 구매를 선호하였고, 배송 시 간에 덜 민감하며, 주거 지역의 특정 배송 센터(Centralized Inventory Center) 로 배송받는 것에 대한 거부감이 낮은 것으로 나타났다.

Cavallo(2017)는 10개 국가에서 오프라인/온라인몰을 모두 갖추고 있는 56개 소매유통기업을 대상으로 데이터를 수집하여 품목별, 온라인과 오프라인 가격 차 이를 연구하였다. 소매유통기업의 76%는 평균적으로 오프라인/온라인몰별로 가 격 차이가 없었으나, 국가와 품목에 따라 차이가 있음을 발견했다. 국가별로 살펴 보면 브라질은 42%, 미국은 69%, 캐나다와 영국의 경우에는 91% 일치하였다. 품 목별로는 드러그 스토어와 오피스 스토어의 경우 각각 38%, 25% 일치하였고, 전 자제품이나 의류의 경우 각각 83%, 92% 일치하였음을 발견하였다.

Richard et al.(2016)은 같은 상품군에서 더 다양한 상품이 공급될수록 소비자 들의 검색비용(Searching Cost)은 낮아지고 지불 의사 금액은 높아짐을 발견했 는데, 이는 다양한 상품 공급을 통해 소비자의 선호를 가장 높은 수준으로 만족시 키기 때문으로 판단하였다.

Gonzales and Miles-Touya(2018)는 상품의 온라인몰별 가격 차이와 검색비 용을 구매빈도에 따라 필수식품(비알코올음료, 시리얼, 축산식품, 소스류)과 사치 식품(와인, 맥주)으로 나누어 분석한 결과, 사치식품의 경우 온라인몰별 가격 차이 가 크고 검색비용과 한계이익이 높게 나타남을 발견하였다. 또한 소비자 설문조사 에서 응답자의 2/3는 온라인몰별 가격 차이를 비교하지 않는다고 밝혔다.

Chu and Cebollada(2012)는 소비자의 가격 탄력성은 오프라인몰을 이용할

(26)

때보다 온라인몰을 이용할 때 낮게 나타나고, 주거지로부터 가장 가까운 오프라인 몰과의 거리가 높아질수록 더 낮아진다는 점을 발견하였다. 이를 바탕으로 배송지 주소와 배송지 주소 반경 6km에 오프라인 쇼핑몰의 존재 여부에 따라 온라인 업 체가 가격 차별을 할 경우 이윤이 변화한다는 것을 시뮬레이션 분석을 통해 살펴보 았다.

2.3. 연구의 차별성과 의의

온라인 데이터 수집의 대표적인 방법 중 하나인 웹스크레이핑은 현재 전 세계　 데이터 업체, 학계, 산업계, 정부 등에서 활용되고 있다. 그러나 해외 사례에서도 주로 가격 데이터만을 수집하여 물가지수를 계산하는 데에 제한적으로 활용되고 있다. 한국의 통계청 역시 120개 품목에 대해 일별 가격만 수집하여 제공하고 있 어 그 활용성에는 한계가 있다.

이 연구에서는 웹스크레이핑을 활용한 데이터 수집 및 분석 방법에 대해 구체적 으로 검토하고, 농식품 온라인 소매유통 현황을 분석하는 데에 시범적으로 활용해 보았다는 점에서 그 의의가 있다. 특히, 표본에 의존하는 전통적인 데이터 수집 방 법과 다르게 웹스크레이핑은 관심있는 온라인 유통채널과 품목에 대한 전수조사 이므로, 농식품 온라인 채널별, 품목별 현황 분석을 위한 기초 통계 수집을 가능하 게 해준다.

마지막으로 이 연구는 정부의 공공 데이터 개방과 그 흐름을 같이 하고 있다. 무 엇보다 빅데이터 시대에 점차 확대될 온라인 시장의 데이터를 수집하여 각종 세부 현황을 알아볼 수 있는 새로운 방법을 시도해보고 향후 활용성을 가늠해본다는 데 에서 선행연구와 차별된다.

(27)

3. 연구의 내용 및 범위

3.1. 연구의 내용

이 연구의 내용은 크게 세 부분으로 구성된다. 우선 온라인 데이터 수집기술 중 하나인 웹스크레이핑을 소개하고 활용 방법을 검토하여, 농식품 온라인 소매유 통 실태 분석 연구에 어떻게 활용될 수 있는지 검토하였다. 다음은 웹스크레이핑 을 활용한 사례조사로 농식품 온라인 소매유통 데이터 수집에 세부실태를 분석해 보았다. 마지막으로 온라인 데이터 수집 방법의 활용성과 한계에 대해 살펴보고, 향후 개선과제를 제시하였다.

3.2. 연구의 범위

이 연구의 범위는 데이터 수집 기간, 수집 대상 온라인 유통채널 및 품목으로 나누어 살펴볼 수 있다. 데이터는 2021년 1월에서 5월까지 수집하였으나 1월 에서 2월까지 데이터 수집 프로그래밍 구축과 안정화 작업을 수행하였기 때문 에⁸⁾ 실제 분석을 위한 유효한 데이터는 3월부터 5월까지 수집한 데이터로 한정 하였다.

수집 대상 온라인 유통채널은 3월과 4월 기간에는 7개(3개의 대형할인점 온라 인 쇼핑몰, 4개의 오픈마켓)로 구성되어 있다. 각 채널의 실명은 공개하지 않는 다. 3개의 대형할인점 온라인 쇼핑몰은 3BR1, 3BR2, 3BR3로 표기하고, 4개의 오픈마켓은 3OM1, 3OM2, 3OM3, 3OM4로 표기하였다.

5월에는 8개 유통채널을 통해 데이터를 수집하였는데, 2개의 대형할인점

8) 각 온라인 쇼핑몰별로 온라인 코드 구조가 달라 구축, 시범 수집, 안정화에 소요되는 시간이 생각보다 길었다.

(28)

(5BR1, 5BR2)과 6개의 오픈마켓(5OM1, 5OM2, 5OM3, 5OM4, 5OM5, 5OM6)에서 데이터를 수집하였다. 웹스크레이핑 수집 프로그램 구축 상황과 더 불어 최대한 다양한 유통채널을 살펴보기 위해 기간별로 유통채널을 확대하였다.

수집 대상 품목은 마늘과 양파로 정하였다. 이 두 품목은 원물 형태로 판매되는 채소 중에서 상대적으로 저장성이 높아 소비자들의 온라인 재구매 의사가 비교적 높으며(최종우 외 2018), 5대 채소 중 가격 변동이 높은 두 작물로, 온라인 시장 에서의 가격 움직임을 살펴볼 가치가 있다고 판단하였다. 가공 단계로는 마늘의 경우 통마늘, 깐마늘, 다진마늘 그리고 양파의 경우 양파, 햇양파, 깐양파에 대해 데이터를 수집하여 분석하였다.

4. 연구 방법

이 연구에서는 먼저 농식품 온라인 소매유통과 관련하여 현재 접근이 가능한 통계자료가 무엇이 있는지를 조사해보았고, 이를 통해 농식품 온라인 쇼핑 동향 에 대해 세부적으로 어디까지 파악할 수 있는지 살펴보았다. 다음으로 앞에서 소 개한 온라인 데이터 수집 방법 중 하나인 웹스크레이핑을 활용하여 2021년 3월 부터 4월까지는 7개, 5월에는 8개 온라인 쇼핑채널에서 마늘과 양파 품목에 대해 등록된 모든 SKU에 대해 판매가격, 판매량, 별점 정보, 판매자 정보 등을 일별로 수집하였다. 수집한 정보 중에서 SKU의 경우 비정형 데이터이므로 가공 형태와 중량 정보를 추출하기 위해 형태소 분석을 수행하였다.

데이터를 수집하고 형태소 분석을 통해 각 SKU별로 가공 형태, 중량 정보를 정 리하면, 가공 형태, 100g당 가격 정보, 각 가공 형태별 등록 비율, 구매 비율, 각 중량별 등록 비율, 구매 비율 등의 정보를 일별로 추출하여 마늘과 양파의 온라인 소매유통 현황과 관련된 분석을 수행하였다.

(29)

(30)

제2장

온라인 데이터 수집 방법 소개

(31)

(32)

온라인 데이터 수집 방법 소개

2

1. 온라인 데이터 수집 방법

온라인에서 빅데이터를 수집하는 방법은 일반적으로 데이터의 형태와 종류에 따라 차이가 있다. DB(Database), API(Application Programming Interface), FTP(File Transfer Protocol)⁹⁾, Streaming, Web Crawling/Scraping 등으로 분류된다. Database는 구조적으로 디지털화된 온라인 데이터를 의미하며, API 는 정보서비스 간 데이터 통로를 의미하며, 웹을 운영하는 주체가 정보/데이터를 제공하기 위해 개발자와 사용자에게 공개하는 수집기술이다. API에는 개방형 API와 폐쇄형 API가 있는데, 개방형 API의 경우 오픈 API라고 하며, 서비스, 정 보, 데이터 등을 실시간으로 어디서나 접근하여 이용할 수 있도록 개방된 API 수 집방식을 제공한다(양현철 외 2014). Streaming은 인터넷에서 음성, 오디오, 비 디오 데이터를 실시간으로 수집할 수 있는 기술이다. 데이터는 형태에 따라 정형 (Structured), 반정형(Semi-structured), 비정형(Unstructured) 데이터로 나

9) TCP/IP 프로토콜을 활용하는 인터넷 서버로부터 각종 파일들을 송수신하여 file을 수집한다.

(33)

눌 수 있으며, 데이터 종류는 정형 데이터의 경우 RDB, 스프레드 시트, 반정형 데 이터는 HTML(Hyper Text Markup Language)¹⁰⁾, XML(eXtensible Markup Language)¹¹⁾, JSON(JavaScript Object Notation)¹²⁾, 웹문서 등, 비정형 데이 터는 소셜 데이터, 문서, 이미지, 오디오, 비디오, IoT 등이 해당된다. 정형 데이터 는 보통 FTP, Open API 방법으로, 반정형 및 비정형 데이터는 Web Craw- ling/Scraping, Open API, FTP, Streaming, RSS(Really Simple Syndica- tion)¹³⁾ 등의 방법으로 데이터를 수집할 수 있다. 그러나 이 연구에서는, 사회과학 /경제학 연구에서 사용할 수 있는 웹크롤링과 웹스크레이핑 방법에 대해 간략히 소 개하고자 한다.¹⁴⁾

웹크롤링과 웹스크레이핑은 용어를 서로 밀접하게 관련되어 있어 서로 혼용되 는 경우가 많지만, 두 프로세스는 사실 다른 프로세스이다. 웹크롤링은 종종

“Spider”라고도 불리는 웹크롤러라는 자동화봇(Bot)이 정해진 규칙에 따라 웹페 이지를 브라우징하거나 웹페이지를 가져오는 행위까지를 의미한다. 반면 웹스크 레이핑이란 웹사이트상에서 특정 데이터를 추출하는 프로세스를 의미한다 (Parsers 2019). 정리하자면, 웹크롤러는 일반적으로 Google, Yahoo, Bing 등 검색 엔진이 어떤 종류의 정보를 검색하는 방식을 의미하며, 웹스크레이핑은 특정 데이터를 추출하여 수집하는 것을 의미한다. 다시 말해 웹스크레이핑을 하기 위해 서는 먼저 필요한 정보를 찾기 위해 웹크롤링과 같은 작업을 수행해야 한다.

따라서 이 연구의 목적인 농식품 온라인 소매유통의 현황 분석을 위해 필요한 데

10) HTML은 웹페이지의 형태 및 논리적인 구조를 명시한 언어를 의미한다(한국진 외 2017).

11) XML은 사용목적에 따라 메타데이터를 기술할 수 있는 구조화된 문서 형태 및 논리적인 구조를 명시 한 언어를 의미한다(한국진 외 2017).

12) JSON은 HTML이나 XML보다 간결하고 구조적인 데이터 형태로, 데이터를 키와 값으로 단순화하 여 대량전송 등 정보서비스 연동 시 많이 사용한다(한국진 외 2017).

13) RSS는 Web 기반 최신의 정보를 공유하기 위한 XML 기반의 콘텐츠 배급 프로토콜을 의미한다(한 국진 외 2017).

14) 이 연구는 기술에 관한 연구가 아니므로, 온라인 데이터 수집 방법의 개념, 방법, 프로세스 정도만 다 룬다는 점을 미리 일러둔다.

(34)

이터는 특정 온라인 유통채널 웹사이트의 특정 품목에 대한 정보이므로, 웹스크레 이핑을 사용하여 추출하는 것이 적절하다. 따라서 웹스크레이핑은 무엇이고, 어떻 게 활용되는지를 살펴보도록 하겠다.

2. 웹스크레이핑(Web-Scraping)

이 연구에서 사용할 웹스크레이핑이란 온라인 데이터 수집 방법 중 하나로, 온 라인 웹페이지에 공개되어 있는 정보를 추출하는 방법이다. 예를 들어 화면에 보 이는 정보 혹은 각 웹사이트의 HTML 코드에 들어 있는 정보를 수집해 오는 온라 인 데이터 수집 방법이다. 이 연구에서는 웹스크레이핑을 통해 온라인 쇼핑몰에 등록되어 있는 개별 상품의 상품명, 가격, 판매량, 별점 정보 등의 항목을 자동화 된 과정을 통해 특정 시간 간격으로 수집하여 데이터의 형태로 저장하였다. 웹스 크레이핑을 활용하면 온라인 유통채널에 등록된 품목에 대한 전수조사가 가능하 다. 이 연구에서 수집하게 될 지마켓 웹사이트에서 마늘 품목의 상품명(SKU), 가 격, 만족도, 일별 판매량 등의 정보 수집을 예로 들어서 웹스크레이핑 사용 과정 을 소개하면 다음과 같다.

(35)

<그림 2-1> 웹스크레이핑 과정

활용 목적 및 수집이 필요한 데이터 항목 정의

데이터 분석 온라인 쇼핑몰 선정

예) 지마켓 1

수집이 필요한 항목 설정

예) 마늘의 각 상품명(SKU), 가격, 구매량 2

데이터 저장 형태 구성

예) 상품명(SKU), 구매량, 별점 순 3

데이터 저장포맷 설정

예) xlsx, csv, txt, SQL database 등 4

web-scrape 자동화 설정 예) 매일 오전 8시 수집 5

프로그램 구동 테스트 및 개선 6

web-scrape 작동 및 데이터 수집 웹사이트 변화에 따른 에러 발생 모니터링 7

자료: Hillen(2019)의 내용을 바탕으로 저자 재작성.

보통 웹사이트에 표기된 정보는 웹사이트의 HTML 코드에 저장되어 있는데, 이 들 정보는 화면상에서 <그림 2-2>와 같이 정리되어 표현된다.

(36)

<그림 2-2> 웹사이트 화면에서 정보가 표현되는 방법

자료: 지마켓 마늘 카테고리 화면을 캡처하여 저자 재구성.

<그림 2-2>에서 확인할 수 있듯이, SKU, 가격, 배송조건, 별점, 구매량 정보 등 은 각각 따로 입력되는 방식으로 설계되어 있으므로, 수집을 하고자 하는 항목을 설정한 후, 웹스크레이핑을 통해 수집을 수행하면 해당 카테고리에 등록된 전체 SKU에 대해 수집이 이루어진다. 이 과정을 통해 2021년 4월 30일 지마켓에 등록 된 2,511개의 마늘 항목에 대해 수집한 원데이터는 <그림 2-3>과 같으며, 형태소

(37)

분석을 진행하여 각 SKU에서 중량 정보를 추출하면, 100g당 가격을 계산할 수 있 고, 가공 형태, 판매량, 매출 정보를 추출할 수 있다.

<그림 2-3> 웹스크레이핑을 통해 수집한 원데이터

자료: 연구원 수집.

웹스크레이핑 프로그램은 파이썬과 같은 소프트웨어를 활용하여 자체 제작을 하거나 외부 전문 업체와의 협업을 통해 진행할 수 있다. 자체 제작 시 고려해야 할 부분은 각 온라인 쇼핑몰 웹사이트의 HTML 설계 구조 변화에 민감하다는 점이 다. 따라서, 자동화 과정에 대한 지속적 모니터링과 필요시 개선이 요구되므로 자 체 제작과 전문 업체와의 협업 중 정확한 데이터 구축을 가능하게 해주는 방향으로 선택할 필요가 있다.

(38)

3. 형태소 분석

온라인 데이터 수집은 수집만으로 끝나는 것이 아니다. 웹스크레이핑을 통해 항목별(SKU, 가격, 구매량, 배송조건, 별점 등) 정보를 개별적으로 수집하는 것 은 가능하지만, SKU 문장에 원산지, 가공 형태, 중량 정보 등이 한꺼번에 담겨 있 어 분석에 어려움이 있다<그림 2-4>. 특히, 각 SKU별로 정보 입력형태가 일정하 지 않아, 일관성 있는 규칙을 적용하여 원하는 중량을 추출할 수 없다. 이를 비정 형 데이터(Unstructured Data)라고 부른다. 이렇듯 온라인 쇼핑몰 데이터를 수 집할 경우 SKU가 비정형 데이터로 표기되므로 원하는 정보를 추출하기 위해 형 태소 분석을 적용할 필요가 있다.

<그림 2-4> 형태소 분석이 필요한 SKU 정보

자료: 연구원 작성.

비정형 데이터란 일정한 규격이나 형태를 지닌 숫자데이터(Numeric data)와 달리 문장이나 그림, 영상처럼 구조화되지 않은 데이터를 의미한다. 예를 들어 책, 잡지, 의료기록, 음성 정보, 영상 정보, 이메일, 트위터, 블로그, 온라인 쇼핑 몰 SKU와 같이 모바일 기기와 온라인에서 생성되는 데이터가 이에 해당된다. 기 존의 컴퓨터 시스템은 연산과 처리 절차가 숫자데이터 중심으로 설계되어 있기 때문에 이름이나 성별과 같은 문자 변수는 숫자로 변환해 처리하는 방법을 주로 사용했지만, 이런 방법은 트위터나 블로그처럼 모바일과 온라인에서 생성되는 대규모의 비정형 데이터에 적용하는 것이 불가능하다.

(39)

De Boe(2014)와 Eberebdu(2016)에 따르면 최근 생성되고 있는 빅데이터 (Big Data)의 85%가 비정형 데이터로 그 비중은 점점 높아지고 있다. 날마다 쏟 아져 나오는 문서, 텍스트, 이미지 등의 비정형 빅데이터를 분석하고 그 의미를 파악하여, 정치, 경제, 행정, 외교, 안보, 그 외 각종 비즈니스 전략에 효과적으로 활용하기 위해서는 적합한 분석 방법이 필요하다. 온라인 쇼핑몰 데이터에서 수 집되는 데이터 중 대표적인 비정형 데이터는 SKU이다. SKU는 텍스트 형태로 저 장된 비정형 데이터로 SKU 문장에 포함된 상세정보를 추출하기 위해서는 형태 소 분석을 수행하여야 한다.

형태소 분석이란 자연어 처리(Natural Language Processing: NLP) 기술의 첫 분석 단계로, 전체 문장을 의미가 있는 최소 단위, 문법적(명사, 동사, 형용사, 부사 등) 최소 단위, 관계적 의미를 나타내는 단위로 추출하는 방법이다. 좀 더 구 체적으로 말하면 문장을 토큰화(Tokenization)하여 형태소 단위로 구분한 후 언어적인 구조를 파악하는 것이다<그림 2-5>.

<그림 2-5> 토큰화(Tokenization)를 통한 형태소 분석

자료: 연구원 작성.

대표적인 활용 사례로는 각 단어의 빈도수 등을 계산하여 한눈에 보여주는 낱 말 구름(Word Cloud) 생성, 추출된 단어 사이의 연결 정도 중심성을 분석하는

(40)

의미연결망분석(Semantic Network Analysis), 단어에 담긴 감정을 분석하여 포스팅의 감성이 긍정적인지 부정적인지 여부를 분석해주는 감성분석(Senti- ment Analysis) 등을 들 수 있다<그림 2-6>.

<그림 2-6> 형태소 분석의 예: 낱말 구름(왼쪽)과 의미 연결망(오른쪽)

자료: Dreamstime.com (왼쪽 낱말 구름).

본 연구에서는 SKU 문장에 대해 형태소 분석을 수행하여 가공 형태, 중량 정보 를 추출하였다.¹⁵⁾ 2021년 4월 30일 지마켓에서 수집한 마늘 카테고리에 속해 있 는 전체 SKU에 대해 형태소를 분석한 결과는 <그림 2-7>과 같다. 첫 번째 표는 지마켓에서 수집한 마늘 카테고리의 2,511개 SKU 중 일부를 캡처한 화면이며, 두 번째 표는 이 전체 SKU에 나타난 단어들의 빈도수를 정리한 결과이다. 세 번 째 표는 빈도수를 토대로 향후 다른 유통채널에서 수집한 SKU 형태소 분석을 위 해 개발할 분석 프로그램에 활용될 사전이다.

15) 형태소 분석과 관련된 자세한 내용 및 R를 활용한 구축 방법은 다음을 참고하여 진행하였음. 더 자세 한 내용은 <부록> 참고.

이창기 2019. 자연언어처리. <https://cs.kangwon.ac.kr/~leeck/NLP/05_morp.pdf>. 검색 일: 2021. 6. 11.

북다운. <https://bookdown.org/yuaye_kt/RTIPS/Textmining.html>. 검색일: 2021. 6. 11.

위키독스. <https://wikidocs.net/21698>. 검색일: 2021. 6. 11.

티스토리. <https://prjmin.tistory.com/21>. 검색일: 2021. 6. 11.

티스토리. <https://hs5555.tistory.com/71>. 검색일: 2021. 6. 11.

(41)

<그림 2-7> SKU 형태소 분석 결과의 예: 지마켓 마늘 품목

(1) 전체 SKU (2) 빈도수 (3) 형태소 분석후 구축한 사전

자료: 저자 형태소 분석과 리비와의 협업을 통해 분석한 자료를 바탕으로 저자 작성.

형태소 분석의 경우 사용하는 한국어 문법 형태소 분석기에 따라 결과가 달라 질 수 있어¹⁶⁾ 상호 비교가 필요하므로 외부 협력 업체(리비¹⁷⁾)와 협업을 진행하 였다. 저자의 경우 Mecab 패키지 기반의 NLP4kec를 사용하였고, 협력업체(리 비)의 경우에는 보다 폭넓은 형태소 분류 작업이 가능한 NER 모델¹⁸⁾을 활용하는 방식으로 상호 보완 작업을 진행하였다.

16) 서로 다른 분석기에 따라 형태소 분석 결과가 어떻게 달라지는지에 대해서는 <부록> 참고.

17) Leevi(https://leevi.co.kr/company.html)는 자연어처리(NLP)를 핵심 기술로 활용하여 데이터 분석 및 인공지능 솔루션을 제공하는 업체이다.

18) 티스토리. <https://stellarway.tistory.com/29>. 검색일: 2021. 6. 11.

(42)

4. 웹스크레이핑 활용 사례

4.1. MIT의 BPP(The Billion Prices Projects)

웹스크레이핑을 활용한 대표적인 사례로 The Billion Prices Project (Cavallo and Rigobon 2016)의 물가지수를 들 수 있다. BPP는 현재 하버드 대 학교 경영학과의 Cavallo 교수가 2008년 MIT와 Harvard의 지원을 받아 시작 한 프로젝트로 현재 60개 국가 900개의 온라인 소매유통업체로부터 1,500만 개 의 가격 데이터를 매일 수집하고 있다. 웹스크레이핑을 이용하여 수집된 온라인 데이터를 활용하여 농식품 온라인 소매유통에서의 가격 상/하한제가 물가에 끼 치는 영향, 온라인 소매시장에서 경쟁 정도에 따른 가격 행태, 인플레이션, 무역 등에 대한 다양한 연구 논문을 American Economic Review를 비롯한 세계 최 상위 학술지에 발표하고 있다(Cavallo et al. 2021; Aparicio and Cavallo 2021; Cavallo 2018; Cavallo et al. 2018; Cavallo et al. 2017; Cavallo 2017; Cavallo and Rigobon 2016).

BPP는 웹스크레이핑을 활용하여 수집한 온라인 가격 정보를 토대로 대한민국 을 포함한 22개국¹⁹⁾의 일별 물가지수를 PriceState를 통해 공표하고 있으며, 미 국의 BPP 물가지수는 공식 CPI²⁰⁾에 시간적으로 선행하는 움직임을 보이고 있다

<그림 2-8>.

19) 그리스, 남아프리카공화국, 네덜란드, 뉴질랜드, 대한민국, 독일, 러시아, 미국, 브라질, 스페인, 아 르헨티나, 아일랜드, 영국, 우루과이, 이탈리아, 일본, 중국, 칠레, 캐나다, 터키, 프랑스, 호주 등.

20) 기존 소비자 물가지수의 경우 패널조사에 의존하고 있으며, 이렇게 수집된 데이터는 가공 과정을 거 쳐 산출된 소비자 물가지수로 공표되므로, 비싸고, 시간이 오래 소요되어 실제 물가와 시차가 존재하 며, 무엇보다 응답률에 취약하다는 단점이 있음.

(43)

<그림 2-8> BPP의 물가지수와 기존 CPI 비교

주: Food & beverages, furnishing & household products, recreation & culture, clothing &

footwear, housing, electricity & fuel, health 부분의 합성지수.

자료: PriceStats(www.pricestats.com, 검색일: 2021. 5. 11.).

4.2. 해외 통계청의 소비자 물가지수 반영 시도

미국 통계청(National Statistics Office: NSO)과 노동 통계국(Bureau of Labor Statistics: BLS)에서도 온라인 데이터를 수집하여 소비자 물가지수 (Consumer Price Index: CPI)²¹⁾ 계산에 반영할 것을 고려 중이며 웹스크레이 핑을 하나의 데이터 수집 방법으로 포함하고 있다(Konny et al. 2019).

웹스크레이핑은 가격 정보 수집 외에도 더 다양한 정보 수집에 활용이 가능하

21) 한국의 소비자물가지수 조사 품목은 총 460개의 대표 품목으로 이루어져 있으며 이 중, 133개 품목 (29%)이 식료품 및 비주류 분류에 속하고 주류 및 담배까지 포함할 경우 140개 품목(30%)으로 소 비자물가지수를 계산하는 데에 있어 농식품의 중요도는 높음.

(44)

다. 미국 노동 통계국(BLS)은 기존 소비자 물가지수 계산 시 품목의 품질조정²²⁾ 을 수행하는데 이에 사용하는 상품별 특성을 웹스크레이핑을 활용하여 수집하고 있다(Konny et al. 2019).

유럽연합통계청(Eurostat)은 유럽소비자물가지수인 HICP(Harmonized Index of Consumer Prices) 작성을 위해 회원국들에게 오프라인 쇼핑몰 데이 터인 스캐너 데이터²³⁾뿐만 아니라 웹스크레이핑 데이터의 활용을 권고하고 있 다. 또한, 가격 정보 수집을 위해 웹스크레이핑 소프트웨어 개발을 지원하고 있다 (Eurostat 2018; Polidoro et al. 2015).

영국 통계청은 2014년부터 웹스크레이핑 자동화 소프트웨어 툴을 개발하여 온 라인 데이터를 수집하고 있으며 이 데이터를 활용하여 개발한 새로운 물가지수 CLIP(Clustering Large Datasets into Price indices)의 시험편제 결과를 공개 하고 있다. 음식료품의 CLIP는 기존 영국 공식 CPI와 유사한 방향성을 보이고 있 다는 점에서 온라인 데이터의 유효성을 확인할 수 있다<그림 2-9>(ONS 2016).

<그림 2-9> 영국 음식료품에 대한 공식 CPI와 CLIP 비교

자료: Office of National Statistics(ONS 2016).

22) 과거·현재 제품의 가격 차이 중 품질 변화분을 제외한 순수한 가격 변화분만을 물가지수에 반영하는 작업을 말함(문혜정 2019).

23) 한국에서는 POS(Point of Sales)라고 불린다.

(45)

4.3. 소셜 미디어와 신문기사를 활용한 심리지수

소셜 미디어와 신문기사 자료를 수집하여 개발한 심리지수 역시 온라인 데이터 수집 방법을 적용한 것으로, 대표적인 사례로는 네덜란드 통계청의 소셜 미디어 지수(Social Media Index: SMI)가 있다. 네덜란드 통계청은 소셜 미디어 포스 팅을 웹스크레이핑을 통해 수집한 데이터에 대해 형태소 분석을 진행하여 감성 (sentiment)을 분석한 후, 각 포스팅의 전반적인 의견을 긍정, 부정, 중립으로 분 류하여 소셜미디어지수(Social Media Index: SMI)를 작성하였다(Brakel et al. 2016; Daas and Puts 2014). 이렇게 개발된 SMI는 네덜란드 공식 소비자신 뢰지수(Consumer Confidence Index: CCI)와 유사한 움직임을 보인다<그림 2-10>.

<그림 2-10> 네덜란드 소셜미디어지수(SMI)와 공식소비자신뢰지수(CCI) 비교

자료: Daas and Puts(2014).

(46)

이와 같은 심리지수는 샌프란시스코 연방은행(Federal Reserve Bank of San Francisco, San Francisco FED)과 미시간 대학교에서도 개발하였다.

Shapiro et al.(2017)은 이와 같은 지표가 현 상황을 잘 반영한다는 점을 증명하 였고, 미시간 대학교의 소비자 심리지수는 전통적 서베이 방식의 지표를 선행하 는 것으로 증명되었다.

소셜 미디어를 활용한 심리지수는 국내에서도 개발되었다. 한국은행은 네덜란 드의 SMI를 벤치마킹하여 한국 소셜미디어 데이터를 수집·분석한 심리지표를 만들었다. 이 심리지표는 소비자 심리지수와는 유사한 움직임을 보였고, 실물경 제 지표인 GDP에 대해서는 선행하는 것으로 나타났다.

온라인 데이터를 활용한 지표의 공통적인 특징은 기존 지표를 선행한다는 점이 다. 기존 지표의 경우 대부분 조사원들이 직접 표본조사를 통해 대표 품목 가격을 수집하여 계산한 후 공표되므로, 대표 품목에 대해 표본조사를 수행해서 생기는 오차 외에, 조사 시점과 물가 공표 시점 사이에 차이가 존재하게 된다. 반면, 온라 인 데이터를 수집하는 경우 온라인 쇼핑 채널에 대해서실시간으로 등록된 전체 품 목에 대해 데이터 수집·추출이 가능하므로, 기존 지수들에 비해 시점상으로 선행 하고, 체감물가와 물가지수와의 시점 간 괴리를 개선할 수 있을 것으로 기대한다.

4.4. 민간 기업의 전략 활동에서의 활용 사례²⁴⁾

민간 기업들은 웹스크레이핑을 활용하여 자사 및 경쟁사의 가격 동향을 모니터 링하고 시장을 분석하는 전략을 세우고 있다. 예를 들어, A 제조사는 시장의 가격 동향을 기준으로 자사 상품의 가격 변동성을 모니터링하여 신규 상품 기획 시 시 장가격을 책정하는 데에 활용한다. 이를 통해 경쟁사의 경쟁 상품과 비교하여 자 사 상품의 가격경쟁력을 확보하고자 한다.

24) 웹스크레이핑 전문 업체 내부 자료 활용.

(47)

4.4.1. 자사 상품의 온라인 시장 가격 모니터링-국내 스포츠 의류사 사례

국내 스포츠 의류사 A는 자사상품 프로모션 기획 및 가격 경쟁력 확보를 위해 온라인 시장의 가격 동향과 경쟁사 프로모션 등 시장 현황을 일 단위 데이터로 수 집하여 모니터링하는 데에 활용하고 있다.

<그림 2-11> 국내 스포츠 의류사의 온라인 가격 수집 사례

자료: 내부자료.

4.4.2. 국가별 가격 모니터링-국내 타이어 제조사 사례

국내 타이어 제조업체인 B사는 자사 상품의 가격 경쟁력 확보를 위해 전 세계 주요 국가 139개 사이트로부터 타이어 온라인 시장의 가격을 주간 단위로 모니 터링하고 있다.

(48)

<그림 2-12> 국가별 온라인 시장에서의 타이어 가격 모니터링 사례

4.4.3. 온라인 채널별 다이나믹 프라이싱에 활용-멕시코 주류업체 사례

멕시코 주류업체인 C사는 채널별 가격동향을 일 단위로 모니터링하여 경쟁상 품의 가격 변화에 따라 자동으로 자사 채널 가격을 변동하도록 프로그램을 구축 하여 다이나믹 프라이싱 전략에 활용하고 있다. 가격 경쟁력 확보를 통해 시장 점 유율을 유지하기 위하여 경쟁업체의 가격을 일 단위로 모니터링하고 있다.

<그림 2-13> 주류업체의 온라인 일별 가격 데이터 모니터링 사례

(49)

4.4.4. 온라인 시장 마케팅 현황 모니터링 및 분석-국내 화장품 제조사 사례

국내 화장품 제조업체인 D사는 온라인 시장 주요 카테고리 등록상품 및 광고 분석을 통해 자사 마케팅 현황 및 경쟁사 마케팅 현황을 모니터링하고 있다. 키워 드 분석을 통해 주요 등록 상품의 속성, 소비자 트렌드 및 니즈를 분석하여 신규 상품 기획 시 활용하고 있다.

<그림 2-14> 국내 화장품 제조사의 온라인 시장 마케팅 현황 분석 사례

<그림 2-15> 국내 화장품 제조사의 기능/속성 및 소비자 니즈 분석 사례

(50)

4.4.5. 마케팅 효과 분석-해외 위스키 제조사 사례

해외 위스키 제조사인 E사는 주요 메인 키워드 카테고리의 광고 대비 효과 분 석을 통해 마케팅 효과가 높은 상품에 대해서는 마케팅 활동 강화, 효과가 저조한 상품에 대해서는 마케팅 전략을 재수립하는 데에 활용하고 있다.

<그림 2-16> 해외 위스키 온라인 시장 분석 사례

<그림 2-17> 카테고리별 주요 제조사/브랜드/SKU별 일간 단위 트렌드 분석