DataBiz Trend

(1)

1

DataBiz Trend

– 아마존의 개인화 기술과 활용

강성문

AIML Specialist Solutions Architect

(2)

1. 초개인화는 어떤 문제를 해결하려는 것인가?

2. 대표적 인공지능 개인화 알고리즘과 원리

3. 초개인화 서비스 구현 (with Amazon Personalize)

(3)

4

초개인화는 어떤 문제를

해결하려는 것인가?

(4)

초 개인화(Hyper Personalization)의 시대

“고객 기본 정보에 과거 구매 내역, 상품반응, 장바구니, 검색 등을

통해 수집된 실시간 데이터를 AI 알고리즘을 통해 개별화된 서비스를 제공”

“사용자의 온라인 데이터, 실제 생활 패턴 및 취향 정보를 바탕으로, 적절한 상황과 타이밍에 적절한 메시지로 사용자의 소비 경험을 가이드 하는 것”

https://it.donga.com/29192/

https://blog.cheil.com/magazine/41070

“Hyper personalization combines behavioraland real-time data extracted from multiple channels, for brands to create an extremely customized marketing strategy”

(5)

6

초 개인화(Hyper Personalization)의 시대

vs

“오전에 Wish list에 담아두신 상품의 재고가 얼마 남지 않았습니다.”

“주말 캠퍼들을 위한 특별 프로모션”

“한국 영화 매니아를

위한 추천 목록” “주말 저녁에 볼만한

한국영화 추천 목록”

고객 프로파일 사용자 행동, 실시간

과거 이력 세분화된 페르소나, Context

(6)

Amazon.com에서의 최초의 개인화

• ‘Customers who bought this, also bought…’

• 1998년 출시 및 특허 출원

• 쇼핑을 보다 쉽게 하는 개인화에 초기부터 투자

History of personalization at Amazon

(7)

8

Personalization at Amazon today

영화 : 홈페이지 개인화 음악 : 재생목록 개인화 상품 페이지 개인화

웹사이트 공지/알림

다양한 타입의 콘텐츠 추천

다양한 채널로 전달

…

모바일 앱 음성

(8)

Amazon.com 의 추천기능

(9)

10

개인화 알고리즘 트랜드

▪

룰(Rule) 기반 추천

✓

비효율적인 확장성

✓

유지관리의 어려움

▪

Collaborative Filtering, Matrix Factorization

✓

사용자의 행동 반영 어려움

▪

세션 기반 딥러닝 추천

✓

사용자의 행동 기반 정교한 개인화

✓

대규모 데이터 필요

Traditional recommender systems aren’t adequate

• Rule-based systems perform poorly, don’t scale and are hard to maintain

• Collaborative filtering and matrix factorization methods are good for v1, but deep neural networks, esp.

recurrent neural networks, that take into account the sequence of a

user’s activity (clicks) out-perform

other methods

(10)

대표적인 인공지능 개인화 알고리즘과 원리

- Collaborative Filtering - Matrix Factorization - HRNN

(11)

21

A

B

C

아이템기반 Collaborative filtering

(12)

Factorization Machines (FM)

평수, 세대수, 방개수, 지역, 학교, 전철역, 건설사, … H1

H2 H3 H4 H5 H6 H7 H8

…

102.47, 5403, 3, 분당, 230, 1203, L, … 119.01, 1200, 3, 판교, 873, 982, H, … 115.70, 400, 3, 잠실, 1209, 2039, D, … 101.33, 18943, 4, 여의도, 332, 1022, S, … 52.89, 2004, 2, 상계, 1290, 320, L, … 132.23, 183, 5, 판교, 223, 287, B, … 162.29, 328, 5, 동대문, 1290, 982, W, …

99.17, 985, 3, 역삼, 2390, 1347, K, …

…

10.1 15.8 14.4 16.1 7.9 19.6 21.4 8.0

… 가격

• 집값 예측하기 (Regression)

H99 110.02, 2201, 3, 분당, 564, 237, S, …

?

(13)

23

https://preparingforgre.com/item/81549

https://stackoverflow.com/questions/26431800/plot-linear-model-in-3d-with-matplotlib/26433404#26433404

y=ax ₁ +bx ₂ +c

y=ax+b

(14)

사용자, 영화, 사용자 x 영화 평점

예측

(15)

25

사용자 관심(Context) 감지하기

(16)

사용자 관심(Context) 감지하기

(17)

27

사용자 관심(Context) 기반 추천하기

과거 History 사용자 Profile

제품 Profile

Context

(18)

HRNN - Hierarchical Temporal-Contextual Recommenders

https://openreview.net/pdf?id=ByzxsrrkJ4

(19)

30

초개인화를 위한 더 많은 시나리오와 기술들…

✓ 사용자의 제품 선호도 예측

✓ 사용자의 다음 액션 예측

✓ 사용자와 아이템 정보 임베딩 (이미지, 텍스트, 리뷰, …)

실시간 데이터 수집

✓ 실시간 클릭스트림 프로세싱 (방문회수, 방문빈도, 브라우징시간, 클릭수, …)

✓ 오프라인 매장 사용자 행동정보 수집 (동선, 방문시간, 체류시간, …)

오퍼제공

✓ 판매량을 예측기반 재고관리

✓ 사용자 컨텍스트를 이용하여 구매전 제품 경험 시뮬레이션

…

(20)

초개인화 서비스 구현

(with Amazon Personalize)

(21)

32

(22)

The AWS ML Stack

Broadest and most complete set of Machine Learning capabilities

VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS

Amazon SageMaker ^Ground

Truth

Augmented AI

SageMaker Built-in Neo

algorithms

SageMaker Notebooks

SageMaker Experiments

Model

tuning SageMaker Debugger SageMaker Autopilot

Model hosting

SageMaker Model Monitor

Deep Learning GPUs & Elastic Inferentia FPGA

Amazon Rekognition

Amazon Polly

Amazon Transcribe +Medical

Amazon Comprehend

+Medical Amazon Translate

Amazon Lex

Amazon Personalize

Amazon Forecast

Amazon Fraud Detector

Amazon CodeGuru

AI SERVI C ES

ML SERVI C E S

ML FRAME W O R K S & I NFRAST R U CT U R E

Amazon Textract

Amazon Kendra

SageMaker Studio IDE

Amazon Connect with Contact Lens

(23)

34

Amazon Personalize

▪

API 를 통해 사용자에게 개인화 기반의 추천 결과 생성

✓ 최신 Deep Learning 알고리즘 및 다양한 개인화 기술 적용

✓ 개인화 추천의 전체 과정을 자동화

✓ 추천 결과 실시간 분석

▪

다양한 분야에서 활용 가능

amazon.com 에서 사용하는 머신 러닝 기술을 바탕으로 한

실시간 개인화 및 추천 서비스 입니다.

개인화 추천

검색 랭킹 분석

맞춤형 안내

Retail &

e-Commerce

VOD News Travel

Personalized

Notifications

(24)

데모

(25)

37

Dashboard

(26)

빌트인 레시피

▪ SIMS

✓

Item-to-item 유사도 기반

✓

사용자 이력에서 동일하게 나타나는

아이템을 기반으로 유사 아이템 목록을 생성

✓

User behavior 가 부족한 경우, Popular item을 결과로 제공

▪ Popularity-Count

✓

데이터셋에서 Popularity가 높은 아이템 계산

✓

데이터셋 내에서 아이템의 출현 횟수 계산 기준에 따라 Top-K popular items를 결과로 출력

✓

여러 사용자에게 동일한 결과를 제공 (다른 알고리즘의 성능 비교 평가 시 많이 활용됨)

▪ Personalized-Ranking

✓

사용자 각각에게 추천할 아이템의 순위를 쿼리를 이용하여 재정리

✓

SEARCH_PERSONALIZATION 레시피로 모델을 생성해야 함

▪ HRNN

(Ma & Narayanaswamy 2018)

✓ Encodes session information in the embedded inputs

✓ Include metadata into sequence models

▪ “user features” & “interaction feedback”

(27)

39

재학습과 배포과정 자동화

https://github.com/aws-samples/amazon-personalize-samples/tree/master/ml_ops

(28)

Amazon Pinpoint

(29)

41

Amazon SageMaker

(30)

정리

• 초개인화의 키워드

– 사용자 행동, 실시간, Context, AI

• 개인화 알고리즘

– Collaborative Filtering, Factorization Machine, HRNN, ...

• Amazon Personalize, ML on AWS

(31)

45

감사합니다.

(32)

DataBiz Trend

DataBiz Trend

– 아마존의 개인화 기술과 활용

초개인화는 어떤 문제를

해결하려는 것인가?

https://it.donga.com/29192/

https://blog.cheil.com/magazine/41070

vs

▪

✓

✓

▪

✓

▪

✓

✓

Traditional recommender systems aren’t adequate

• Rule-based systems perform poorly, don’t scale and are hard to maintain

• Collaborative filtering and matrix factorization methods are good for v1, but deep neural networks, esp.

recurrent neural networks, that take into account the sequence of a

user’s activity (clicks) out-perform

other methods

A

B

C

10.1 15.8 14.4 16.1 7.9 19.6 21.4 8.0

… 가격

?

y=ax 1 +bx 2 +c

y=ax+b

https://openreview.net/pdf?id=ByzxsrrkJ4

✓ 사용자의 제품 선호도 예측

✓ 사용자의 다음 액션 예측

✓ 사용자와 아이템 정보 임베딩 (이미지, 텍스트, 리뷰, …)

✓ 실시간 클릭스트림 프로세싱 (방문회수, 방문빈도, 브라우징시간, 클릭수, …)

✓ 오프라인 매장 사용자 행동정보 수집 (동선, 방문시간, 체류시간, …)

✓ 판매량을 예측기반 재고관리

✓ 사용자 컨텍스트를 이용하여 구매전 제품 경험 시뮬레이션

초개인화 서비스 구현

(with Amazon Personalize)

The AWS ML Stack

Broadest and most complete set of Machine Learning capabilities

AI SERVI C ES

ML SERVI C E S

ML FRAME W O R K S & I NFRAST R U CT U R E

▪

▪

amazon.com 에서 사용하는 머신 러닝 기술을 바탕으로 한

개인화 추천

관련 상품 추천

검색 랭킹 분석

맞춤형 안내

VOD News Travel

▪ SIMS

✓

✓

✓

▪ Popularity-Count

✓

✓

✓

▪ Personalized-Ranking

✓

✓

▪ HRNN

✓ Encodes session information in the embedded inputs

✓ Include metadata into sequence models

▪ “user features” & “interaction feedback”

https://github.com/aws-samples/amazon-personalize-samples/tree/master/ml_ops

감사합니다.

ML.aws

Thank you!

y=ax ₁ +bx ₂ +c