버즈니 AI LAB 기술-텍스트 편

​버즈니 AI LAB은 최근까지 이머커스의 주축이 되는 기술을 중심으로 연구 및 개발을 지속적으로 해오며 크고 작은 성과를 선보였다. 그동안 버즈니 AI Lab에서 일군 성과를 이번 글을 통해 공유하고자 한다. 

마지막 소개 기술은 '텍스트'이다.

1. 이미지 

2. 카탈로그

3. 랭킹

4. 카테고리 분류

5. 추천

6. 텍스트

6. 텍스트

1) 브랜드 추출

배경 

홈쇼핑모아에서 관리하는 상품은 1억개 이상으로 사람이 일일히 각 상품의 브랜드를 분류하는 것은 불가능하다. 따라서 AI 모델이 상품명에서 브랜드를 자동으로 추출하도록 브랜드 추출기를 구축하였다.

모델 설명

홈쇼핑 모아의 브랜드 추출기는 (1) 규칙 기반 모델과 (2) ML 기반 모델로 총 두가지 모델이 있다. 

(1) 규칙 기반 모델은 홈쇼핑 모아의 브랜드 사전을 이용하는 모델로 (2) ML 기반 모델과 다르게 홈쇼핑 모아에서 판매되는 브랜드 위주로 추출할 수 있다. (2) ML 기반 브랜드 추출기는 상품명에서 일반적인 브랜드를 추출하는 모델이다. 

각 모델의 특성에 따라 (2)  ML 기반 브랜드 추출기로는 신규 브랜드명을 추출하도록 하고, 추출된 신규 브랜드는 검수 후 홈쇼핑모아 브랜드 사전에 반영된다. 따라서 브랜드 사전이 계속 업데이트 되고 (1) 규칙 기반 모델의 성능 또한 계속 향상된다.

아래 사진은 규칙 기반모델의 구조 및 예시이다.

2) 속성 추출

배경

홈쇼핑모아에는 다양한 상품이 존재하는데 각 상품에 대한 속성과 특징을 추출하고자 속성 추출 모델이 구축되었다.

모델 설명 

속성 추출 모델은 규칙 기반 모델로 주요 기능은 속성 키워드 추출과 단위 추출이다. 속성 키워드 추출은 홈쇼핑 모아의 속성 사전을 이용하여 속성 타입별로 속성 키워드를 추출한다. 단위 추출은 속성 사전의 단위 키워드를 이용하여 추출하되, 연산이 가능하도록 관련 규칙을 구축하였다. 예시로 “KF80 mask 화이트 20매 + 블랙 20매”이 입력으로 들어오는 경우, 연산처리를 통해 “40매”를 단위 추출 결과로 반환한다.

아래 사진은 속성 추출기의 예시이다. “오야니 리버시블 칼간램 롱 구스다운 코트 2개입 + 3개입”을 입력으로 가정했을 때, MATERIAL 속성 타입으로는 “구스”, SIZE 속성 타입으로는 “롱”, COUNT 속성 타입으로는 “5개”, FEATURE 속성 타입으로는 “리버시블”이 추출된다. 즉, 속성 타입별로 추출된 속성 키워드를 확인할 수 있다.

3) 리뷰 의견 추출

배경 

홈쇼핑모아에는 다양한 상품이 존재하고 각 상품에는 수많은 리뷰가 있기에, 이 수 많은 리뷰 내에서 원하는 정보를 빠르게 확인하기 어렵다. 따라서 리뷰 중 주요한 정보인 의견을 추출 및 제공하여 리뷰에서 필요한 정보를 사용자가 쉽게 확인할 수 있도록 한다.

모델 설명 리뷰 의견 추출은 ML 기반 모델로 현재 개발 중인 모델이다. 한 리뷰에는 여러 문장으로 구성될 수 있기 때문에 한 리뷰를 문장단위로 분리한 후, 한 문장씩 의견을 추출한다.

4) 홈쇼핑모아 상품명 세그먼트

배경 

상품명을 세세한 조각으로 나누고, 동의어를 치환해 상품명을 정규화하도록 구축된 모델로 서비스에서 직접적으로 활용되지는 않지만 검색, 키워드 알람, 브랜드 추출기 등 다양한 모델 입력의 전처리로 활용되는 모델이다.

모델 설명 

홈쇼핑모아 상품명 세그먼트 모델은 세그먼트 사전과 동의어 사전을 이용한 규칙 기반 모델이다. 세그먼트 사전을 이용하여 상품명을 세세한 조각으로 나누고, 동의어 사전을 이용하여 동의어를 치환해 상품명을 정규화한다.

5) 서비스 활용

적용된 서비스 

현재 홈쇼핑모아에서는 브랜드 추출기를 통해 각 상품의 브랜드를 추출하여, 특정 브랜드의 상품을 모아볼 수 있는 브랜드관 서비스를 운영하고 있다. 또한, 카테고리별로 인기 있는 브랜드를 사용자가 확인할 수 있도록 서비스에 노출하고 있다. 아래사진은 실제로 서비스 중인 브랜드관과 카테고리별 인기 브랜드의 이미지이다.

적용 가능한 서비스 

현재 속성 추출기와 리뷰 의견 추출기는 아직 서비스에 적용되지 않았지만, 적용 가능한 서비스가 존재하여 이를 소개하고자 한다. 우선 “속성 추출기”의 적용 가능한 서비스로는 1. 추출된 속성을 이용해 상품 카드에 특정 속성을 표시하여 제공하는 것이 있다. 

또한 2. 속성 필터링을 통해 원하는 속성을 가진 제품을 빠르게 찾을 수 있는 서비스가 있다. “의견 추출기”로 적용 가능한 서비스는 a. 한 리뷰에서 의견만을 하이라이팅하여, 빠르게 제품의 특성을 파악할 수 있는 것이 있다. 

또한 b. 추출된 의견 중 유사한 의견을 묶어, 상품에 주 특징을 한번에 알 수 있으며 주 특징과 관련된 리뷰 의견들을 빠르게 확인하는 서비스가 있다.

​