버즈니 AI LAB 기술 -카탈로그 편

버즈니 AI LAB은 최근까지 이머커스의 주축이 되는 기술을 중심으로 연구 및 개발을 지속적으로 해오며 크고 작은 성과를 선보였다. 그동안 버즈니 AI Lab에서 일군 성과를 이번 글을 통해 공유하고자 한다. 

두 번째 소개 기술은 '카탈로그'이다.

1. 이미지 

2. 카탈로그

3. 랭킹

4. 카테고리 분류

5. 추천

6. 텍스트

2. 카탈로그

1) 기술 소개

카탈로그란 ‘동일한 상품들을 자동으로 묶는 기술과 그 결과물'을 의미한다. 매일 여러 경로를 통해 들어오는 수만가지의 데이터들 사이에서 동일한 상품을 직접 골라내는 것은 물리적으로 어렵다. 

카탈로그 자동화 기술은 이러한 데이터들에 섞여있는 동일한 상품들을 하나로 묶어 정리하는 기술이다. 카탈로그 기술은 판매자와 구매자의 혼란을 줄이고, 정리된 그룹은 상품 분류, 분석 등 여러 기술에 사용될 수 있다.

2) 기술 소개 - 모델

↓

↓

 카탈로그 자동화 모델은 상품의 이름과 이미지에서 정보를 추출한다. 재료를 선정해 요리를 하는 것처럼 추출된 이름과 이미지 정보를 가지고 하나의 상품 feature로 만든다. 자동화 시스템을 통해 모든 상품이 각자의 상품 feature를 갖게 되고, 이 feature들 간의 유사도 비교를 통해 동일 상품 여부를 자동으로 결정한다.

3) 기술 소개 - 후처리

 자동으로 분류된 카탈로그는 대체로 높은 정확도를 갖고 있지만, 디테일하게 다시 검토해야할 필요가 있다. 동일상품을 분류하기 위해서는 세부적이고 명확한 기준이 반드시 동반돼야 하기 때문이다. 버즈니는 후처리 모듈을 통해 기준을 제시하고 카탈로그를 다시 한 번 정제한다. 후처리 모듈은 기계가 판별하기 힘든 정보들을 가려내고 동일상품 여부를 엄격하게 재조정해 카탈로그 분류의 정확도를 높인다.

4) 서비스 활용

 카탈로그는 현재 가격비교 탭에 적용되어 동일한 상품들의 가격을 비교하는 역할을 수행하고 있다. 또한 상품 베스트탭 / 추천 등에 적용되어 상품의 중복 노출을 막고 더 효과적인 서비스를 돕는 역할을 하고 있다.

​