사업 개요
•
사업명: 우수기업연구소 육성사업(ATC+)
•
과제명: 사용자 감정상태에 따른 디지털 힐링 콘텐츠 추천을 위한 멀티모달(영상/음성)형 OTT 플랫폼 개발
•
참여기관: 알로이스(주관), 코탑미디어, 한신대학교
•
지원기관: 한국산업기술평가관리원
•
총 사업기간: 2022.04 ~ 2025.12(3년 9개월)
•
당해년도 사업기간: 2022.04 ~ 2022.12(9개월)
사업 내용(안)
논의사항
•
힐링콘텐츠 만족도 평가 방안(초기 영상 시 표정과 영상 시청 후 영상 그리고 그 영상에 대한 만족도 표기(별 또는 점수)
◦
힐링 : 영상, 음악
•
NFT를 통한 개인화 된 콘텐츠 제공
•
디바이스와 콘텐츠, 마켓구축을 통한 멀티 미디어 생태계 제안
•
안면인식 분류와 그에 따른 콘텐츠 구성 필요
한신대 수행 내용
•
안면인식 기반 감정 분석 및 디지털 힐링 추천 알고리즘 개발
힐링콘텐츠 추천 알고리즘
•
사업계획서 내용
◦
시장동향
◦
연차별 기술개발내용
▪
이슈: 추천 알고리즘 → 안드로이드 셋톱박스 포팅: 누가? 어떻게?
◦
감정분류체계 정의: 사업계획서에서는 기존 체계 활용, 실제 개발에서는 일부 감정 유형만 적용(모든 감정 유형 분류가 현실적으로 어려움)
◦
평가방법: 콘텐츠 이용 동안의 표정인식 트래킹(예: 우울함→기쁨), 시청 지속시간, 평점
▪
비교군: 무작위 선택에 의한 콘텐츠 시청
사업예산(당해년도)
•
알로이스: 3억
•
코탑미디어: 1.5억
•
한신대: 0.5억
◦
인건비 편성 45% 이상(모든 참여연구원 참여율 10%이상)
◦
연구실환경유지비 직접비 1% 이상
주요 일정
•
예산 편성: ~ 1.14(금)
•
초안 취합: ~ 1.21(금) 오후 12:00
•
초안 점검: ~ 1.25(화)
•
기관 서류 송부: ~ 1.27(목)
하위 문서
참고자료
1.
2.
3.
4.
•
문화, 인종에 따라 표정을 다르게 인식
5.
6.
•
Speech2face 기술 소개
7.
•
음성 기반 감정 인식을 위한 오픈 데이터셋 리스트 정리
8.
•
감정 인식 오픈 데이터셋 8개 소개
•
AffectNet, Ascertain, Dreamer, CK+, EMOTIC, FER-2013, Google Facial Expression Comparison Dataset, K-EmoCon
9.
Gonçalves, D., et al., “A Flexible Recommendation System for Cable TV”, arXiv, 2016
•
Cable TV 영상 만족도 평가 지표 제안: nDCG, ILD, MSI, serendipity
10.
•
추천시스템 평가 지표 개념 정리: MAP, nDCG
관련 용어
•
arousal: 각성
•
Cinematherapy: 영화 감상을 통한 심리치료 요법
◦
유의어: Flim/video-based therapy
•
Cold-start problem: 수집된 데이터(예: 평점 데이터)가 부족하여 효과적으로 협업 필터링을 수행하기 어려운 경우
◦
추천 시스템 구축에서 빈번히 발견되는 문제
•
•
valence: 유인가(긍정/부정의 정도를 표현)
TDL
•
감정 분류 논문 출처 표기, AI허브 기준 감정 유형으로 수정
•
참여자 정보 기입
•
연구시설 장비 보유현황
•
국가연구개발사업 주요 수행실적
•
만족도평가 환경 작성
•
제출서류(~ 금요일 오전)
이슈
•
표정인식 개인정보 유출 → OTT Box
•
유튜브와의 차별점/특장점
◦
실시간 감정에 대응하는 추천 서비스
◦
시즌 과의 비교: 서비스 시나리오
▪
시즌 표정스캐너: 기분 나쁨 →시즌 실행→ 표정 스캐너 → 인상 쓰기 → 콘텐츠 추천
▪
알로이스: 기분 나쁨 → OTT를 통한 자동 감정인식 → 콘텐츠 추천 → 사용자 반응 데이터 취득 → 추천 서비스 재학습
•
서비스 모델, 시스템 모델
