목차
인지 장애를 가진 사람들로부터 싱스웰이 만든 Sensing 기술을 이용해 수집된 데이터들을 이용해서
LLM 기술을 이용한 대화를 생성하는 모델 생성
LLM을 이용해서
1) 상황 파악
2) 감정을 Relax 하는 역할
3) Scheduling
ex) 약 복용
<연구 목적>
: 현재 AI 스피커는 말을 걸면 수동적으로 반응하는 rule 기반
⇒ 따라서, Open AI를 연동해서 다양한 대화를 생성하고, 대화에 수동적으로 반응하는 것을 넘어서서 스스로 대화를 먼저 거는 모델을 연구
1st. 명확한 발달 장애인들을 위한 서비스 시나리오를 만들어 보기
예를 들어, 싱스웰이 위험 상황을 감지하게 되면, 해당 상황이 DB에 저장이 되고
우리는 해당 DB로부터 데이터를 가지고 와서 어떠한 상황인지를
LLM에게 브리핑을 해주는 것이 목적임
⇒ 거주자는 어떠한 사람인지(어떤 발달 장애를 갖고 있는지 등), 거주자 환경은 어떤 환경인지 파악하고,
여기에 따라서 LLM이 맞춤형으로 대화를 생성하는 방향으로 모색
⇒ 이를 HyperCLOVA API를 이용해서 구현하고자 함.
Q: 그렇다면 센서로부터 수집된 데이터를 어떻게 LLM에게 제공할 것인가?
⇒ LLM은 해당 데이터를 파악해 알맞은 상황에 따른 대화를 생성하고, 해당 대화 텍스트를 보조 기기에 전송하는 방식
그럼 보조기기에서는 텍스트들을 합성해서 송출하는 방식.
⇒ 단 대화가 가능한 방식으로 송출하는 방식으로 진행해야 함!!!
2nd. 페르소나 챗봇 기술을 활용한 모델을 구현해보기
단순 질의용 챗봇이 아니라 특정 서비스 영역에서 사용하기 위해 사용자 선호도에 따라 캐릭터가 맞게 튜닝이 된 챗봇을 의미함
⇒ 발달 장애인에 특성에 따라 알맞은 캐릭터를 파악해서 알맞은 페르소나 챗봇 기술로 대화를 할 수 있도록 구현할 필요가 있음
우리는 모든 발달 장애인의 특성을 모두 고려하는 것이 매우 어렵다고 판단하여,
우선은 경증 장애를 가진 사람들을 위한 모델을 우선적으로 구현하고자 목표함.
1st. CLOVA Studio를 통해서 CHATBOT를 만들어 보기
•
대화형 생성 DB 만들기 → 학습하는 모델 URI로 불러와서 Python에서 모델에 접근해서 대화 서비스 실행해보기
•
음성 인식과 음성 합성은 CLOVA에서 제공하는 API를 호출해서 input data로 음성 데이터를 넣어 주어서 활용
⇒ 해당 API가 음성 데이터에 맞게 text file을 제공해줌
•
text file을 제공 받으면, 해당 text file의 정확도를 테스트할 필요성도 있음
