240920 ~ 240924 연구노트

📓 현재 진행상황

🖇️ Release Notes

- DialogueSessionManager.py

< 1st. 사용자 음성 녹음>

- record_play.py(비위급상황시 用)

- emergency_record_play.py(위급상황시 用)

< 2nd. 사용자 음성을 Text로 변환 (STT)>

- CSR.py (STT 모듈)

< 3rd. 사용자 음성을 바탕으로 Clova Chatbot 대화 생성>

- Semi_Chatbot.py (DialogueSessionManager → Chatbot으로 갈 때, 사용하는 챗봇)

- Chatbot.py (Recording → STT → Chatbot으로 갈 때, 사용하는 챗봇)

- Multiturn_Chatbot.py (멀티턴을 위한 챗봇 (구현 X))

< 4th. Chatbot 대화(Text)를 Speech하는 TTS 모듈>

현재 진행상황

Release Notes

Project Release Notes

•

24.09.23 10:40 기준

Project.zip

454.6KB

•

24.09.24 15:52 기준(LAST UPDATE)

Project (2).zip

466.0KB

Source Code

<Main System과 연결되는 부분>

- app.py

source code

- Controller.py

source code

<대화 모듈 api>

- DialogueSessionManager.py

source code

< 1st. 사용자 음성 녹음>

- record_play.py(비위급상황시 用)

source code

- emergency_record_play.py(위급상황시 用)

source code

< 2nd. 사용자 음성을 Text로 변환 (STT)>

- CSR.py (STT 모듈)

source code

< 3rd. 사용자 음성을 바탕으로 Clova Chatbot 대화 생성>

- Semi_Chatbot.py (DialogueSessionManager → Chatbot으로 갈 때, 사용하는 챗봇)

source code

- Chatbot.py (Recording → STT → Chatbot으로 갈 때, 사용하는 챗봇)

source code

- Multiturn_Chatbot.py (멀티턴을 위한 챗봇 (구현 X))

source code

< 4th. Chatbot 대화(Text)를 Speech하는 TTS 모듈>

- TTS.py

source code

<System Log 관리 (Debugging 목적)>

- LogDBHandler.py

source code

<GUI PyQt5 for DemoTest>

- application.py

source code

•

초기화면

•

사용자 선택

사용자를 선택하면, 자동으로 해당 User_ID가 입력됨

•

Event 선택

Event를 선택하면, 자동으로 해당 Event_ID가 입력됨

•

버튼 선택해서 Controller에 연결

튜닝모델을 위한 DataSet

결과 파일

<튜닝 모델을 위한 데이터 셋(DataSet)>

•

situation 기반으로 대화 생성

test(인지장애)_augm

•

situation + 사용자 대화 기반으로 대화 생성

dataset-test_augm (4)

메모장

우선 위급상황(자해 行動)인 경우,

Situation DB에서 is_emergency를 통해 위급상황임을 확인(if)

Chatbot에서 위급상황인 경우의 Chatbot을 실행 ⇒ Chatbot을 3개로 구분

TTS를 완료하고, emergency_recording을 실행

timeout동안 사용자의 음성 대화가 녹음이 되면 STT로 넘어가고,

음성 대화가 녹음되지 않으면 Terminate하도록 함

낙서장

참고자료 (정리본)

PyQt5

Pyinstaller

•

pyinstaller — onefile app.py를 실행하면, 아래와 같은 오류가 발생함

The ‘pathlib’ package is an obsolete backport of a standard library package and is incompatible with PyInstaller. Please remove this package (C:\Users\anaconda3\Lib\site-packages) using conda remove then try agian.

이 오류 코드에 대해 자세히 설명해줄래?

pathlib 패키지가 더 이상 필요하지 않거나, Python의 표준 라이브러리에 이미 포함되어 있기 때문에 충돌이 발생한다는 의미입니다. PyInstaller는 Python 애플리케이션을 배포 가능한 실행 파일로 변환하는 도구인데,

pathlib의 불필요한 버전이 포함되어 있으면 작동에 문제가 생길 수 있습니다.

즉, Anaconda 환경에서 pathlib의 배개포트 버전이 설치되어 있을 경우, PyInstaller와의 호환성 문제가 발생할 수 있습니다.

<해결 방법>

Anaconda Prompt에서 pathlib 패키지를 제거

conda remove pathlib

내가 궁금한 점은 conda remove pathlib를 하면 PyInstaller를 사용하려는 프로젝트는 상관없으나

다른 프로젝트에서 문제가 생길 수 있지 않을까?

아, 그 점에 대해 걱정하시는군요! 일반적으로 conda remove pathlib를 통해 제거하는 것은 pathlib의 백포트 버전만 제거하는 것이며, 표준 라이브러리의 pathlib는 영향을 받지 않습니다. 따라서 Python 3.4 이상을 사용하고 있다면 문제없이 사용할 수 있습니다.

해결되지 않은 점

•

싱글턴과 멀티턴의 정확한 기준이 무엇인가?

•

결국에 대화 서비스 모듈의 quality는 튜닝 모델의 대화 데이터셋의 규모와 quality에 있는데 이것은 어떻게 구할 것인가