고급 데이터 엔지니어링 (24년)

•

세미나 기간: @9/4/2024 → 12/11/2024

•

수업: 데이터 엔지니어링 특론

•

강의실: 18207호

•

참여자: AI·SW학 대학원생

◦

박사과정: 최현범, 이영우, @지연 오 

◦

석사과정: 이희원, 하수진, @시윤 김 

Table

Topic

Subject

Description

Assignment

Seminar Date

File and media

강의소개

Open

오리엔테이션

[강의]

Hyun Ahn

2024/09/04

#1_Introduction_to_the_Course.pdf

Python 기초

Open

NumPy, Pandas

[강의&실습]

Hyun Ahn

2024/09/11

#2_NumPy.pptx

#3_Pandas.pptx

1_numpy_arrays_inst.html

2_pandas_objects_inst.html

Open

NumPy, Pandas 온라인 강좌 이수하기

[과제]

2024/09/25

https://www.dataquest.io/course/pandas-fundamentals/

이영우.zip

오지연_NumPy, Pandas 온라인 강좌 이수.zip

결측치 처리

Open

결측치 처리 기초 실습

[강의&실습]

Hyun Ahn

2024/10/02

#4_Handling_Missing_Data.pdf

3_handling_missing_data.html

4_data_imputation.html

AirQualityUCI_refined.csv

Open

k-NN (k-Nearest Neighbors)

[세미나&데모]

수진 하

2024/10/16

발표자료

Open

MICE (Multiple Imputation by Chained Equations)

[세미나&데모]

최현범

2024/10/16

발표자료

이상치 처리

Open

이상치 처리 기초 실습

[강의&실습]

Hyun Ahn

2024/10/23

#5_Outlier_Detection.pdf

5_outlier_detection_inst.ipynb

AirQualityUCI_refined.csv

Open

레버리지와 아웃라이어 (데이터사이언스스쿨)

[세미나&데모]

시윤 김

2024/10/30

참고문헌(데이터사이언스스쿨).html

발표자료

Open

DBSCAN

[세미나&데모]

지연 오

2024/10/30

발표자료

Open

Isolation Forest

[세미나&데모]

여준 윤

2024/10/30

신호 처리

Open

사운드 프로세싱 기초 (데이터사이언스스쿨)

[세미나&데모]

최현범

2024/11/27

발표자료

Open

푸리에 변환과 스펙트럼 (데이터사이언스스쿨)

[세미나&데모]

수진 하

2024/11/27

발표자료

특징 공학

Open

특징 공학 기초 실습

[강의&실습]

Hyun Ahn

2024/12/04

자연어 처리

Open

NLTK 자연어 처리 패키지 (데이터사이언스스쿨)

[세미나&데모]

Open

KoNLPy 자연어 처리 패키지 (데이터사이언스스쿨)

[세미나&데모]

Open

비대칭 데이터 문제 (데이터사이언스스쿨)

[세미나&데모] Positive/Negative 사례 수가 비대칭적일 때 사용하는 기법들

Open

t-SNE (t-distributed Stochastic Neighbor Embedding)

[세미나&데모] PCA를 대체하는 차원축소 및 시각화 기법

StatQuest: t-SNE, Clearly Explained

https://www.datacamp.com/tutorial/introduction-t-sne

SOTA 데이터 엔지니어링 기술

Open

Active Learning

[세미나&데모] 레이블링 자동화 기술

https://towardsdatascience.com/active-learning-5b9d0955292d

Open

DCGAN Tutorial (PyTorch)

[세미나&데모] DCGAN을 이용한 데이터 증강

https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html#dcgan-tutorial

Open

EEG-Based Brain-Computer Interfaces Using Motor-Imagery: Techniques and Challenges, Sensors, 2019.

[논문 세미나] 동작 상상 기반의 Brain-Computer Interface를 위한 EEG 뇌파 신호 처리 방법들을 제안

sensors-19-01423.pdf

Open

Topological Data Analysis

[세미나&데모] 데이터의 구조를 위상수학 관점에서 분석하는 방법

https://dacon.io/en/codeshare/3733

https://github.com/postech-minds/postech-minds/blob/main/tutorials/%5BGTDA_TUTO%5D01-Introduction_to_TDA.ipynb

기타

Open

Model Drift (Change Point Detection)

Open

XAI

Open

교차검증

Open

다중공선성과 변수 선택

데이터 사이언스 스쿨 — 데이터 사이언스 스쿨

세미나 페이지 템플릿

#11_Feature Engineering.pdf

3000.8KB

16_feature_extraction.ipynb

27.0KB

발표 자료

k-NN (k-Nearest Neighbors)

MICE (Multiple Imputation by Chained Equations) Algorithm

레버리지와 아웃라이어

DBSCAN

Isolation Forest

Sound Processing 기초 세미나

푸리에 변환과 스펙트럼