Ludwig report

Source file: G://~/DEL at HSU/Seminar/2023_AutoML_Frameworks/Ludwig

Use python api

Ludwig

•

CNN 알고리즘을 이용하여 전처리함.

•

선언적 딥러닝 오픈소스임.

◦

선언적 프로그래밍의 특징 :

Faster to implement (구현이 빠름)

Less expressive (의도한 느낌이나 의미를 잘 전달하지 못함)

•

 간단하고 유연한 데이터 기반 구성 시스템을 사용하여 기계 학습 파이프라인을 쉽게 정의 가능함.

구성으로는 각각의 데이터 유형과 함께 입출력 특징을 선언하고 전처리, 인코딩 및 디코딩 기능을 위해 추가 매개변수를 지정할 수 있음.

사전 학습된 모델을 불러올 수 있고, 내부 모델 아키텍처를 구성하고, 학습 매개변수를 설정하거나 하이퍼 파라미터 최적화가 가능함.

구성에 명시적으로 지정된 모든 항목을 사용하여 종단 간 기계 학습 파이프라인을 자동으로 구축하고 그렇지 않은 모든 매개변수에 대해서는 스마트 기본값 (보통 선택하는 권장 기본값)으로 대체함.

기계 학습에 대한 Ludwig의 선언적 접근 방식을 사용하면 관심 있는 기계 학습 파이프라인의 구성 요소를 완전히 제어할 수 있으며 나머지 부분에 대해서는 합리적인 결정을 Ludwig에게 맡김.

최신 모델 아키텍처를 탐색하고, 하이퍼 파라미터 검색을 실행하고, 사용 가능한 메모리 데이터셋 및 다중 노드 클러스터보다 더 큰 규모로 확장하고, 최종적으로 프로덕션에서 최고의 모델을 제공함.

•

데이터 기반 구성 시스템

•

ECD Architecture(encoder-combiner-decoder)로 구성

•

기계 학습 상용구를 최소화

•

손쉽게 벤치마크를 구축 가능

•

여러 문제 및 데이터셋에 새로운 아키텍처를 쉽게 적용 가능

•

데이터 전처리, 모델링 및 메트릭(시각화)를 고도로 적용 가능

•

다중 모델과 다중 작업 학습 별도 설치 과정 없이 바로 사용 가능

•

모델 내보내기와 추적하기 용이

•

훈련 시 다중 GPU와 다중 노드 클러스터로 자동 확장

•

Low-code interface를 지원

•

Ludwig의 사전 훈련된 모델들 사용 가능

이미지 데이터셋을 이용해 실험을 진행하였다.

Ludwig은 코드를 작성할 필요 없이 딥러닝 모델을 훈련하고 테스트할 수 있는 도구이다.

Google Colab을 사용하여 코드를 정리하였다.

CNN과 LSTM을 사용하는 아이디어를 얻을 수 있기 때문에 이미지 캡션을 위한 모델을 준비하였다.

이미지 캡션은 이미지의 맥락을 인식하고 영어와 같은 자연어로 설명하기 위해 컴퓨터 비전과 자연어 처리 개념을 포함하는 작업이다.

한번에 모든 캡션을 불러온다.

•

Applied Deep Learning Using Uber’s Ludwig Library, Medium (link)

•

Ludwig: A Toolbox for Training and Testing Deep Learning Models without Writing Code, youtube (link)

•

[Uber Open Source] Ludwig: A Code-free Deep Learning Toolbox, youtube (link)

•

Ludwig AutoML for Deep Learning, Medium (link)

•

Convolutional Neural Networks (CNNs), happiest minds (link)

•

Unit Testing Machine Learning Code in Ludwig and PyTorch: Tests for Gradient Updates, Medium (link)