도라에몽주머니

[ML/AI] ONNX 모델이란?

에몽쓰 — Mon, 15 Dec 2025 18:49:55 +0900

새로 들어가게 된 안건에서 ONNX 모델을 사용하게 되어서 정리하는 글.

ONNX 란?

ONNX(Open Neural Network Exchange) 란 서로 다른 딥러닝 환경에서 개발된 모델을 서로 호환 가능하도록 하는 표준 모델 포맷이다.

예를 들어, Tensorflow에서 만든 모델을 ONNX 그래프로 export 하면 PyTorch 와 같은 다른 프레임워크에서도 해당 모델을 import 해서 사용할 수 있다.

출처: https://aurigait.com/blog/onnx-onnx-runtime-and-tensortrt/

장점

ONNX는 아래와 같은 장점이 있다.

Framework interoperability: 프레임워크 상호 운용성
ONNX를 이용하면, 하나의 프레임워크(ex. PyTorch) 에서 모델을 학습시키고 다른 프레임워크(ex. TensorFlow) 로 내보내서 추론에 사용할 수 있다.
현재는 PyTorch, Caffe2, Microsoft Cognitive Toolkit, Apache MXNet, Chainer 등의 프레임워크를 지원하며, Core ML, TensorFlow, Qualcomm SNPE, Nvidia의 TensorRT, Intel의 nGraph도 추가로 지원될 예정이다.

Hardware optimizations: 하드웨어 최적화
성능을 최대화하기 위해 ONNX 호환 런타임 및 라이브러리를 제공하므로, 하드웨어 최적화가 가능하다.
현재는 Qualcomm SNPE, AMD, ARM, Intel 및 기타 하드웨어 파트너를 지원한다.

ONNX Runtime

ONNX가 지원하는 프레임워크이다. 다양한 프레임워크, 운영 체제와 하드웨어 플랫폼을 지원하며, 머신러닝 속도를 향상시키도록 설계되어 있다.

출처: https://aurigait.com/blog/onnx-onnx-runtime-and-tensortrt/

동작 흐름

PyTorch, TensorFlow, Keras 등의 모델을 ONNX로 변환해서 ONNX 모델을 생성한다.
사용하고자 하는 환경에서 생성한 모델(ex. example.onnx) 을 로드하고 실행한다.
하드웨어 가속기 등을 이용해서 성능을 조정한다.
입력값을 전달하고 결과값을 반환받는다.

실행

Installation

!pip install onnxruntime

Session

import onnxruntime as ort

# 추론 세션 생성
session_tf = ort.InferenceSession("model_path.onnx")

# 추론 세션 실행
input_images = session_tf.get_inputs()[0].name
output_name = session_tf.get_outputs()[0].name
results_ort = session_tf.run([output_name], {input_name: X.astype(np.float32)})

Netron 이란?

Netron은 아래 이미지와 같이 딥러닝 모델 아키텍쳐를 시각화해주는 툴이다. ONNX, TorchScript, TensorFlow Lite, TensorFlow, Keras, Core ML, Darknet 과 같은 모델들을 지원한다.

출처: https://github.com/lutzroeder/netron

Netron은 다운로드해서 로컬에서 실행할 수도 있지만, 아래의 브라우저에 모델을 드래그 앤 드롭하면 아주 간단하게 모델 아키텍쳐를 확인할 수 있다.

https://netron.app/

Netron

netron.app

References

2025 #2 E자격 취득 회고록

에몽쓰 — Wed, 15 Oct 2025 18:30:12 +0900

입사 1년차에 일본 딥러닝 협회에서 주관하는 G검정에 응시해서 합격했다.

그 다음 단계로 같은 협회에서 주최하는 E자격에 응시했고, 다행히도(?) 합격했기 때문에 이에 대한 회고록을 작성해보려고 한다.

개요

https://www.jdla.org/

一般社団法人日本ディープラーニング協会【公式】

本協会（JDLA）は、ディープラーニングを中心とする技術による日本の産業競争力の向上を目指します。

www.jdla.org

E자격을 한국어로 검색했을 때 검색 결과가 잘 나오지 않았기 때문에, 간단히 개요를 작성해 보려고 한다.

E자격은 일반 사단 법인인 일본 딥러닝 협회에서 주관하는 딥러닝 자격증이다.

일반적인 다른 자격증들과는 다르게 JDLA에서 지정한 업체의 인증 프로그램을 수강해야지만 E자격에 응시할 수 있는 자격이 주어진다.

하지만 인증 프로그램과 응시료가 조금 비싼 편이어서 일본 내에서도 사내 보조금이 나오지 않는 이상 잘 응시하지 않는 듯 하다...

그리고 시험이 연 2회밖에 개최되지 않아서, 한번 떨어지면 내년에 봐야한다,, ㅎㅎ

내용

출제 범위(실라버스) 는 매 시험마다 갱신되지만, 대략적인 분야는 크게 바뀌지 않는다. 보통 응용 수학, 기계 학습(머신러닝), 심층 학습(딥러닝), 개발 환경 의 4가지 분야의 내용이 출제된다.

자연어 처리, 이미지 처리, 강화 학습 등 폭넓은 범위에서 출제되며, 직접 코딩을 할 필요는 없지만 파이썬으로 작성된 코드를 이해할 줄 알아야 풀 수 있는 문제들도 있기에 해당 언어에 익숙한 사람들이 많이 응시하는 듯 하다.

머신러닝이나 딥러닝에 관한 기본 내용 위주로 출제되었던 G검정과는 다르게, E자격에서는 실제 모델의 동작 원리나 수학적인 부분까지도 공부가 필요했다. 강의를 들으면서 공부할 때, "이정도면 그냥 논문을 읽는게 낫겠는데?" 라는 생각이 들 정도로 G검정에 비해서는 깊이있는 내용을 다룬다.

~~생각보다 시간이 없어서 논문을 읽지는 못했지만...~~

2025 #2 실라버스

인증 프로그램

https://www.jdla.org/certificate/engineer/programs/bizlist/

E資格認定プログラム事業者一覧

JDLAでは、ディープラーニングの理論を理解し、適切な手法を選択して実装する能力を持つ人材を育成する講座を、JDLA認定プログラムとして認定推奨しています。いずれかの認定プログラム

www.jdla.org

인증 프로그램 종류가 진짜 너무 많아서 고르기 어려웠는데, 일본어로 이것저것 검색해보니 AVILEN 의 강좌가 가격 대비 합리적인 듯 해서 AVILEN사의 강좌를 수강했다.

내가 강좌를 고른 기준은 1. 별도 공부를 하지 않더라도 강좌를 통해 E자격 시험 대비가 가능할 것 , 2. 강좌 내용이 충실할 것 , 3. 조금 어려워도 좋으니 E자격정도 혹은 그 이상의 난이도로 인증 시험을 제공할 것 이다.

리뷰는 그리 많지 않았지만 AVILEN 수강자들은 대부분 합격했고, 대부분 E자격과 비슷하거나 좀 더 어려운 수준으로 예문이 제공되었다고 해서 여기로 선택했다. ~~(그리고 광고글이 거의 없었다는,,ㅎㅎ)~~

공부 기간

강좌 수강 기간을 포함해서 공부 기간은 약 8개월 이었다.

대략 반년 정도의 시간인데 이 기간 전부 열심히 했냐고 한다면 그건 아니었다..

2025년 1월 ~ 2025년 8월 까지 공부했는데, 5월쯤에는 골든위크여서 한국에 돌아가기도 했고, 주말에 쉬고싶어서 공부를 안하기도 했으니 본격적인(?) 공부를 한건 약 2개월 정도라고 생각한다.

근데도 합격할 수 있었던 건, 대학시절 배웠던 기본 지식이 조금 있었고 업무 시간을 일부 활용해서 공부할 수 있었기 때문이지 않을까.

시험 후기

G검정의 경우, 자택에서 본인 PC로 응시할 수 있어서 참 편했는데 E자격은 CBT센터에 직접 방문해야 한다.

피어슨에서 주관하는거라 다른 시험을 응시하는 사람들이랑 같이 봤는데, 정말... 불편한게 많았다.

우선, 예약한 시험 시간보다 일찍 도착하면 일찍 도착하는대로 시험이 시작된다. 이럴거면 왜 예약을 받는지 모르겠지만 도착하는 시간대로 짐을 맡기고 시험장에 입실한다.

그리고, 다른 사람이 시험중이어도 도중에 문을 열고 시험장에 들여보낸다. 소음은 어쩌지 하고 입실할 때 엄청 눈치를 봤는데 불행 중 다행인건지, 차음이 되는 헤드셋을 준다 ~~(와아... ㅎㅎㅎ)~~

주변 확인하고 시험 시작을 누르면 시험이 시작되는데 시험 내용도 참 할말이 많다...

일단 범위에서 빠진 부분을 묻는 문제가 나왔다. 실라버스에는 적혀있지만 회색으로 표시되어있고 비고란에 "대상 외" 라고 적혀있었는데 왜 출제된지 모르겠다. 그리고 대상 외의 문제가 중복 문제로 2개 나왔다. 정말 모 아니면 도라는 심정으로 걍 찍었다

수학 문제도 출제되어서 문제를 풀 수 있는 코팅지(aka. 이면지) 를 줬는데 펜이 네임펜이다. 코팅지 하나 다쓰면 사람 불러서 교체해야되고 네임펜도 다 말라있었다;;

수학 문제의 비율이 적어서 망정이지 아니었으면 정말 화가 났을 것 같다.

결과 발표도 참 답답했는데, CBT 시험임에도 불구하고 결과 발표까지 3주나 걸린다.

상식적으로 CBT로 제출된 답안을 다시 출력해서 사람이 하나하나 확인하는게 아니고서 3주씩이나 걸리는게 말이 되나 싶었지만,, G검정 결과도 마찬가지로 3주정도 걸렸기 때문에 이건 주관사의 특징(?) 인 것 같다...

앞으로

E자격은 일본에서만 인정이 되는 자격이기 때문에, 국제 기준에 통용되는 자격을 취득해두고 싶다.

업무에서 AWS를 쓸 일이 있었는데 꽤 재미를 느껴서, 부서에서 메인으로 사용하는 Azure 관련 자격을 취득해 볼까 생각중이다!

합격증서

[Python] logging 모듈을 사용해 실행 로그 파일 남기기

에몽쓰 — Tue, 11 Mar 2025 17:54:06 +0900

안건에서 로그 내역을 남겨 에러 메세지를 관리할 필요가 있어, logging 모듈의 사용법이나 작성 방법 등을 정리해보려고 한다.

https://docs.python.org/ko/3.13/howto/logging.html

Logging HOWTO

Author, Vinay Sajip <vinay_sajip at red-dove dot com>,. This page contains tutorial information. For links to reference information and a logging cookbook, please see Other resources. Basic Logging...

docs.python.org

로그(Log)

로그(Log) 란 컴퓨터 시스템, 애플리케이션, 네트워크 등에서 발생하는 모든 일에 대한 기록을 말한다. 로그는 보통 시스템에서 문제가 발생했을 때나 사고가 생겼을 때, 어디에서 언제 문제가 발생했는지 파악할 수 있도록 하기 위해 작성된다. 뿐만 아니라, 로직이 의도한 대로 흐르고 있는지 등을 확인할 때에도 로그가 사용된다.

로깅(Logging)

로깅은 쉽게 말하면 로그를 작성하는 것이다. 단순히 오류 메세지나 값을 확인하기 위해 print()를 사용해 콘솔에서 내용을 확인해 볼 수도 있지만, 해당 내용이 warning인지, 에러인지, 확인을 위한 값을 출력한 것인지를 알기는 어렵기 때문에 logging 모듈을 사용해서 알기 쉽게 정리할 필요가 있다.

getLogger

getLogger는 로거에 접근할 때 사용하는 메소드이다. 여러 개의 로거를 만들고 싶은 경우에 주로 사용한다.

아래의 코드와 같이 각각의 로거를 정의할 수 있다.

import logging

logger1 = logging.getLogger('logger1')
logger2 = logging.getLogger('logger2')

Log Level

Log level은 로그의 심각한 정도를 나타낸다. 기본적으로 파이썬에서 제공하는 로그의 기준 레벨은 아래와 같다.

수준 (Level)	설명
DEBUG	(문제 해결에 필요한) 상세한 정보
INFO	예상대로 동작하는지에 대한 확인
WARNING	예상치 못한 일이 발생했거나 앞으로 발생할 가능성이 있는 문제에 대한 표시 (소프트웨어는 제대로 동작하지만 경고 표시)
ERROR	WARNING보다 심각한 문제로 인해 소프트웨어가 일부 기능을 동작하지 못하고 중지
CRITICAL	심각한 에러로 인해 프로그램이 작동하지 못하고 중지

기본값은 WARNING으로 설정되어 있어서 로그 수준을 명시하지 않으면 WARNING, ERROR, CRITICAL에 해당하는 내용들이 로그로 기재된다.

basicConfig

로그의 기본 설정을 하는 함수이다. 이 함수를 통해 로그를 기록할 파일을 설정하거나, 최소 레벨을 설정하거나, 출력 형식을 정의하는 등 기본 설정을 정의할 수 있다.

logging.basicConfig(
    filename="log_file.log" # 로그를 기록할 파일 경로
    encoding='utf-8' # 인코딩 설정
    level=logging.ERROR # 로그 레벨을 설정(여기에서는 ERROR)
    format="[ %(asctime)s | %(levelname)s ] %(message)s", # 로그에 날짜, 레벨, 메시지를 포함
    datefmt="%Y-%m-%d %H:%M:%S" # 날짜 형식을 'YYYY-MM-DD HH:MM:SS'로 설정
)

로그 파일 예제

이제 로그 파일을 작성하는 코드를 써보자. 예시 코드는 함수 형태로 작성해볼 것이다.

우선 로깅을 설정하는 함수인 setup_logger부터 작성해보자. 이번에는 [ 2025-03-11 00:00:00 | DEBUG] 에러 메세지 의 형태로 로그를 기록한다.

import logging

def setup_logger(log_file: str, log_level=logging.DEBUG):
    """
    로깅을 설정하는 함수
    
    Args:
    	log_file: 로그 파일 경로
        log_level: 로깅 레벨 (기본값 : DEBUG)
    """
    logging.basicConfig(
        filename=log_file,            # 로그를 기록할 파일 경로
        level=log_level,              # 로그 레벨
        format="[ %(asctime)s | %(levelname)s ] %(message)s",  # 로그 포맷
        datefmt="%Y-%m-%d %H:%M:%S"   # 날짜 표기 포맷
        filemode='a'                  # 로그 파일에 추가 모드로 기록 (기본값: 'a' 추가 모드)
    )

이제 로깅 함수를 설정했으니 실제로 사용해보자.

def main():
    # 'example.log'라는 파일에 DEBUG 레벨로 로그 기록
    setup_logger('example.log', logging.DEBUG)
    
    # 다양한 레벨의 로그 메시지 기록
    logging.debug("디버그 메시지")           # [ 2025-03-11 00:00:00 | DEBUG ] 디버그 메시지 
    logging.info("정보 메시지")              # [ 2025-03-11 00:00:00 | INFO ] 정보 메시지
    logging.warning("경고 메시지")           # [ 2025-03-11 00:00:00 | WARNING ] 경고 메시지
    logging.error("오류 메시지")             # [ 2025-03-11 00:00:00 | ERROR ] 오류 메시지
    logging.critical("치명적 오류 메시지")   # [ 2025-03-11 00:00:00 | CRITICAL ] 치명적 오류 메시지
    
    # 추가적인 로깅 예시
    logging.info("로그 작성이 완료되었습니다.")  # [ 2025-03-11 14:30:04 | INFO ] 로그 작성이 완료되었습니다.

if __name__ == "__main__":
    main()

이런 방식으로 오류를 지속적으로 기록하고 추적해야 하는 프로젝트에 로깅을 활용할 수 있다. 다음 안건이나 프로젝트에서도 다시 활용해 볼 수 있었으면 좋겠다.

[환경구축] 윈도우 환경에서 pyenv와 poetry로 파이썬 환경 구축하기

에몽쓰 — Sun, 5 Jan 2025 21:55:38 +0900

이번에 노트북을 새로 구입해서 파이썬 환경을 새로 구축했다. 회사에서 pyenv + poetry 조합으로 파이썬 환경을 사용하고 있어서 개인 PC에도 동일하게 설정했다.

pyenv

pyenv 란?

pyenv는 다양한 버전의 파이썬을 관리하는 도구이다. 회사에서는 안건마다 파이썬 버전을 다르게 사용하기 때문에 pyenv로 파이썬 버전을 관리하고 있다.

https://github.com/pyenv/pyenv

pyenv 환경 구축

pyenv 환경을 구축하기 위해서는 우선 로컬에 시스템 파이썬을 설치해야한다. 아래 공식 웹사이트에서 설치하면 된다.

https://www.python.org/downloads/

Download Python

The official home of the Python Programming Language

www.python.org

아래는 pyenv 도큐먼트인데 공식적으로는 윈도우를 지원하지 않는다.

https://github.com/pyenv/pyenv

GitHub - pyenv/pyenv: Simple Python version management

Simple Python version management. Contribute to pyenv/pyenv development by creating an account on GitHub.

github.com

그래서 wsl 등을 사용해 리눅스 상에 구축하기도 하는데, 윈도우 환경에서 사용하고 싶다면 아래 링크를 통해 설치하면 된다.

https://github.com/pyenv-win/pyenv-win

GitHub - pyenv-win/pyenv-win: pyenv for Windows. pyenv is a simple python version management tool. It lets you easily switch bet

pyenv for Windows. pyenv is a simple python version management tool. It lets you easily switch between multiple versions of Python. It's simple, unobtrusive, and follows the UNIX tradition of s...

github.com

윈도우에 pyenv를 설치하기 위해, PowerShell을 열고 아래 명령어를 입력한다.

pip install pyenv-win --target $HOME\.pyenv

환경변수 추가를 위해 아래 4개의 명령어를 입력한다.

[System.Environment]::SetEnvironmentVariable('PYENV',$env:USERPROFILE + "\.pyenv\pyenv-win\","User")

[System.Environment]::SetEnvironmentVariable('PYENV_ROOT',$env:USERPROFILE + "\.pyenv\pyenv-win\","User")

[System.Environment]::SetEnvironmentVariable('PYENV_HOME',$env:USERPROFILE + "\.pyenv\pyenv-win\","User")

[System.Environment]::SetEnvironmentVariable('path', $env:USERPROFILE + "\.pyenv\pyenv-win\bin;" + $env:USERPROFILE + "\.pyenv\pyenv-win\shims;" + [System.Environment]::GetEnvironmentVariable('path', "User"),"User")

위 명령을 모두 작성한 후, cmd에서 잘 설치되었는지 확인한다.

pyenv --version

나는 pyenv 설치 가능한 버전을 확인하고 3.11.0b4 버전으로 설치했다.

pyenv install --list  # 사용 가능한 파이썬 버전 확인
pyenv install 3.11.0b4

poetry

poetry는 파이썬 패키지의 의존성을 관리하는 툴이다.

poetry 환경 구축

https://python-poetry.org/docs/#installing-with-the-official-installer

Introduction | Documentation | Poetry - Python dependency management and packaging made easy

If you installed using the deprecated get-poetry.py script, you should remove the path it uses manually, e.g. rm -rf "${POETRY_HOME:-~/.poetry}" Also remove ~/.poetry/bin from your $PATH in your shell configuration, if it is present.

python-poetry.org

우선 poetry 설치 메뉴얼 페이지에서 명령어를 확인 후 PowerShell에 입력한다.

(Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | py -

설치가 완료되었다면 PC의 환경변수에 들어가서 사용자 환경 변수에 아래 경로를 추가한다. (시스템 속성 > 고급 > 환경 변수)

환경변수의 Path를 더블클릭해서 추가해주면 된다.

%appdata%\Python\Scripts

쉘을 재기동하고 아래 명령을 입력했을 때, 이하와 같이 poetry에서 사용할 수 있는 명령어들이 나오면 잘 설치된 것이다.

poetry

[ML] 하이퍼파라미터 최적화(Random Search, Grid Search)

에몽쓰 — Sun, 22 Dec 2024 15:41:28 +0900

이번에는 하이퍼파라미터(Hyperparameter) 를 최적화하는 방법에 대해 정리하려고 한다.

하이퍼파라미터(Hyperparameter) 란?

하이퍼파라미터(Hyperparameter) 란 머신러닝 모델을 모델링할 때, 사용자가 직접 세팅해야하는 값을 말한다. 하이퍼파라미터는 정해진 최적의 값이 없기에 경험에 기반하여 설정하는 경우가 많다. 그렇기 때문에 하이퍼파라미터를 조정하여 최적의 값을 경험적으로 찾아야 한다.

파라미터(Parameter) 와 하이퍼파라미터(Hyperparameter) 의 차이

머신러닝에서 파라미터(Parameter) 란 모델의 데이터로부터 학습하는 값이다. 즉, 모델 내부에서 결정되는 매개변수로서 이는 결국 데이터에 의해 결정된다.
예를 들어, 정규분포를 그리는 것을 생각해보자. 이때, 정규분포를 그리면 평균(μ) 과 표준편차(σ) 값이 구해지는데, 이 두 값이 파라미터이다.

반면, 하이퍼파라미터의 경우에는 사용자가 직접 값을 세팅하는 변수이다.
예를 들어, KNN으로 모델을 작성한다면 K 값, 랜덤포레스트로 모델을 작성한다면 n_estimators 등이 하이퍼파라미터에 해당한다.

	파라미터(Parameter)	하이퍼파라미터(Hyperparameter)
차이점	사용자 설정 필요 X	사용자가 직접 설정

하이퍼파라미터 최적화

하이퍼파라미터 최적화란 머신러닝에서 모델에 가장 적합한 하이퍼파라미터 세트를 찾는 것이다. 하이퍼파라미터를 자동으로 최적화하는 방법으로는 Random Search, Grid Serach, Bayesian Optimization 등 여러 종류가 있지만, 이번 글에서는 그중에서도 Random Search와 Grid Serach를 중심으로 이야기하려고 한다.

Bergstra, J., Bengio, Y.: Random search for hyper-parameter optimization. Journal of Machine Learning Research 13, 281–305 (2012)

그리드 서치(Grid Search)

그리드 서치(Grid Search) 는 하이퍼파라미터를 최적화하는 방법 중 하나로, 사용자가 지정한 하이퍼파라미터의 조합을 모두 시도하여 가장 좋은 성능을 보이는 조합을 찾는 방법이다.

https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html#sklearn.model_selection.GridSearchCV

GridSearchCV

Gallery examples: Release Highlights for scikit-learn 1.4 Release Highlights for scikit-learn 0.24 Feature agglomeration vs. univariate selection Shrinkage covariance estimation: LedoitWolf vs OAS ...

scikit-learn.org

하이퍼파라미터의 조합을 지정할 때 뭐부터 해야할지 모르겠다면 sklearn에서 사용되는 디폴트 값을 기준으로 정해보자.

장・단점

장점
- 최적화: 모델의 성능을 높이기 위한 최적의 하이퍼파라미터를 찾을 수 있다.
- 자동화: 비효율적이고 시간이 많이 걸리는 수동 방식과 달리 자동으로 하이퍼파라미터를 조정할 수 있다.
- 객관성: 모든 가능한 조합을 시도하므로, 선택의 주관성 없이 객관적인 결과를 얻을 수 있다.
단점
- 실행 시간: 모든 조합을 탐색하므로, 실행에 시간이 많이 든다.
- 계산 비용: 모든 조합을 탐색하므로, 계산 비용이 많이 든다.

예제

sklearn의 iris 데이터를 사용해서 그리드 서치를 사용해보자. 이번에는 정확한 모델을 만드는게 목적이 아니고 그리드 서치를 동작시켜 보는 것이 목적이기 때문에 따로 train과 test 데이터셋을 분할하진 않았다.

우선 필요한 라이브러리를 import 한다.

import pandas as pd

from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV

데이터를 불러온 후, estimator를 100, 200, ... , 900 으로 그리드 서치를 적용한다.

# 데이터 불러오기
iris = load_iris()
X, Y = iris.data, iris.target

# 하이퍼파라미터 설정하기
n_estimators=range(100, 1000, 100)
h_param={'n_estimators':n_estimators}

# 그리드 서치를 이용해 하이퍼파라미터들을 순차적으로 학습 및 평가하기
gd=GridSearchCV(estimator=RandomForestClassifier(random_state=42), param_grid=h_param, verbose=1)
gd.fit(X,Y)

# 그리드 서치 결과를 추출하여 데이터프레임으로 출력하기
scores_df = pd.DataFrame(gd.cv_results_)
scores_df[['params', 'mean_test_score', 'rank_test_score', 'split0_test_score', 'split1_test_score', 'split2_test_score']]

GridSearchCV의 verbose를 1로 설정했기 때문에 iteration 시 간단한 메세지가 출력된다. 그리고 출력된 데이터프레임은 아래와 같다.

참고로 실행하는데 27.6초 걸렸다.

아래의 코드를 통해 최적의 파라미터와 최고 정확도를 출력해 볼 수도 있다.

print('Best Parameter:', gd.best_params_) # Best Parameter: {'n_estimators': 100}
print('Max Accuracy: {0:.4f}'.format(gd.best_score_)) # Max Accuracy: 0.9667

랜덤 서치(Random Search)

랜덤 서치(Random Search) 는 하이퍼파라미터를 최적화하는 방법 중 하나로, 가능한 하이퍼파라미터 값들 중에서 무작위로 값을 선택하여 모델을 평가하는 방법이다.

https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html

RandomizedSearchCV

Gallery examples: Release Highlights for scikit-learn 0.24 Faces recognition example using eigenfaces and SVMs Comparison of kernel ridge and Gaussian process regression Comparing randomized search...

scikit-learn.org

장・단점

장점
- 속도: 무작위로 값을 선택하므로 모든 조합을 비교하는 그리드 서치에 비해 실행 속도가 훨씬 빠르다.
- 효율성: 랜덤으로 값을 선택하기 때문에 불필요한 탐색 횟수를 줄일 수 있어 효율적이다.
단점
- 효율성: 중요한 부분은 지나치거나 불필요하게 많이 반복하는 경우가 생길 수 있다.

랜덤 서치는 어떻게 보면 효율적이기도 하고 어떻게 보면 비효율적이기도 하다. 개인적으로는 무작위로 선택하는 방식의 한계점이지 않을까 라는 생각이 든다...

아래 논문에서는 랜덤 서치가 그리드 서치보다 더 성능이 좋은 것을 입증하고 있다. ~~(나중에 읽어볼 예정...)~~

https://www.jmlr.org/papers/volume13/bergstra12a/bergstra12a.pdf

예제

그리드 서치와 마찬가지로 iris 데이터를 사용해 연습할 것이다.

import pandas as pd

from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import RandomizedSearchCV # GridSearchCV 대신 RandomizedSearchCV 사용

iris = load_iris()
X, Y = iris.data, iris.target

n_estimators=range(100, 1000, 100)
h_param={'n_estimators':n_estimators}

rd=RandomizedSearchCV(estimator=RandomForestClassifier(random_state=42), param_distributions=h_param, verbose=1)
rd.fit(X,Y)

scores_df = pd.DataFrame(rd.cv_results_)
scores_df[['params', 'mean_test_score', 'rank_test_score', 'split0_test_score', 'split1_test_score', 'split2_test_score']]

데이터프레임 출력 결과는 아래와 같다. 이번에는 실행시간이 13초였는데, 그리드서치의 약 절반 정도 걸렸다. 아마 데이터 양이 더 많고 복잡해지면 더욱 눈에띄는 차이가 있지 않을까?

최적 파라미터와 최고 정확도를 확인해보자.

print('Best Parameter:', rd.best_params_) # Best Parameter: {'n_estimators': 100}
print('Max Accuracy: {0:.4f}'.format(rd.best_score_)) # Max Accuracy: 0.9667

마무리

오늘은 그리드 서치와 랜덤 서치의 차이점을 정리해보고 직접 코드도 작성해보았다. 이번 코드에서는 하이퍼파라미터를 하나만 지정하기도 했고 data split도 제대로 되지 않아 각각의 결괏값의 차이가 미미했지만, 다양한 하이퍼파라미터를 지정해 보면 결과가 달라질 것 같다!

다음에 머신러닝 모델을 작성할 때 꼭 활용해 볼 수 있었으면 좋겠다.

[Python] append와 리스트 컴프리헨션

에몽쓰 — Sun, 29 Sep 2024 18:11:50 +0900

이번 안건에서 리스트에 값을 추가할 때, for문을 활용해 append 하는 방식으로 구현했었는데 리스트 컴프리헨션을 이용하면 실행시간이 더욱 단축되므로 리스트 컴프리헨션을 사용해달라는 피드백을 받았다.

그래서 리스트 컴프리헨션이란 무엇이고 append와 어떤 차이가 있는지를 이번 글을 통해 정리해보려 한다.

리스트 컴프리헨션(List Comprehension)

: 반복문으로 리스트를 작성할 때, 반복문을 별도로 작성하는 대신 리스트 내부에 작성하여 반복하는 것

출처: https://wikidocs.net/22805

위의 사진이 리스트 컴프리헨션을 가장 잘 보여주는 사진이라고 생각한다.

만약 1부터 10까지의 정수를 순서대로 가지고 있는 리스트를 만들고자 한다면, 왼쪽의 사진처럼 numbers라는 빈 리스트를 만들고 for문을 사용하여 하나씩 append 하는 방식으로 구현할 수 있다.

이를 리스트 컴프리헨션 방식으로 변경한 것이 위 사진의 오른쪽에 해당한다.

출처: https://wikidocs.net/22805

빈 배열인 numbers 대신 리스트 컴프리헨션에 대괄호를 씌워주고, for문을 내부에 작성해준다.

출처: https://wikidocs.net/22805

for문에서의 n에 해당하는 부분이 리스트 컴프리헨션에서는 x에 해당한다.

문법

기본적인 문법은 위에서 사진으로도 설명했듯이 대괄호 안에 for문을 써주는 방식이다.

[num for num in range(10)]  # [0, 1, 2, ... , 9]

함수를 작성해 활용하거나 수식이나 조건을 추가하는 것도 가능하다.

# 수식 적용
[num*10 for num in range(10)]  # [0, 10, 20, ... , 90]

# 함수 적용
def test(x):
	x = str(x) + 'ab'
    return x
[test(num) for num in range(10)]  # ['0ab', '1ab', '2ab', ... , '9ab']

# 조건문 활용 (if문만 사용)
[num for num in range(10) if num%2==0]  # [0, 2, 4, ... , 8]
[num for num in range(10) if num%2==0 if num%4==0]  # [0, 4, 8] : 두개의 if문을 사용하는 경우에는 and 조건으로 묶여 실행됨

# 조건문 활용 (if-else문 사용)
[num if num%2==0 else 'odd' for num in range(10)]  # [0, 'odd', 2, 'odd', 4, 'odd', 6, 'odd', 8, 'odd']

리스트 컴프리헨션을 사용하는 이유

for문과 append를 사용해서도 충분히 원하는 코드를 구현할 수 있는데 왜 리스트 컴프리헨션을 사용하는걸까?

리스트 컴프리헨션을 사용하는 이유는 아래와 같다.

1. 코드의 간결성

리스트 컴프리헨션을 사용하면 일반적으로 for문과 append로 구현할 때보다 코드 수가 줄어든다. 이를 통해, 코드를 간략화하고 가독성을 높일 수 있기에 리스트 컴프리헨션을 사용한다.

2. 코드의 실행 속도 단축

리스트 컴프리헨션을 사용하면 일반적으로 for문과 append의 조합으로 사용할 때보다 코드의 실행 속도가 단축된다. 리스트 컴프리헨션에서는 append 메소드를 명시적으로 call 하지 않기 때문에 이 부분에 대한 시간이 단축되기 때문이다. 이에 관한 자세한 설명은 아래 글을 읽어보면 좋을듯 하다.

https://whatisand.github.io/why-fast-list-comprehension-python/

파이썬에서 List Comprehension이 더 빠른 이유

들어가며 보통 언어를 공부하면 쉽게 사용할 수 있도록 만들어진 문법일수록 실행시간에서 손해보는 경우가 많았습니다. 리스트 컴프리헨션도 일종의 언어 수준의 편의기능으로 생각했기에 당

whatisand.github.io

[ML] numpy 모듈으로 푸리에 변환 구현

에몽쓰 — Fri, 27 Sep 2024 16:39:30 +0900

지난번 작성한 푸리에 변환에 관해 이번에는 코드를 작성해보며 이해하려 한다.

안봤으면 보고오시소・・・

https://geniemon0104.tistory.com/124

[ML] 푸리에 변환(Fourier Transform) 이란?

이번 안건에서 푸리에 변환과 관련한 내용을 접하게 되어, 다음에 또 푸리에 변환을 활용하게 될 때 참고로 사용하기 위해 정리해두고자 한다. 수학적인 증명방법이나 풀이보다는 왜 푸리에 변

geniemon0104.tistory.com

numpy 공식 문서

아래는 numpy 공식 문서이다. 학부때는 그냥 잘 모르겠으면 누가 적어놓은거 복붙하거나 따라 작성할 때도 많았던 것 같은데, 확실히 직장에 오니까 공식 문서의 중요성을 실감중이다... 일본이라 더 공식 문서를 읽는걸 강조하는걸지도...

https://numpy.org/doc/stable/reference/routines.fft.html#

Discrete Fourier Transform (numpy.fft) — NumPy v2.1 Manual

Discrete Fourier Transform (numpy.fft) The SciPy module scipy.fft is a more comprehensive superset of numpy.fft, which includes only a basic set of routines. Standard FFTs Real FFTs Hermitian FFTs Helper routines Background information Fourier analysis is

numpy.org

코드 작성

대충 코드 작성 흐름에 맞춰 순서를 적어뒀으니 따라서 실행하면 된다! 참고로 나는 주피터노트북 환경으로 셀을 하나하나 출력해보며 했지만 그냥 파이썬 스크립트 파일로 작성해도 되긴한다.

예제 코드는 아래 블로그를 참고했다. 정말 어디 교수님이신지,, 설명이 너무 좋아서 꽤나 감탄함...

https://m.blog.naver.com/choi_s_h/222128863344

[P059] 파이썬의 고속푸리에 변환-3, FFT (Fast Fourier Transform of Python, FFT-3)

파이썬의 numpy 팩키지에서 제공하는 fft.fft( ) 함수와 fft.fftfreq( )의 두 함수를 사용하...

blog.naver.com

1. 필요한 모듈을 불러오기

이번에는 푸리에 변환에 사용할 numpy 모듈이랑 그래프 작성용 pyplot만 불러와도 된다.

import numpy as np
import matplotlib.pyplot as plt

2. 신호 생성하기

이번에 작성할 주파수 데이터는 샘플링 시간이 0.001초이고, 각 신호 주파수가 10, 20, 30, 40Hz, 진폭은 2.0, 1.0, 0.5, 1.5 로 설정했다. 왜 아래와 같은 코드가 되는지는 위 링크에 들어가보면 정말 자세하게 설명해주신다..ㅎㅎ

np.linspace : 수평축의 너비를 만들거나 1차원 배열을 만드는 등의 작업에 사용되는 함수

time = np.linspace(0, 1, 1000) # 샘플링 시간 간격을 0.001초로 설정

s1 = 2*np.sin(20 * np.pi * time) # 10Hz、2.0의 진폭
s2 = np.sin(40 * np.pi * time) # 20Hz、1.0의 진폭
s3 = 0.5*np.sin(60 * np.pi * time) # 30Hz、0.5의 진폭
s4 = 1.5*np.sin(80 * np.pi * time) # 40Hz、1.5의 진폭

s = s1 + s2 + s3 + s4 # 신호 합성

3. 푸리에 변환과 그래프 작성

https://blog.naver.com/choi_s_h/222128246691

[P058] 파이썬의 고속푸리에 변환-2, FFT (Fast Fourier Transform of Python, FFT-2)

앞의 포스트에서 고속푸리에 변환(FFT)을 위해 파이썬의 fft.fft( ) 함수를 이용하여 계산...

blog.naver.com

이 파트는 위 글을 참고해서 작성했다,, ~~정말 아름다운 글이야,,,~~

numpy 모듈을 사용해 푸리에 변환을 한 값은 복소수가 된다. np.fft.fft()의 결과값으로 복소수 값을 구할 수 있는데, 이 결과값은 주파수 영역에서 어떤 주파수의 상대적인 크기가 큰지를 알려주는 정보이다.

즉, np.fft.fft() 로 얻은 복소수 값의 크기를 알아야 된다는 말인데, numpy 모듈의 abs를 사용해 복소수의 크기를 계산한다.

strength = np.fft.fft(s)
strength = np.abs(strength) # 복소수의 크기 계산
freq = np.fft.fftfreq(1000, 0.001) # 그래프 작성에서 필요한 주파수 축 계산

plt.plot(freq, strength)
plt.show()

위 코드블럭을 실행하면 아래의 그래프를 얻을 수 있다. 왜 대칭인 모양의 그래프가 나왔는지 궁금할텐데, 그냥 우리가 사용하는 fft 모듈의 특성상 좌우대칭으로 출력해준다...ㅎㅎ

좌우 대칭이어서 양수부분만 봐도 상관 없으니 양수부분에서 의미있는 부분인 0~50까지를 잘라서 확인해보자.

x축은 주파수, y축은 진폭을 의미

plt.xlim(0, 50, 10) # x축을 0~50까지 10 간격으로 출력
plt.ylim(0, 1200, 200) # y축을 0~1200까지 200 간격으로 출력
plt.grid()
plt.plot(freq, strength)
plt.show()

위의 코드블럭을 실행하면 아래와 같은 그래프를 얻을 수 있다. 참고로, 지금은 푸리에 변환 그래프를 꺾은선그래프로 표현하고 있지만 바 그래프로도 표현할 수 있다.

그래프를 보면 초기에 설정한대로 각 신호 주파수(10, 20, 30, 40Hz) 와 진폭(2.0, 1.0, 0.5, 1.5) 이 잘 나타나는 것을 확인할 수 있다. 즉, 푸리에 변환이 잘 계산되었다는 것이다

현실에서 분석하게 될 주파수 데이터는 이것보다 훨씬 복잡하고 다양한 성분이 섞여있겠지만 이러한 단순한 푸리에 변환 예제를 풀어보면서 푸리에 변환의 개념에 대해 이해할 수 있었다.

[ML] 푸리에 변환(Fourier Transform) 이란?

에몽쓰 — Tue, 17 Sep 2024 17:25:53 +0900

이번 안건에서 푸리에 변환과 관련한 내용을 접하게 되어, 다음에 또 푸리에 변환을 활용하게 될 때 참고로 사용하기 위해 정리해두고자 한다. 수학적인 증명방법이나 풀이보다는 왜 푸리에 변환이라는 것을 사용하고, 파이썬으로는 어떻게 활용 가능한가를 중점적으로 글을 작성할 예정이다.

푸리에 변환(Fourier Transform)

: 푸리에 변환이란 데이터 해석 기법 중 하나로, 일반적인 시간 범위의 데이터를 주파수 범위의 데이터로 변환하는 알고리즘이다.

(좌) Time Domain / (우) Frequency Domain

목적

푸리에 변환의 목적은 시계열 데이터를 주파수 데이터로 변경하는 것이다. 이렇게 얘기해도 그래서 왜 시계열에서 주파수로 바꾸는건데? 라고 생각할 것이다. ~~(나도 그랬으니까...)~~

푸리에 변환의 가장 큰 목적은 데이터 압축에 있다고 생각한다. 시계열데이터를 생각해보면 시간이 흐름에 따라 점점 데이터가 쌓여갈 것이다. 데이터 양이 늘어나면 처리속도도 비례해서 느려지기 때문에, 이러한 푸리에 변환을 사용해 데이터를 압축하는 것이다.

데이터를 압축하게 되면 해당 데이터에 대한 특징을 이해할 수 있고, 해당 데이터가 어떻게 구성되어 있는지를 이해할 수 있을 것이다.

아래와 같이 공부 계획에 대한 데이터가 있다고 가정해보자. 이 데이터는 7일간의 공부 계획에 관한 데이터이고, 국어, 수학, 영어, 과학 4가지의 과목을 공부해야 한다.

데이터를 잘 보면 패턴을 가진 것을 알 수 있다. 수학은 매일 공부하고 영어는 격일로, 국어는 3일에 한번, 과학은 4일에 1번 공부한다. 이에 따라 새로 데이터를 정리해보면 아래와 같다.

처음 작성한 데이터와 새로 작성한 데이터가 의미하는 바는 같다. 결국 1일차에는 전부 공부하고, 2일차에는 수학만 공부하고... 와 같은 의미의 데이터이다. 그러면 왜 굳이 위의 표처럼 데이터를 변환했을까?

지금은 7일차까지의 공부계획밖에 없지만 만약 100일간의 공부계획, 1년간의 공부계획, 100년간의 공부계획을 세운다고 생각해보자. 처음 작성한 방식으로 데이터를 작성해나간다면 1년간의 공부계획만 하더라도 꽤나 많은 양의 데이터가 되버릴 것이다.

하지만, 새로 작성한 데이터의 경우에는 100일이든, 1년이든, 100년이든, 1000년이든 상관없이 4개의 데이터만으로 표현이 가능하다. (= 공부 주기에 대한 데이터를 새로 작성할 필요가 없다.) 이를 통해, 정보량이 상당히 줄어든 것을 알 수 있다.

주기는 주파수의 역수이므로, 결국 데이터를 주파수에 대해 작성함으로써 상당한 양의 정보를 압축하여 표시할 수 있게 된 것이다.

출처: https://renelemon.tistory.com/75

푸리에 급수(Fourier Series)

: 복잡한 주기함수나 주기 신호를 단순한 사인파(sin) 나 코사인파(cos) 의 합으로 나타내는 것

단순한 파동의 합으로 나타내기 때문에 함수 내부의 특징을 추출할 수 있음
복잡한 주기함수를 단순한 삼각함수들의 합으로 나타낼 수 있음
삼각함수는 지수함수의 한 종류이므로 지수함수의 합으로도 나타낼 수 있음

https://news.samsungdisplay.com/19688

푸리에 변환(Fourier Transform) 과 푸리에 급수(Fourier Series) 의 차이

푸리에 급수(Fourier Series) : 주기함수(주기신호) 에서만 활용 가능. 비주기함수에서는 활용할 수 없다.
푸리에 변환 (Fourier Transform) : 비주기함수(비주기신호) 를 주기가 무한대인 주기함수라고 가정해 푸리에 급수를 활용할 수 있도록 하는 방법

이산 푸리에 변환(DFT, Discrete Fourier Transform)

: 연속적인 시간 범위로 푸리에 변환을 하는 것과는 다르게, N개의 유한한(이산적인) 푸리에 변환을 수행하는 것. 시간 범위에서 특정 너비만큼의 값들을 샘플링해서 푸리에 변환을 수행함.

https://infograph.tistory.com/323

샘플링(Sampling)

: 연속신호에서 이산신호로 변환하는 프로세스

처리량과 시간복잡도

O(N²) 의 시간복잡도를 가지기 때문에, 처리에 꽤나 시간이 걸린다. 지금은 컴퓨터 성능이 많이 좋아져서 이산 푸리에 변환으로 푸리에 변환을 해도 시간이 그렇게까지는 안걸린다고 한다,,

시간복잡도 그래프

고속 푸리에 변환(FFT, Fast Fourier Transform)

: 이산 푸리에 변환의 한 종류로서, 시간복잡도 문제를 해결하기 위해 고안해낸 방법이다. 샘플링 중, 필요한 신호만을 뽑아 연산하는 방법이다.

왼쪽과 같은 그래프를 오른쪽처럼 변환하는 것

처리량과 시간복잡도

O(NlogN) 의 시간복잡도를 가지고 있어, 이산 푸리에 변환과 비교해보면 상당히 속도가 빨라졌다는 것을 알 수 있다.

https://brunch.co.kr/@eungseok/17

이번에는 푸리에 변환의 정의, 목적, 종류 등에 관해 간단하게 적어보았다. 다음 글에서는 간단한 파이썬 예제로 어떻게 푸리에 변환을 구하는지 작성해보려 한다.

소프트웨어 아키텍처 ; 어니언 아키텍처

에몽쓰 — Tue, 23 Jul 2024 16:23:23 +0900

사내에서 진행하는 테스트 코드 작성 그랑프리에 참여했다. 결과적으로 시간 내에 구현하지 못해 입상하진 못했지만 팀 멤버들과 코드 회고를 하며 이번 그랑프리에 사용된 백엔드 아키텍처가 어니언 아키텍처(Onion Architecture) 라는 것을 알 게 되었다.

그냥 구현과 재사용성을 위해 코드를 나누어두었다고만 생각했는데 이러한 소프트웨어 아키텍처를 따라 작성되었다니,,,

잊기 전에 내 블로그에 정리해보려고 한다.

소프트웨어 아키텍처

우선, 소프트웨어 아키텍처란 무엇일까?

위키피디아에 따르면 소프트웨어 아키텍처란 소프트웨어의 구성요소들 사이에서 유기적 관계를 표현하고 소프트웨어의 설계와 업그레이드를 통제하는 지침과 원칙 이다.

기본 원리

모듈화 : 소프트웨어의 성능을 향상하거나 시스템의 수정 및 재사용, 유지관리 등이 용이하도록 시스템의 기능들을 모듈 단위로 나누는 것
추상화 : 문제의 전체적이고 포괄적인 개념을 설계한 후, 차례로 세분화해 구체화 하는 것
단계적 분해 : 문제를 상위의 중요 개념으로부터 하위의 개념으로 구체화시키는 분할 기법
정보 은닉 : 한 모듈 내부에 포함된 절차와 자료들의 정보가 감추어져 다른 모듈이 접근하거나 변경하지 못하도록 하는 기법

중요성

그렇다면 소프트웨어 아키텍처는 개발에 있어서 왜 중요한 것일까? 어찌되든 코드를 작성해 하나의 서비스나 시스템이 완성되면 끝 아닌가?

소프트웨어가 커지고 성장하게 되면 아래 두 가지 문제가 발생할 수 있다.

shared understanding : 지식의 공유. 즉, 프로젝트 팀원 간 프로젝트에 대한 이해도를 잘 공유하는 것이 어려움.
hard to change : 한번 결정된 것은 변경하기 어려움.

그렇기 때문에, 우선적으로 아키텍처 디자인을 결정한다면 지식의 공유가 용이해지고 기존의 소스코드를 플랫폼화 하는 등의 과정을 통해 바꾸기 어려운 것들을 바꾸기 쉽게 할 수 있다.

종류

일반적으로 많이 사용되는 10가지 소프트웨어 아키텍처 패턴은 아래와 같다.

Layered-pattern
Client-server pattern
Master-slave pattern
Pipe-filter pattern
Broker pattern
Peer-to-peer pattern
Event-bus pattern
Model-view-controller pattern
Blackboard pattern
Interpreter pattern

~~정보처리기사 시험에서도 한번 본것같은 패턴들이,,,~~

어니언 아키텍처

그렇다면 어니언 아키텍처란 무엇일까? 어니언 아키텍처(Onion Architecture) 란 애플리케이션의 기능과 목적에 따라 애플리케이션의 코드를 계층화하는 접근 방식을 의미한다.

Onion, 즉 양파는 중심을 여러개의 껍질이 감싸고 있듯이 어니언 아키텍처도 중앙 코어를 여러 겹의 레이어로 겹치고 있는 형태를 띈다. 가장 바깥쪽 레이어를 통과해야만 코어(중심) 에 접근할 수 있으며 외부에서 내부로 결합 흐름을 가지는 아키텍처이다.

https://dev.to/barrymcauley/onion-architecture-3fgl

계층 구성

도메인 모델, 도메인 서비스, 애플리케이션 서비스, 인프라 총 4개의 레이어로 구성된다.

도메인 모델(Domain Model Layer) : 데이터 구조에 중점을 둠. 이 시스템에서 어떠한 데이터가 필요한지 등을 간략하게 정의.
도메인 서비스(Domain Service Layer) : 이 시스템에서 반드시 구현해야되는 기능을 추상화 함. 이 계층에서 구현할 필요는 없으며, 애플리케이션 서비스 계층이나 인프라 계층에서 구현해야 하는 기능들을 추상화 함.
애플리케이션 서비스(Application Service Layer) : 이 시스템(애플리케이션) 의 비즈니스 로직을 실행하는 애플리케이션 로직을 구성함. 예를 들면, try-catch 문을 사용해 에러 처리를 한다던지 등의 구현이 이 계층에서 이루어짐.
인프라(Infrastructure Layer) : 실질적인 기능을 작성하는 곳이라고도 볼 수 있음. 데이터베이스, API, 외부 서비스 등 외부 엔티티와 통신하는 부분이 이 계층에서 작성됨.

장점

확장성 : 모듈식 레이아웃을 사용하기에 애플리케이션 확장에 용이함. 기존에는 특정 코드를 수정하면 그 코드에 영항을 받는 다른 부분까지 수정이 필요했지만 어니언 아키텍처는 독립적 구성요소를 가지므로 이러한 문제가 발생할 가능성이 적음.
테스트 가능성 : 각 계층을 독립적으로 분리하므로 각 구성 요소의 기능을 검증하는 단위 테스트가 가능해짐. 또한, 더 간단히 오류를 찾고 수정할 수 있음.
유지 보수성 : 각 계층이 고유한 기능을 갖고, 인터페이스를 통해 다른 계층과 통신하기 때문에 다른 계층에 영향을 주지 않고 유지 보수가 가능함.
유연성 : 계층이 분리되어 있어, 다른 시스템 구성요소를 변경하지 않고도 구성 요소를 교체하거나 업데이트 할 수 있음.

[Google Colaboratory] 구글 코랩으로 시크릿(Secrets) 관리하기

에몽쓰 — Fri, 19 Jul 2024 10:25:29 +0900

아래 트윗에서 알 수 있듯이 작년 Colab에 시크릿 관리 기능이 추가되어 Secrets 를 보다 간단하게 코랩 안에서 사용할 수 있게 되었다.

You can now safely store your private keys, such as your @huggingface or @kaggle API tokens, in Colab! Values stored in Secrets are private, visible only to you and the notebooks you select. pic.twitter.com/dz9noetUAL
— Colaboratory (@GoogleColab) November 1, 2023

사용법

우선 Colab을 열고, 왼쪽 사이드바의 키 마크를 클릭한 후 [새로운 시크릿을 추가] 를 통해 시크릿 정보를 입력한다. 그 후에 가장 왼쪽에 있는 [노트북에서 액세스] 를 허용해주면 시크릿 사용이 노트북에서 가능하게 된다.

실제로 접근은 아래의 코드를 이용해 접근할 수 있다.

import openai
from google.colab import userdata
openai.api_key = userdata.get('OPENAI_API_KEY')

조금 찾아보니 Secrets는 Google 계정에 연결되어 동작하는 것 같아서 Notebook마다 Key를 관리하고 싶은 경우에는 관리가 힘들지도 모르겠다.