ML Note

  • 홈
  • 태그
  • 방명록

쿨백 라이블러 발산 1

상대 엔트로피, 쿨백 라이블러 발산(Kullback-Leibler divergence)

정보이론 정보 이론 정보 이론은 확률론 결정 이론 등과 함께 머신러닝 & 패턴인식에서 중요한 개념이다. 이번 글에서는 정보이론에 대해 소개한다. 이산확률 변수 x를 고려해보자. 이 변수가 특정 값을 가지고 있는 mldiary.tistory.com 위의 글에서 확률에서의 엔트로피의 개념에 대해 알아보았다. 이제 이 개념을 어떻게 패턴 인식에 활용할 수 있을 지 알아보자. 쿨백 라이블러 발산 알려지지 않은 분포 p(x)를 고려해보자. 이를 피팅하기 위해 모델을 만들었으며, (x)그 결과로 분포 q(x)를 구할 수 있었다고 하자. 만약 q(x)를 이용하여 x의 값을 수신자에게 전달하기 위해 코드를 만든다고 하면 p(x)가 아닌 q(x)를 사용했으므로 추가 정보가 필요하다. 이때 추가로 필요한 정보의 양은 다음..

Mathematics/Statistics 2023.01.29
이전
1
다음
더보기
프로필사진

ML Note

  • 분류 전체보기
    • Mathematics
      • Statistics
      • probability
    • Machine Learning
      • Evaluation matric
      • Preprocessing
      • Classification
      • Regression
      • Graph model
      • Recommendation system
      • Learning Method
    • Voice, Acoustic AI
      • Speaker Verification
      • Vocoder
      • Speaker Diarization
      • TTS, STT
      • Voice Conversion
      • Music AI
    • Computer Vision
      • Generative AI
      • Semantic Segmentation
    • Natural Language Processing
      • Keyword Extraction
    • Project
      • 산학협력프로젝트_WELT
      • 졸업프로젝트_Deep Video Inpaintin..
      • 드림학기제_Machine Learning 암 발병..

Tag

diffusion 모델, self supervised learning, information extraction, gliner, Xception, NER, music source separation, scirex, 음원 분리, Ensemble, scierc, 사후 확률, kullback leibler, DeepLab V3+, named entity recognition, deberta, 앙상블, DeepLab V3+ Xception, speaker verification, 악기 분리,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바