깁스 샘플링은 샘플링 알고리즘과 통계 물리학 사이의 비유를 참조하여 물리학자 조시아 윌라드 깁스의 이름을 따서 명명되었습니다. 이 알고리즘은 1984년 스튜어트와 도널드 게먼 형제가 깁스가 사망한 지 8년 이후에 설명되었다. [2] JAGS (그냥 다른 깁스 샘플러) 마르코프 체인 몬테 카를로를 사용하여 베이지안 계층 모델의 분석을위한 GPL 프로그램입니다. 붕괴 된 깁스 샘플링에서 우리는 교대로 샘플링 한 다음 . 이 경우 정확한 분포에서 샘플을 그립니다. 예를 들어 샘플링할 대상 확률 분포가 .라고 가정합니다. 깁스 샘플링은 알고리즘의 한 지옥입니다. 그것은 너무 간단하지만, 직관을 얻기 위해 나에게 오랜 시간이 걸렸습니다. 베이지안 추론 풍경의 통합 알고리즘입니다. 깁스 샘플링의 인기있는 구현 중 하나는 데이비드 MimnoLDA에 대한 추론을 할 깁스 샘플러를 사용하는 말렛에있을 것입니다. 나는 변형 베이즈 방법을 공부하지 않은, 하지만 내 관찰에 따라, 깁스 샘플링을 사용하여 LDA 결과는 변형 방법을 사용하는 것보다 훨씬 낫다. 나는 LDA의 말렛 대 겐심 구현의 경우이를 관찰한다. 깁스 샘플링은 기본 화신에서 메트로폴리스-헤이스팅스 알고리즘의 특별한 경우입니다.

Gibbs 샘플링의 요점은 다변량 분포를 감안할 때 조인트 분포를 통합하여 소외시키는 것보다 조건부 분포에서 샘플링하는 것이 더 간단하다는 것입니다. 공동 분포 p에서 k {displaystyle left.kright.} X =(x 1 , … … n) {디스플레이 스타일mathbf {X} =(x_{1}, 도트, x_{n})}}를 공동 분포 p에서 구를 얻으려고 한다고 가정합니다. i {displaystyle i} th 샘플을 X (i) = (x 1 )로 표시합니다. 우리는 다음과 같이 진행 : 튜링은 여러 샘플러 유형을 깁스 샘플링의 구성 요소로 실행할 수있는 줄리아 패키지입니다. 잠재 Dirichlet 할당 및 자연어 처리에 사용되는 다양한 다른 모델과 같은 범주형 변수가 있는 계층적 Bayesian 모델에서는 일반적으로 이전과 같이 사용되는 Dirichlet 분포를 축소하는 것이 일반적입니다. 범주형 변수에 대한 분포입니다. 이 붕괴의 결과는 이전에 주어진 Dirichlet에 종속된 모든 범주형 변수 들 간의 종속성을 도입하고, 붕괴 후 이러한 변수의 공동 분포는 Dirichlet 다항 분포입니다. 이 분포에서 지정된 범주형 변수의 조건부 분포는 다른 분포에 따라 조건이 지정되어 축소가 수행되지 않은 경우보다 Gibbs 샘플링을 훨씬 쉽게 만드는 매우 간단한 형태를 가정합니다.

규칙은 다음과 같습니다: 이와 같은 문제는 한 번에 전체 100비트 벡터를 샘플링하여 해결할 수 있습니다. (100비트 벡터가 더 큰 변수 집합의 일부라고 가정합니다. 이 벡터가 샘플링되는 유일한 것이라면 블록 샘플링은 Gibbs 샘플링을 전혀 수행하지 않는 것과 동일하며, 이는 가설에 의해 어려울 것입니다.) 배합이 잘 알려진 분포를 생성하는 이러한 경우, 효율적인 샘플링 절차가 종종 존재하며, 이를 사용하는 것이 축소되지 않고 이전 노드와 자식 노드를 모두 샘플링하는 것보다 더 효율적입니다. 별도로.

 

Comments are closed.

Set your Twitter account name in your settings to use the TwitterBar Section.