옌센 부등식을 기반으로 로그 가능도(log likelihood)의 하한값을 계산하는 것
그러나 이 분포는 잠재 변수인 와 의 결합 형태를 더하기 때문에 일반적으로 계산하기 어렵다. 따라서 사후 확률을 구하기 위한 다양한 근사 알고리즘이 사용된다. 처음 제시된 LDA에서는 볼록 기반 변분 알고리즘(convexity-based variational algorithm)을 사용하였으며, 다른 접근 방법으로는 기브스 표집과 기대 전파법(expectation propagation)을 사용할 수도 있다. 볼록 기반 변분 알고리즘의 기본 아이디어는 옌센 부등식을 기반으로 로그 가능도(log likelihood)의 하한값을 계산하는 것이다. 로그 가능도의 하한값은 변분 매개 변수(varional paremeter)로 나타내지며, 이 매개변수는 최적화 과정을 통해 가장 좋은 하한값을 가지도록 정해진다. 이 알고리즘을 LDA에 적용하기 위해서는 LDA의 그래프 도식을 간단화시켜야 한다. 에서 와 의 결합을 제거해야 하므로, 기존의 그래프 도식에서 , , 사이의 간선을 제거한 뒤 변분 매개변수 와 을 추가한다.
볼록 기반 변분 알고리즘이 뭐야
잠재 디리클레 할당