Naive Bayes

Naive Bayes

Bayes’ theorem(Bayes’ rule)

나이브 베이즈 알고리즘 확률 모델 문서로 정리했다.

  • P(A|B) posterior 사후 확률
  • P(B|A) likelihood 가능도, 우도, 조건부 확률
  • P(B) evidence 증거
  • P(A) prior 사전 확률

라플라스는 해가 n번 떠오른 후 다시 떠오르는 확률을 (n+1)/(n+2)로 추정하는 연속성의 규칙을 이끌어냈다.
p.243 『마스터 알고리즘』 2015, 2016

결합 확률joint probabilities

결합 사건 A와 B의 확률은 위와 같이 곱하기 법칙product rule이라고도 부른다.

조건부 확률conditional probability

P(B) > 0 이어야 한다.


사후 확률 오즈 posterior odds승산 R = P(수두|붉은점) / P(천연두|붉은점) = 0.988/0.011 = 90 일반적으로 3보다 크거나 1/3보다 작을 때 두 가설이 의미 있는 차이가 있다고 본다. (확률적 프로그래밍 기초 원리, 2015)

“naive” means

In simple terms, a naive Bayes classifier assumes that the presence (or absence) of a particular feature of a class is unrelated to the presence (or absence) of any other feature, given the class variable. For example, a fruit may be considered to be an apple if it is red, round, and about 4” in diameter. Even if these features depend on each other or upon the existence of the other features, a naive Bayes classifier considers all of these properties to independently contribute to the probability that this fruit is an apple.


나이브 베이즈가 성공적인 이유

논문(Domingos, Pazzani, 1997)에서 나이브 베이즈가 성공적인 이유는 사후 확률의 우수함이 아니라 argmax_y P(Y|X)의 우수함 때문이라 말한다. 심지어 Y를 최대화하기 위한 목적에서 베이즈 룰의 사용을 피할 수 있는데, 이는 교정되지 않은 우도를 교정되지 않은 사후 확률로만 변형하기 때문이다. (머신 러닝, 피처 플래치, 2012) 이 논문의 1저자인 Domingos는 『마스터 알고리즘』 을 쓴 페드로 도밍고스 교수다.

2017 Book Reports · 2018 Book Reports · 2019 Book Reports · Activation, Cost Functions · Apache Thrift · C++ · Docker · Go · HTML, CSS, JavaScript · Hadoop, Spark · Information Retrieval · Java · Keras · LifeHacks · MySQL · NLP 실험 · NLP · Naive Bayes · OAuth 2.0 · OOP · PHP · PyTorch · Python Data Structure Cheatsheet · Python · RSA · Sent2Vec · Software Deployment · Support Vector Machine · Word2Vec · XGBoost · Scikit Learn · 개발 생산성 · 거리 · 기하와 벡터 · 데이터 마이닝 · 데이터 사이언스 · 딥러닝 응용 · 딥러닝 · 머신러닝 분류기 · 머신러닝 · 비지니스 · 사회심리학 · 수학 · 알고리즘 · 영어 · 이산수학 · 인공지능 · 자료구조 · 진화생물학 · 통계학 응용 · 통계학 ·
is a collection of Papers I have written.
© 2000 - Sang-Kil Park Except where otherwise noted, content on this site is licensed under a CC BY-NC 4.0.
This site design was brought from Distill.