엔트로피는 평균 정보량을 의미하나요?
정보 엔트로피
그러므로 엔트로피는 ‘어떤 상태에서의 불확실성’, 또는 이와 동등한 의미로 ‘평균 정보량’을 의미한다. 이 용어를 직관적으로 이해하기 위해 정치에서의 선거를 생각해보자. 보통, 그러한 선거는 우리가 선거 결과를 모르기 때문에 실시한다. 즉, 선거 결과는 상대적으로 ‘불확실’하다. 그리고 실제로 선거를 시행하고 선거 결과를 얻는 것은 우리에게 ‘새로운 정보’를 제공한다. 이 말은 선거 결과에 대한 엔트로피가 크다는 말과 같다. 이제, 첫 번째 선거가 실시되고 난 후, 두 번재 선거가 실시되었다고 생각해보자. 첫 번째 선겨 결과를 이미 알기 때문에, 우리는 두 번째 선거 결과를 예측할 수 있고 두 번째 선거 결과는 우리에게 더 이상 우리에게 아무런 정보를 제공하지 않는다. 이 경우, 우리는 두 번째 선거 결과의 엔트로피가 첫 번째 것보다 작다
정보 이론
정보 엔트로피는 열역학에서의 엔트로피와 크게 다르지 않은 개념으로, 정보엔트로피(정보량)가 높을수록 불확실성은 커진다. 반대로 계에서의 정보량은 불확실성의 정도이므로 불확실성이 적은 계의 정보 엔트로피(정보량)는 줄어들 수 있다. 영어알파벳의 경우 모든 알파벳이 동일한 확률도 발생한다면 정보엔트로피(정보량)은 4.754887비트이지만 알파벳의 출현 빈도값을 계산하면 4.08비트까지 줄어든다. 이것 외에도 어떤 철자가 오면 그 뒤에 특정철자가 올 확률이 아주 높은 등 여러가지 이유가 있기 때문에 정보 엔트로피(정보량)는 더욱 줄어들 수 있게 된다. 한 가지 예를 들면 q가 오면 그뒤에 a,u가 올 확률이 거의 100%이다. 루트비히 볼츠만
플랑크의 말을 인용하면 "엔트로피와 확률이 로그로 연결된다는 것을 처음 진술된 것은 볼츠만의 기체분자이론에서였다."
그 유명한 엔트로피 S에 관한 식은 전송 (컴퓨팅)
이 단위는 시스템의 내부 클럭 속도와는 다르게 시스템 또는 부품의 외부로부터 인지되는 전송수를 말하거나 '실질적인' 전송의 수를 말한다.
DDR SDRAM을 예로 들자면, 내부 클럭이 100 MHz로 동작되어도, 실제로는 200 MT/s의 초당 전송수를 가진다. 임계 블랙홀
임계 블랙홀의 표면 중력은 0이고, 따라서 임계 블랙홀의 호킹 온도는 절대 영도다. 그러나 임계 블랙홀은 유한한 크기의 사건 지평선을 가지므로, 임계 블랙홀은 양의 베켄슈타인-호킹 엔트로피를 가진다. 초대칭 임계 블랙홀의 엔트로피는 끈 이론으로 직접 계산할 수 있다. 평균 비트레이트
평균 비트레이트(ABR)는 단위시간당(주로 초) 전송된 평균적인 데이터의 양을 나타내는 것으로 주로 디지털 오디오나 비디오의 경우를 지칭한다. 데이터 스트림
데이터 스트림(data stream)은 연결지향통신에서, 전송된 정보를 수집하거나 정보를 전송할 때 사용되는 디지털 방식으로 암호화 된 일관된 신호의 흐름을 말한다. 전자 및 컴퓨터 구조 분야에서, 데이터의 흐름은 재구성 가능한 데이터경로 배열 다른 비슷한 파이프 네트워크나 다른 처리 블럭, 처리 유닛들의 포트로 언제, 어떤 정보들이 들어오거나 밖으로 나가는 지를 관할한다. 폰 노이만 구조의 컴퓨터는 명령 스트림기반인 반면, 안티머신은 데이터스트림 기반이기 때문에 종종 데이터 스트림을 명령 스트림으로 보기 쉽다. 라플라스의 도깨비
최근 들어 우주의 계산능력의 한계 -무한한 양의 정보를 계산하기 위해서 라플라스의 도깨비가 가져야 할 계산능력- 이 제안되었다. 그 한계값은 우주의 최대 엔트로피값, 빛의 속도, 플랑크 길이만큼 정보를 움직이는 데 드는 최소한의 시간에 기초를 두고 있으며, 그 값은 대략적으로 10^120 비트 정도 될 것으로 보였다. 이에 따르면 위에서 계산된 것보다 많은 데이터의 양을 가지고 있는 모든 물체는 지금까지 우주에서 흐른 시간을 모두 소요한다 하더라도 정확히 계산될 수 없다. 정보 엔트로피
그러나 여러 학문분야에 걸쳐 종합적인 분석을 해보면, 열역학적 엔트로피와 정보 엔트로피 사이에서는 연결고리가 만들어질 수 있다. 사실 1957년 제인스()의 의견에 의하면, 열역학은 섀넌의 정보 이론의 ‘응용’으로 간주될 수 있다.[4] 열역학에서의 엔트로피는 시스템의 더욱 자세한 미시적인 상태를 정의하기 위해 더 필요한 섀넌 정보 양의 추정으로 해석될 수 있다. 이는 고전열역학의 미시변수란 개념으로는 설명될 수 없는 것이었다. 예를 들면 시스템에 열을 가하는 것은 열역학적 엔트로피를 증가하는 것이다. 왜냐하면 이것은 미세 상태의 가능한 가짓수를 증가시키기 때문이다. 제임스 클러크 맥스웰은 이론적으로 시스템의 열역학적 엔트로피를 개별적인 분자 상태에 대한 정보를 사용함으로써 감소시킬 수 있다고 주장하였다. 이는 맥스웰의 도깨비란 이름으로 널리 알려져 있다. 그러나 란다우어(Landauer)와 그의 동료들은 총 엔트로피는 줄지 않는다는 것을 보이며 이 역설을 해결하였다. 산술 부호화
산술 부호화(算術符號化, )는 무손실 압축에 사용되는 엔트로피 부호화 알고리즘 가운데 하나이다. 다른 엔트로피 부호화 알고리즘이 각각의 기호를 1:1로 부호로 대체하는 반면에, 산술 부호화는 전체 메시지를 하나의 실수 "n"으로 대체한다. (0.0 ≤ "n" < 1.0) 산술 부호화는 주어진 기호와 확률분포에 대해 최적에 가까운 압축률을 보일 수 있다. 엔트로피
정보 이론에서의 엔트로피는 확률 변수의 무질서도의 척도이다. 엔트로피
엔트로피에는 열역학적 정의와 통계학적인 정의, 두 가지의 관련된 정의가 있다. 역사적으로, 고전 열역학적 정의가 먼저 발전하였다. 고전 열역학적인 관점에서, 그 이론은 원자나 분자 같은 수많은 성분들로 이루어져 있고, 학설의 안정성은 그러한 성분들의 평균적인 열특성으로 설명된다.
이론을 구성하는 성분의 세부적인 성분들은 직접적으로 보이지 않는다. 그러나 그 특성은 온도, 압력, 엔트로피, 열용량과 같은 눈으로 볼 수 있는 평균적인 지표들에 의해 설명된다. 그 이론의 특성에 관한 고전적인 정의는 평형 상태임을 가정하였다. 엔트로피의 고전 열역학적 정의는 최근 비평형 열역학의 영역으로까지 확대되었다. 이후 엔트로피를 포함한 열특성은 눈으로 볼 수 없는 미시세계에서의 움직임에 대한 정역학적인 관점에서 새롭게 정의되었다. 그 예로 처음에는 기체로 여겨졌지만 시간이 지난 후에 광자, 음자, 스핀과 같은 양자 역학적으로 생각되는 뉴턴 입자가 있다. 이 이론의 특성에 대한 통계학적 설명은 고전적인 열역학을 사용하여 이론의 특성을 정의하는 것이 몇몇 변수의 영향을 받는 이론의 최종적인 상태를 예측하는데 있어서 점점 신뢰할 수 없는 예측 기술이 되어감으로 인하여 필수적인 것이 되었다.
고전적 열역학에서는 엔트로피 "S"의 절대적 값은 정의할 수 없고, 대신 그 상대적 변화만 정의한다. 열적 평형을 이뤄 온도가 formula_1인 계에 열 formula_2를 가하였다고 하자. 이 경우 엔트로피의 증가는 다음과 같이 정의한다.
이 식을 적분하여 유한한 엔트로피 차이를 정의한다. 여유도
정보 이론 분야에서는 어떤 메시지 안에 담긴 실제의 정보의 양에서 송신된 메시지의 양을 뺀 것을 의미한다. 일반적으로 커뮤니케이션 과정 중 잡신호와 한정된 채널 용량으로 인해 발생할 수 있는 에러의 제거를 위해 체크섬 등이 안전성과 신뢰성을 확보하기 위해 필요한 여유도를 확보하기 위해 사용된다. 이 개념을 응용하면 정보 압축의 원리를 만들 수 있는데 이것은 필요하지 않은 여유도의 데이터를 제거함으로써 압축의 효과를 가지는 것이다. 정보의 단위
이때 밑인
이 트리트, 밴, 내트는 드물게 사용을 측정하는 저장소 용량을 가리키며, 특히 내트는 정보 이론에 기초해서 다른 단위보다 편리하다. 자연 로그를 사용하기 때문이다. 범용 부호
다음은 잘 알려진 범용 부호의 목록이다. 별표(*)로 표시한 것은 점근적으로 최적인 부호이다.다음은 범용 부호는 아니지만 모든 정수를 대응시키는 부호들의 목록이다.이 부호들이 범용 부호가 아님은 가우스-쿠즈민 분포나 제타 분포(s=2)에 따르는 정수를 부호화하면 길이 기댓값이 무한대가 된다는 것으로 알 수 있다. 예를 들어서 일진 부호를 제타 분포에 적용하면 길이의 기댓값은 다음과 같다.
반면 범용 부호인 엘리어스 감마 부호를 여기에 적용하면 길이의 기댓값은 약 3.51비트로, 엔트로피(약 3.43비트)에 근접한다. 레니 엔트로피
양자 정보 이론에서, 레니 엔트로피()는 통상적인 엔트로피의 일반화이다. 하나의 매개변수 formula_1을 가지며, 레니 엔트로피의 formula_2 극한은 통상적인 엔트로피이다. 정보 엔트로피
그러므로 획득을 증가시켜 불확실성을 감소시키는것은 변수가 줄어드는것으로 볼수있는데 이것은 결과적으로 엔트로피의 크기를 감소시는 정보 이득과 관계있다.[2] 주성분 분석
차원 축소를 위해 사용된 PCA가 데이터가 가진 정보의 대부분을 보존한다는 주장은 실제를 오도하는 것이다. 실제로 신호 모델에 그 어떤 가정도 없다면 PCA는 차원이 축소될 때 손실되는 정보의 양을 줄여주는데 아무런 도움이 되지 못한다. 여기서 정보의 양은 정보 엔트로피를 이용해 측정된 값이다. 정보 이득
속성값 각각에 대해 결과 속성에 대한 고유한 분류를 만들 수 있는 경우 상호 의존 정보는 속성에 대한 총 엔트로피와 같다. 이 경우 전체 엔트로피에서 빼는 상대 엔트로피는 0이다. 정보 이론
정보 이론(情報理論)은 최대한 많은 데이터를 매체에 저장하거나 채널을 통해 통신하기 위해 데이터를 정량화하는 응용 수학의 한 분야이다. 데이터의 단위인 정보 엔트로피는 보통 저장 또는 통신에 사용되는 평균적인 비트 수로 표현된다. 예를 들어 매일의 날씨 정보가 3비트의 엔트로피를 가진다면, 하루의 날씨를 평균 약 3비트로 기술할 수 있다. 쿨백-라이블러 발산
쿨백-라이블러 발산(Kullback–Leibler divergence, KLD)은 두 확률분포의 차이를 계산하는 데에 사용하는 함수로, 어떤 이상적인 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피 차이를 계산한다. 상대 엔트로피(relative entropy), 정보 획득량(information gain), 인포메이션 다이버전스(information divergence)라고도 한다. 정보이론에서는 상대 엔트로피, 기계학습의 결정 트리에서는 정보 획득량을 주로 사용한다. 자유팽창
코크를 열어서 기체가 진공으로 퍼져나가는 것이 자유팽창의 대표적인 사례이다. 계 안으로 들어오거나 나가는 열에너지가 없으므로, 이루어진 일은 없다. 엔트로피 변화는 있지만 잘 알려진 엔트로피 변화공식 정보물리
엔트로피는 관심있는 시스템에 포함 된 (고전적) 물리적 정보의 일부분 (전체 물리적 시스템이든 또는 가능한 메시지 세트로 구분 된 서브 시스템이든) 특정 지식의 관점에서) 로그
총합은 용기 안의 기체 입자들의 위치와 같이 모든 가능성에 대한 i 값들의 합이다. 덧붙여서 p는 상태 i 가 가지는 확률이고 k는 볼츠만 상수이다. 비슷하게, 엔트로피는 정보 이론에서 정보의 측정을 뜻한다. 만약 메시지를 각각의 수령인이 받을 확률이 1/N 이라면 정보의 양은 각각의 사람에게 log2(N) 바이트이다. 열역학 제2법칙
독일의 물리학자 루돌프 클라우지우스는 저온의 물체에서 고온의 물체로 열을 전달시키는 것이 유일한 결과인 과정은 불가능하다고 서술했다.통계역학은 엔트로피가 확률에 의해 지배받는 요소라는 것을 입증한다. 따라서 무질서의 감소가 닫힌계 안에서도 일어날 수 있다. 그러나 이것이 나타날 확률은 매우 작기 때문에 이러한 현상이 나타나더라도 계의 매우 적은 입자들에만 영향을 미치는 일시적인 감소이다. 엔트로피
엔트로피()는 열역학적 계의 유용하지 않은 (일로 변환할 수 없는) 에너지의 흐름을 설명할 때 이용되는 상태 함수다. 통계역학적으로, 주어진 거시적 상태에 대응하는 미시적 상태의 수의 로그로 생각할 수 있다. 엔트로피는 일반적으로 보존되지 않고, 열역학 제2법칙에 따라 시간에 따라 증가한다. 독일의 물리학자 루돌프 클라우지우스가 1850년대 초에 도입하였다. 대개 기호로 라틴 대문자 "S"를 쓴다. 정보 엔트로피
E = { x 1 , … , x n } {\displaystyle E=\{x_{1},\ldots ,x_{n}\}} 잔류 엔트로피
잔류 엔트로피(Residual entropy)는 유리나 합금, 일산화탄소, 얼음 따위에서 절대영도가 되어도 남는 엔트로피다. 엔트로피 부호화
엔트로피 코딩 중에 가장 자주 쓰이는 세 가지는 허프만 부호화, 범위 부호화와 산술 부호화이다. 이 부호화 기술들은 입력 데이터의 값 분포에 따라 할당 방법이 동적으로 변화하기 때문에, 별도로 분포에 대한 정보를 가지고 있거나 보내 주어야 한다는 부담이 있다. 데이터 스트림의 대략적인 엔트로피 성질을 미리 알고 있을 때에는(특히 신호 압축에서) 범용 부호 기술로서 단항 부호, 엘리어스 감마 부호, 피보나치 부호, 골롬 부호, 라이스 부호등을 쓰기도 한다. 엔트로피
블랙홀은 고전적으로 털없음 정리에 의하여 미시상태가 없다. 그러나 반고전으로 마치 어떤 유한한 엔트로피를 가진 것처럼 행동한다. 이 엔트로피는
다. 여기서 formula_20는 블랙홀의 사건 지평선의 넓이다. 이를 베켄슈타인-호킹 엔트로피()라고 부른다. 이는 야콥 베켄슈타인(, )이 가설을 세웠고, 스티븐 호킹이 반고전적으로 유도하였다. 또한, 특수한 경우 끈 이론이나 루프 양자 중력 등으로 미시적으로 유도할 수도 있다. 블랙홀을 포함하는 계의 경우, 베켄슈타인-호킹 엔트로피를 무시하고 계산하면 일반적으로 열역학 제2법칙이 성립하지 않고, 이를 포함하여 계산하여야만 성립한다. 엔트로피
통계역학에서는 엔트로피의 차 뿐만 아니라 엔트로피의 절대적 값을 정의할 수 있다. 확률적 상태 분포를 가지는 어떤 계의 앙상블을 생각하자. 여기서 단일계의 상태(미시적 상태) formula_5의 확률을 formula_6라고 하자. 이 경우, 앙상블의 엔트로피는 다음과 같이 정의한다.
고립된 계의 경우, 통상적으로 모든 미시적 상태의 확률이 같다고 가정한다. 즉 formula_8 (여기서 formula_9는 가능한 미시적 상태의 수)다. 이 경우
다. 여기서 "k" 는 볼츠만 상수다. 이 식은 루트비히 볼츠만이 처음 발견하였다. 표준상태
표준상태(Standard state, 標準狀態)는 주로 온도 25℃, 압력 1기압하에서의 물질의 상태이다. 이 온도와 압력을 각각 표준온도, 표준압이라고 한다. 그러나 엄밀하게 온도는 표준상태의 정의에 포함되지않는다. 통상적으로 표준생성엔탈피와 같은 열역학적 데이터는 1기압 25℃를 기준으로 제시되기 때문에 표준상태에 온도 조건이 포함된다는 오해를 불러일으킨다. 부호율-변형 이론
부호율-변형 이론은 손실압축 정보 이론의 주요 줄기이다. 이 이론은 주어진 변형값인 formula_1를 가지면서 보낼 수 있는 최소의 부호율(엔트로피 또는 정보)인 formula_2을 알려주고 있다.  정보 엔트로피
확률분포의 로그는 엔트로피의 단위로 사용하기에 매우 유용한데 이는 독립적인 소스(source)들에 대해 그 값을 더할 수 있기 때문이다. 예를 들어 동전을 1개 던지면 엔트로피는 1 섀넌이고, m 개의 동전을 던질 때는 m 섀넌이다. n 이 2의 거듭제곱일 때, 일반적으로 n 개의 값 중 하나를 취하는 변수를 표현하기 위해서는 log2(n) 비트가 필요하다. 모든 값의 발생 확률이 동일하면, (섀넌으로 표현된) 엔트로피는 비트의 개수와 동일하게 된다. 비트의 개수와 섀넌이 동일한 경우는 모든 결과의 발생 확률이 동일한 경우로 한정된다. 만약 하나의 사건이 다른 사건보다 발생할 확률이 높다면 그 사건에 대한 관측이 제공할 수 있는 정보는 적다. 반대로 희귀한 사건을 관측하면 더 많은 정보를 얻을 수 있다. 확률이 낮은 사건에 대한 관측은 덜 발생할 것이므로 순 효과는 불균등하게 분포한 자료로부터 얻어진 log2(n) 보다 작은 엔트로피가 된다. 하나의 사건이 확실하게 일어나는 경우라면 엔트로피는 0 이 된다. 섀넌 엔트로피는 소스(source)의 확률분포가 알려져 있을 때 이 모든 고려사항을 수치화한다. 관측된 사건들의 의미(메시지의 의미)는 엔트로피를 정의할 때 중요하지 않다. 엔트로피는 특정한 사건이 일어날 확률만을 고려함으로써 사건의 배후에 존재하는 확률분포에 대한 정보를 캡슐화할뿐 사건 자체의 의미는 포함하지 않는다. 정보 이론
채널 용량은 입력 신호와 출력 신호의 상호 엔트로피에 의해 아래와 같이 정의된다.
여기서 formula_2는 입력 신호 formula_3의 확률 밀도 함수이다. 결정 트리 학습법
ID3, C4.5 그리고 C5.0 트리 생성 알고리즘에서 사용되고 있다. 정보 획득량(information gain)은 정보 이론의 엔트로피의 개념에 근거를 두고 있다. 통계학
기댓값(expected value)은 통계에서는 평균과 같다고 생각하면 된다. 가능한 값마다 확률을 곱해서 모두 더한 것이다.
산포도(degree of scattering)는 자료가 흩어져 있는 정도를 나타낸다. 범위, 분산, 표준편차 등. 엔트로피
위와 같이 분류한 엔트로피를 계의 관점에서 본 알짜엔트로피 변화를 나타낼 때 이용할 수 있다. 엔트로피
열저장고와 열적 평형을 이룬 계의 미시상태는 볼츠만 분포 formula_11를 따른다. 이 경우 엔트로피는 다음과 같다.
여기서 formula_13는 분배함수다. formula_14를 헬름홀츠 자유 에너지로 정의하여, formula_15로 쓰기도 한다. 범용 부호
데이터 압축에서 범용 부호()는 양의 정수를 구분자 없이 서로 구별되는 이진 부호로 대응시키는 접두 부호이며, 그 중 정수의 실제 확률 분포와 상관 없이 분포가 단조적이면 (즉 모든 정수 formula_1에 대해 formula_2이 성립) 부호 길이의 기댓값이 최적 부호 길이의 기댓값보다 최대 상수배보다 작은 것을 가리킨다. 특히 두 기댓값의 비율의 한계가 부호의 정보 엔트로피의 함수로 주어지며, 엔트로피가 무한대로 접근하면 함수값이 1이 될 때 그 부호를 점근적으로 최적이라고 한다. 엔탈피
표준 엔탈피는 이러한 표준 조건에서 측정된, 다양한 상황에서의 엔탈피 변화를 총칭하는 말로 그 예시로 정보 엔트로피
일상생활의 실용적인 수준에서는 정보이론의 엔트로피와 열역학적 엔트로피의 관계가 그리 깊지는 않다. 물리학자나 화학자는 자발적으로 초기상태에서 멀어지는 시스템에서의 엔트로피 ‘변화’에 더욱 관심이 있다. 이는 열역학 제2법칙에 부합하는 내용으로, 불변하는 확률분포에 집중하는 정보엔트로피와는 포커싱이 사뭇 다르다. 엔트로피 부호화
새넌 정리(Shannon's source coding theorem)에 따르면, 가장 좋은 코드 길이는 "b"를 부호화할 진수(2진수로 부호화 할 경우에는 b=2가 된다), "P"를 심볼이 나올 확률이라고 할 때 −log"P" 라고 한다. 정보 엔트로피
기술적인 관점에서 보면 정보는 발생 가능한 사건이나 메시지의 확률분포의 음의 로그로 정의할 수 있다. 각 사건의 정보량은 그 기댓값, 또는 평균이 섀넌 엔트로피인 확률변수를 형성한다. 엔트로피의 단위는 정의에 사용된 로그의 밑이 무엇인지에 따라 섀넌(shannon), 내트(nat) 또는 하틀리(hartely)를 사용한다. 단, 섀넌의 경우 보통 비트(bit)로 표현한다. 주위
엔탈피와 더불어 이러한 화학 반응에서 중요한 것이 엔트로피가 있는데 이것은 무질서도의 척도로 ΔH/T로 표현된다. 이때 열역학 제2법칙은 자연계에서 일어나는 모든 자발적 반응은 우주 전체의 엔트로피가 증가하는 방향으로 일어난다는 것이다. 그러면 엔트로피 부호화
엔트로피 인코딩 혹은 엔트로피 부호화()는 심볼이 나올 확률에 따라 심볼을 나타내는 코드의 길이를 달리하는 부호화 방법이다. 보통 엔트로피 인코더는 모든 심볼에 대해 같은 길이를 갖는 코드를 심볼이 나올 확률값의 음의 로그에 비례하는 서로 다른 길이의 코드로 바꾸어 부호화한다. 즉 가장 자주 나오는 심볼에 대한 코드가 가장 짧다. 정보통신망 이용촉진 및 정보보호 등에 관한 법률
"침해사고"란 해킹, 컴퓨터바이러스, 논리폭탄, 메일폭탄, 서비스 거부 또는 고출력 전자기파 등의 방법으로 정보통신망 또는 이와 관련된 정보시스템을 공격하는 행위를 하여 발생한 사태를 말한다. "무차별 대입법"은 컴퓨터 사용자의 아이디와 비밀번호를 계속해서 시행착오를 거치면서 추측에 의해 알아내는 방법으로서 최근에는 미리 사람들이 많이 비밀번호로 사용하는 여러 가지 단어들을 저장하고 있다가 이를 순차적으로 대입하고 실패하여 접속이 끊어져도 다시 접속하여 계속 패스워드를 대입시키는 사전식 브루트 포스(brute force)와 전수조사로 불리는 존재하는 모든 조건을 대입하는 브루트 포스(brute force) 등의 해킹프로그램을 사용하는 방법 등을 말한다. 아이피 스누핑(IP Snooping)은 아이피 어드레스(IP Address)를 속여서 공격하는 기법으로서, 송수신자간의 프로토콜인 티시피아이피(TCP/IP) 접속시 일어나는 3웨이 핸드쉐이킹(3-way handshaking)에 필요한 SYN / ACK 를 이용하여 중간에서 불법접속을 만드는 방법을 말한다. 이때 대부분 본 IP 서버에 대해 SYN FLOOD 공격이 수반된다. 세션하이재킹은 TCP 세션의 시퀀스번호를 이용하여 정당한 사용자의 세션을 가로채는 공격방식을 말한다. 패킷 스니핑(Packet Sniffing)은 네트워크 상에 돌아 다니는 패킷을 훔쳐보는 방법으로 어떤 사람이 정보통신망에 접속하기 위해 아이디와 비밀번호를 입력할 때 이를 도청하는 프로그램을 사용하여 아이디와 비밀번호를 알아내는 방법을 말한다. 일반적으로 프러미스큐어스모드를 이용하는 간단한 방법을 이용한다. 패스워드 크래킹(Password Cracking)은 타인의 아이디와 비밀번호를 통해 알아낸 경우 또는 정당하게 가입해서 자신의 아이디와 비밀번호를 부여받아 어떤 네트워크에 들어간 경우 그 네트워크를 이용하는 다른 사용자들의 아이디와 비밀번호를 얻어내는 방법을 말한다. 정보 엔트로피
정보 이론 엔트로피 부호화 해밍 거리 턴스톨 부호화
턴스톨 부호화()는 컴퓨터 과학과 정보 이론에서 무손실 데이터 압축을 위한 엔트로피 부호화의 한 형태이다. 온도
두 계가 열 평형을 이루고 있을 때 총 엔트로피는 최댓값을 가지므로 미소 Q에 대하여 "S"가 0이어야 한다. 정보 엔트로피
두 확률변수 ( X , Y ) : P → E X × E Y {\displaystyle (X,Y)\colon P\to E_{X}\times E_{Y}} 가 주어졌고, 그 확률 분포 f : E X × E Y → R {\displaystyle f\colon E_{X}\times E_{Y}\to \mathbb {R} } 가 주어졌다고 하자. 그렇다면, Y {\displaystyle Y} 가 주어졌을 때 X {\displaystyle X} 의 조건부 엔트로피()는 다음과 같다. 전자 정보 처리 시스템
전자 정보 처리(電子情報處理) 시스템(EDPS, electronic data processing system)이란 즉 전자장치(디지털 컴퓨터와 그 부속품을 이용하여 조직의 행정 및 경영기능을 보조하는 의미에서 자료를 처리하는 것)를 말한다. 다시 말하면 컴퓨터로 자료를 전달·취급·저장하는 것을 말한다.
기계적인 장치로부터 전자장치로의 변환은 1944년 미국 하버드대학에서 제작한 마크(Mark) I형 컴퓨터가 그 시초였으며, 그 후 이 분야에 눈부신 발전을 했다. EDP 즉 일반목적(general purpose)용 컴퓨터의 개념으로부터 생겨난 이 EDP는 컴퓨터가 자료(data)를 저장할 때 같은 메모리 속에 명령어(instruction)도 저장할 수 있고, 따라서 명령어를 자료와 같이 조정할 수 있기 때문에 가능한 것이다. 이것이 바로 컴퓨터로 하여금 몇 개의 단계를 거쳐 방대한 양의 자료를 처리할 수 있게 하는 것이다. 이것을 처음으로 기업에 이용하기 위해 설계된 시스템은 미국의 에커트(P. Eckert)와 모클리(J. Mauchly)가 1947년부터 1951년 사이에 제작한 에니악(ENIAC)이다. 블랙홀 열역학
야코프 베켄슈타인(, )이 1972년에 블랙홀이 엔트로피를 가진다고 제안하였다. 그 뒤 스티븐 호킹이 실제로 블랙홀이 특정 온도에 해당하는 흑체 복사를 방출한다는 사실을 증명하였다. 1996년에 앤드루 스트로민저와 캄란 바파가 끈 이론을 사용하여 초대칭 블랙홀의 엔트로피를 직접 계산하였다. 5가지 요약 수치
5가지 요약 수치란 기술통계학에서 자료의 정보를 알려주는 아래의 다섯 가지 수치를 의미한다.R 프로그램에서 fivenum() 함수와 summary() 함수를 통해서 5가지 요약 수치를 파악할 수 있다. summary() 함수에서는 평균(mean)을 포함한 6가지 수치를 나타낸다.
> height  fivenum(height)
[1] 155 165 170 178 190
> summary(height) 전송 속도
전자 통신 분야에서 전송 속도란 어떤 네트워크 또는 시스템의 한 지점에서 다른 지점으로 데이터가 이동하는 속도를 말한다. 이것은 단위 시간(보통 1초) 동안 한 지점에서 다른 지점으로 옮겨진 데이터의 양을 나타낸다. 일정기간동안 전송한 정보의 양을 전송한 시간으로 나누는 방법으로 측정하며, 이것은 측정시간 동안의 평균 전송속도를 나타낸다. 단위로는 초당 비트수(bps)를 가장 많이 사용하며, 필요에 따라 초당 문자수(cps), 초당 블록수, 초당 패킷수, 보오(baud) 등을 쓰기도 한다. 정보 엔트로피
로그 함수는 독립적인 불확실성에 가산성</b>을 제공하는데 사용된다. 예를 들어, 크기 m {\displaystyle m} 의 이산 표본 공간과 크기 n {\displaystyle n} 의 이산 표본 공간에서, 서로 독립이며 균등분포를 따르는 두 확률변수를 동시에 측정할 경우, 그 총 엔트로피는 에너지 등분배법칙
따라서 이는 두 양자 상태의 에너지가 저장 되는 형태도 같다는 것을 의미하고 결국 에너지 등분배 법칙에 의해 자유도가 같다는 것을 의미한다.
미시적 상태에서는 엔트로피를 상태수를 통해서 정의할 수 있는데 다음과 같다. 쿨백-라이블러 발산
쿨백-라이블러 발산은 어떠한 확률분포 formula_7가 있을 때, 샘플링 과정에서 그 분포를 근사적으로 표현하는 확률분포 formula_6를 formula_7 대신 사용할 경우 엔트로피 변화를 의미한다. 따라서, 원래의 분포가 가지는 엔트로피 formula_13와 formula_7 대신 formula_6를 사용할 때의 교차 엔트로피(cross entropy) formula_16의 차이를 구하면,
로, 원래 정의했던 식과 같은 결과가 나온다. 바른틀 앙상블
여기에서 formula_18는 엔트로피이다. 엔트로피는 열역학 제3법칙
양자역학에 따르면 절대 영도에서 계는 반드시 최소의 에너지를 가지는 상태, 즉 바닥 상태에만 존재할 수 있다. 이러한 최소의 에너지를 가질 수 있는 상태가 한가지 뿐이라면 엔트로피는 0이 된다. 한편 보다 일반적인 표현으로  정보 엔트로피
정보 엔트로피의 정의를 이해하기 위해서, 이산균등분포의 엔트로피를 계산해 보자. 표본 공간이 총 n개의 서로 다른 값들로 이루어진다면, 확률 질량 함수는 정보 엔트로피
그러나 만약 우리가 이 동전이 공정하지 않다면, 즉 앞면이 나올 확률이 p, 뒷면이 나올 확률을 q로 이미 알고 있다면 불확실성은 더 떨어질 것이다. 이는 동전을 던질 때마다 특정한 면이 나올 확률이 더 높기 때문이다. 이때의 불확실성의 감소는 엔트로피의 감소로 정량화될 수 있다. 공정하지 않은 동전 던지기 결과값의 엔트로피는 1비트의 정보 보다 적다고 해석할 수 있다. 정보 엔트로피
앞에서 언급한 동전던지기 사례를 다시 생각해 보자. 만약 우리가 동전의 특정 면이 나올 확률을 알고 있다고 가정해 보자. (반드시 앞, 뒷면이 나올 확률이 같을 필요는 없다.) 동전 던지기를 시행했을 때 결과값의 엔트로피는 공정한 동전일 때 가장 높게 나온다. (앞, 뒷면이 나올 확률이 각각 1/2로 같을 경우이다.) 이러한 경우가 불확실성을 가장 극대화 시키고 결과값을 예상하기가 가장 어렵다는 것을 의미한다. 이때의 동전던지기 결과값은 1비트에 해당하는 정보를 가지게 된다. 랜덤 포레스트
훈련 단계에서 트리의 각 노드는 들어오는 데이터 포인트들을 최적으로 분리하기 위해 정보 획득량()을 측정 기준으로 사용한다. 구체적으로 각 노드에서 정보 획득량(신뢰, confidence)을 최대화하는 것이다. 정보 획득량은 다음과 같이 정의된다.
여기서, formula_22는 한 노드에 도달하는 데이터 집합을, formula_23는 이 노드의 formula_24, 왼쪽 혹은 오른쪽 방향 자식 노드로 들어가는 데이터 집합을 나타낸다(formula_22와 formula_23의 관계식은 훈련과 테스트 과정 참조). 또한, formula_27와 formula_28는 각각 데이터 집합에 속한 데이터 개수와 섀넌 엔트로피()를 가리킨다.
위 수식에서 볼 수 있듯이, 정보 획득량을 최대화하기 위해서는 결국 섀넌 엔트로피가 최소화 되어야 한다. 섀넌 엔트로피는 확률 변수의 조합으로 정보원(여기서는 formula_22)에 대한 불확실성을 보여주는 것으로 아래와 같이 정의된다.
여기서 formula_31는 전체 부류() 집합을 나타내며, formula_32는 각 부류에 대한 확률 질량 함수이다. 정보 엔트로피
여기서 kB는 볼츠만 상수를, 그리고 pi는 미시적인 상태의 확률을 의미한다. 기브스엔트로피는 1872년 볼츠만의 연구업적을 뒤이어 조사이어 윌러드 기브스에 의하여 1878년에 정의되었다. 기브스 엔트로피는 또한 거의 변화 없이 양자물리학에서의 노만 엔트로피로도 변형되는데 이는 1927년 존 폰 노이만에의해 정의 소개되었으며 다음과 같이 정의된다 대역폭 (컴퓨팅)
대역폭(帶域幅, bandwidth)은 컴퓨팅에서 일반적으로 초당 여러 비트로 표현되는, 사용 가능하거나 소비된 정보 용적의 비트레이트이다. 맥스웰의 도깨비
이 물음에 대한 가장 유명한 답변은 1929년 Leó Szilárd가 제안했고 그 후에는 Léon Brillouin가 했다. Szilárd는 지적하기를, 실제 세계에서 맥스웰의 도깨비는 분자의 속력을 측정하는 수단이 필요하고 정보를 수집하는 행동은 에너지를 소모한다고 하였다. 열역학 제 2법칙은 고립계의 총 엔트로피는 증가해야만 한다고 진술한다. 도깨비는 기체와 상호작용하기 때문에 우리는 반드시 기체와 도깨비를 함께 포함하는 계(system)의 엔트로피를 고려해야 한다. 도깨비에 의한 에너지 지출은 도깨비의 엔트로피 증가를 낳고, 이것은 기체의 줄어든 엔트로피보다 클 것이다. 예를 들면 만약 도깨비가 플래시 빛을 사용하여 분자의 위치를 파악한다면 플래시의 건전지는 낮은 엔트로피를 가진 장치이고 화학작용이 일어날 것이다. 건전지의 에너지는 광자를 제거하는 데 쓰인다(광자의 엔트로피도 계산되어야 한다). 그리고 건전지의 엔트로피도 증가할 것이고, 증가된 엔트로피는 기체의 줄어든 엔트로피보다 클 것이다. 역학 (물리학)
열역학 계 내에서 온도에 따른 물질과 에너지의 이동은 열역학 법칙을 따른다. 열역학 법칙은 계 내에서 에너지는 일정하여 새롭게 생성되거나 파괴되지 않고 변환만이 가능하다는 것과, 계는 엔트로피가 최대인 상태일 때 열적 평형상태에 다다르게 된다는 것이다. 흔히 무질서도라고 이해되는 엔트로피는 계의 상태를 나타내는 상태 함수로서 계 내부의 모든 입자가 균등한 상태에 이를 때 최댓값을 갖는다. 예를 들어, 외부와 에너지와 물질이 차단된 고립계에 질량은 같고 온도가 0℃와 100℃로 다른 물을 놓아둔다면 이 두 물이 가장 균등하게 섞이는 상태, 즉 엔트로피가 최대인 50℃가 된다는 것이다. 우주 전체 역시 하나의 고립계로 생각할 수 있으므로 엔트로피가 최대인 상태로 진행하게 된다. 이 때문에, 열역학에 엔트로피 개념을 도입한 루돌프 클라우지우스는 "우주의 에너지는 일정하나 우주의 엔트로피는 최댓값에 도달하려고 한다"라고 표현하였다. 엔트로피
엔트로피는 온도의 함수로써, 주어진 열이 일로 전환될 수 있는 가능성을 나타낸다. 예를 들어 같은 크기의 열량이라도 고온의 계에 더해졌을 때보다 저온의 계에 더해졌을 경우에 계의 엔트로피가 크게 증가한다. 따라서 엔트로피가 최대일 때 열에너지가 일로 전환될 수 있는 가능성은 최소이고, 반대로 엔트로피가 최소일 때 열에너지가 일로 전환될 수 있는 가능성이 최대가 된다.
실제로 외부적인 일을 할 수 있는 에너지를 "유용한 에너지", 존재하지만 외부적인 일을 하는 데에 쓰일 수 없는 에너지를 "사용불가능한 에너지"라고 한다. 계의 총 에너지를 "유용한 에너지"와 "사용불가능한 에너지"의 합으로 정의 할 때, 엔트로피는 전체 에너지에서 차지하는 비율이 주어진 계의 절대 온도에 반비례하는 "사용불가능한 에너지"의 일종으로 볼 수 있다. 깁스 자유 에너지 또는 헬름홀츠 자유 에너지와의 관계식에서 "TS" 로 나타나는 것을 생각해 보라. 열역학 제2법칙
열역학 제2법칙의 모순처럼, 고립계가 아닌 계의 엔트로피는 감소하는 것으로 볼 수도 있다. 예를 들어 에어컨은 방 안의 공기를 차갑게 해주어서 공기의 엔트로피를 감소시킨다. 하지만 방 안으로부터 방출되거나 에어컨이 작동함에 따라 흡수되는 열은 항상 그 계의 공기의 엔트로피의 감소보다 많은 양의 엔트로피를 생성한다. 따라서 전체 계의 총 엔트로피는 열역학 제2법칙에 의하듯 증가한다. 효소
엔트로피란 화학 반응계에서 구성 성분들의 무작위성 또는 무질서도를 나타내는 것이다. 화학 반응계에서는 이런 엔트로피의 변화를 ΔS로 표시한다. 무작위성이 증가될 때는 ΔS가 양의 값이 되고 무작위성이 감소할 때는 ΔS가 음의 값이 된다.[13] 정보 엔트로피
이와 같은 경우 중 가장 극도의 사례는 양면을 가지고 있으나 절대로 뒷면이 나오지 않는 동전을 사용할 경우이다. 이때에는 불확실성이 전혀 없으므로 (항상 앞면이 나오므로) 엔트로피는 0이다. 즉, 이러한 동전 던지기의 시행결과는 아무런 정보도 전달하지 않는다. 정보 엔트로피
정보 이론에서 시스템은 송신자, 채널, 수신자를 이용하여 모형화 한다. 송신자는 채널을 통해 전달되는 메시지를 만들어낸다. 채널은 특정한 방식을 통해 메시지를 변경한다. 수신자는 어떤 메시지가 보내진 것인지 추론하고자 한다. 이 맥락에서 정보 엔트로피(또는 섀넌 엔트로피)는 각 메시지에 포함된 정보의 기댓값(평균)이다. '메시지'는 어떤 흐름의 정보에 대해서도 모형화 할 수 있다. 블랙홀 열역학
또한, 블랙홀은 일정한 엔트로피를 가진다. 블랙홀의 엔트로피는 그 사건 지평선의 넓이에 비례하며, 다음과 같다.
여기서 "A"는 사건 지평선의 넓이이며, "d"차원에서 [길이]의 단위를 가진다. "G"는 중력 상수이며, "d"차원에서 [길이][시간][질량]의 단위를 가진다. 입력
입력(入力, )은 어떤 장치에 신호 등의 정보를 제공하는 것이다. 컴퓨터, 전자 회로, 음향 기기, 영상 기기등의 전자 회로에 전기 신호 또는 전기 에너지를 제공하는 것 등이 그 예이다. 산술 부호화
산술 부호화 알고리즘은 압축 대상 부호의 개수가 많을 수록 압축의 한계를 나타내는 정보 엔트로피에 근접하게 되지만, 각 부호를 압축할 때 마다 구간을 계산 해 주어야 한다는 복잡함 때문에 허프만 부호화에 비하여 연산량이 매우 크다. 정보 밀도
정보 밀도(information density)는 소비자와 [[판매자[[ 등 모든 시장 관계자들이 이용할 수 있는 [[정보]]의 총량과 질을 말한다. [[인터넷]]과 웹은 이러한 정보밀도를 상당히 증대시켰다. 정보의 수집, 저장, 처리, 의사소통에 드는 비용은 낮아졌는데 정보의 정확성, 적시성은 증가했다. 최대 엔트로피 마르코프 모델
최대 엔트로피 마르코프 모델(maximum-entropy Markov model, MEMM) 또는 조건부 마르코프 모델(conditional Markov model, CMM)은 순차적 명명(sequence labeling)을 위해 은닉 마르코프 모델과 최대 엔트로피 모델의 특질들을 결합한 그래프 모형이다. 최대 엔트로피 마르코프 모델은 학습해야 하는 모르는 값들에 대해 조건부 상호 독립 대신 마르코프 연쇄를 따라 서로 연결되어 있다고 가정하여 표준적인 최대 엔트로피 분류기를 확장한 변별적 분류 모델이다. 특히 형태소 분석 및 정보 추출에서 사용한다. 열역학 제3법칙
라고 기술되며 최소에너지의 상태가 복수개로 존재할 때 이렇게 엔트로피는 상수로 수렴하게 된다. 이러한 상수값은 때론 계의 잔류 엔트로피라고 불린다. 유리는 잔류 엔트로피를 가지는 계의 대표적인 예 중 하나이다. 물리학의 발전
엔트로피에 대한 볼츠만의 통계적 해석 덕분에 엔트로피 개념은 열 현상을 넘어 일반화되었다. 처음에 엔트로피는 열의 출입이 한 방향으로만 일어나는 경향을 설명하기 위해 도입되었다. 그러나 볼츠만 연구 이후에는 모든 물리적 상태에 적용 가능해진 개념이 되었다. 전력 품질
전압 변화에 따른 데이터 처리 기기의 허용 전압 오차는 보통 허용 전압 크기와 그에 대한 시간 길이를 보여주는, 국제 정보 통신 표준 위원회에서 제정한 CBEMA 곡선을 사용한다.
이상적인 교류 전원에서는 국가 표준(본선 등의 경우)나 모든 진동수에서 0 옴이 되게 하는 임피던스의 시스템 사양(전원 공급단이 본선에 직접 연결되지 않은 경우)에 따라 정해진 전압 진폭과 주파수로 전력을 공급하고 있다. 정보 인프라스트럭처
정보 인프라스트럭처()는 Ole Hanseth(2002)에 따르면 공유, 발전, 개방, 표준, 이기종의 설치 기반(a shared, evolving, open, standardized, and heterogeneous installed base)이며 Pironti (2006)에 따르면 정보의 생성, 사용, 전송, 저장, 파괴를 지원하는 사람, 프로세스, 프로시저, 도구, 기능, 기술 전반을 의미한다. 채널 용량
채널 용량(Channel capacity)은 어떤 곳에서 다른 곳으로 정보를 보내기 위해 사용되는 물리적인 통로인 채널(Channel)에서 정보가 에러를 발생시키지 않고 보내질 수 있는 최대의 속도를 말한다. 채널 용량은 또한 전송에 쓰이는 매체가 수용할 수 있는 정보의 전송 능력이라고도 할 수 있으며 채널을 통해 보내지는 데이터의 양은 그 채널의 대역폭(Bandwidth)에 비례한다.  엔탈피
엔탈피()는 열역학적 계에서 뽑을 수 있는 에너지다. 내부 에너지와, 계가 부피를 차지함으로부터 얻을 수 있는 에너지(부피와 압력의 곱)의 합이다. 대기압이나 수압과 같이 압력에 둘러싸인 계를 다룰 때 쓴다. 기호는 대개 라틴 대문자 "H"이다. 개인정보
(b) 정보관리자가 보유하고 있거나 앞으로 보유할 가능성이 많은 기타 데이터나 정보 또는 해당 개인에 대한 의견의 표현이나 해당 개인에 대한 다른 사람들 또는 정보관리자의 의도를 드러내는 모든 표시를 포함한다.
미국의 경우 1995년 클린턴 행정부가 창설한 정보인프라기획단(Information Infrastructure Task Force, IITF)이 제시한 “개인정보의 제공과 이용에 관한 원칙”에서 개인정보를 ‘개인을 식별할 수 있는 정보(information identifiable to the indivisual)’로 정의하고 있다. 그러나 연방법에서는 개인정보의 내용이 각기 법률제정목적에 따라 세부적으로 정하여져 있어 개인정보에 관한 총괄적 규정을 찾기 어렵다. 다만 1998년의 「아동 온라인 프라이버시보호법(Children’s Online Privacy Protection Act)」에서는 개인정보를 ‘개별적으로 식별가능한 개인에 관한 정보’로 정의하면서, 여기에서 성명, 주소, 이메일주소, 전화번호, 사회보장번호 등을 포함한다고 규정하고 있다. 이득
입출력 전압과 임피던스가 같을 경우 1의 이득(0 dB)이라 하고 "단위 이득"이라 한다.
[[분류:통신]]
[[분류:전기 회로]] 보이니치 필사본
통계적인 분석으로 보이니치 문서가 자연어와 비슷한 경향을 띤다는 것을 알 수 있다. 예를 들어서, 단어의 분포는 지프의 법칙을 따르고, 단어의 정보 엔트로피(단어 하나에 약 10비트)는 영어나 라틴어와 비슷하다. 몇몇 단어는 한 부분이나 몇몇 쪽에서만 나타나며, 다른 단어들은 문서 전체에 폭넓게 나타난다. 그림에 붙어 있는 수 천개의 꼬리표들은 거의 겹치지 않는다. ‘약초학’ 부분에서는 각 쪽의 첫 단어가 그 쪽에서만 나타나며, 따라서 해당 약초의 이름일 가능성이 높다. 물리학의 발전
볼츠만은 엔트로피를 어떠한 상태를 구성하는 분자들의 배열 방법수와 관련지었다. 그는 주어진 상태에 대한 엔트로피가 그 상태에 해당되는 분자들의 배열 방법수의 로그값에 비례함을 보였다. 그런데 어떤 상태에 도달할 확률은 그 상태를 이루는 분자 배열의 방법수에 비례하므로, 결국 엔트로피는 확률의 로그에 비례하는 셈이었다. 엔트로피가 분자 배열 방법수와 확률에 비례하므로 어떤 상태의 무질서함을 나타낼 수도 있다. 즉, 우주의 엔트로피가 항상 증가한다는 것은 자연 상태에서의 여러 반응은 항상 무질서도가 증가하는 방향으로 일어난다는 것으로도 해석될 수 있었다. 열역학
엔트로피는 절대영도에 가까워질수록 변화량이 0에 수렴하며, 절대영도에서 완전한 결정상태의 엔트로피는 0이다. 다만 자연계에서 절대영도는 존재할 수 없고 단지 0으로 수렴할 뿐이다. 고무 탄성
고무 탄성 이론에서 고무 폴리머 체인은 흔히 "엔트로피 스프링(entropy spring)"이라고 불린다. 체인이 외부의 힘에 의해 팽창하면 고무 폴리머들의 배치가 크게 제한되고, 엔트로피는 감소하다. 자연에서 어떤 물질의 상태는 엔트로피는 낮은 상태 높은 상태로 변하려는 경향성을 지니고 있기 때문에 고무에서 복원력이 생겨 원래 상태로 돌아간다. 과학자들은 고무 폴리머들의 엔트로피를 수학적으로 계산하기 위한 모델들을 만들었다. 대표적으로는 자유 연결 체인 모델(Freely-jointed Chain Model)과 지렁이 체인 모델(Worm-like Chain Model)이 있다. 정보 엔트로피
요약: 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다. 정보 격차
가장 기본적인 원인으로 하드웨어의 보급을 들 수 있다. 정보화 시대에서 가장 기본이 되는 하드웨어는 컴퓨터라고 할 수 있는데, 컴퓨터 구입에 어려움이 있는 자들과 그렇지 않은 자들 사이에서 정보격차가 발생한다.
정보통신부가 전국 일반국민 및 정보화 소외계층 6300명을 대상으로 실시한 ‘2006 정보격차지수 및 실태조사’ 결과에 따르면 농어민과 장애인, 장노년층 등의 정보화 소외계층의 60% 가 컴퓨터를 소유하고 있으며, 전체 국민은 80% 가 소유하고 있다.
물론 이는 적은 수의 표본 등 한계가 있으나, 조사 자체의 목적을 보더라도 격차가 있음을 알 수 있고, 세계적으로 보았을 때에는 이 격차는 더욱 커진다. 지역, 학력, 수입 등에 따라 컴퓨터 보급률이 영향을 받고 있으며, 이는 복합적으로 영향을 끼칠 수 있다.
이러한 차이를 극복하고자 OLPC (One Laptop per child)에서 100불 컴퓨터를 개발, 보급하고 있다.
또한 fon 공유기 프로젝트 등, 인터넷의 무료 사용을 위한 프로젝트가 진행 중이나, 한국에는 크게 보급되어 있지 못한 상황이다. 엔트로피
양자역학적 앙상블은 밀도행렬 formula_16로 나타내어진다. 이 경우, 폰노이만 엔트로피()를 다음과 같이 정의한다.
밀도행렬을 대각화하면 그 각 원소는 확률 formula_6가 되므로, 이는 위의 통계역학적 정의와 동등하다. 이 정의는 존 폰 노이만이 발견하였다. 대역폭 (신호 처리)
대역폭(帶域幅, )은 특정한 기능을 수행할 수 있는 주파수의 범위로, 헤르츠 단위로 측정된다. 대역폭은 정보 이론, 무선 통신, 신호 처리, 분광학 등 여러 분야에서 중요한 개념으로 다룬다. 셰논 하틀리(Shannon-Hartley) 이론에 따르면, 신뢰성 있는 통신의 자료 전송율(data rate)은 통신을 위해 쓰이는 신호의 주파수 범위에 밀접하게 비례한다. 여기서 말하는 대역폭이라는 용어는 통신 시스템의 자료 전송율 또는 주파수 범위(또는 둘 다)를 말한다. 이를테면, 무선 통신에서는 변조된 반송파(carrier wave)가 차지하는 주파수 범대역폭이라고 한다. 로그
엔트로피는 대략 어떤 시스템의 무질서도에 대한 측정을 말한다. 통계 열역학에서, 어떤 물리적 계에 대한 엔트로피 S는 다음과 같다. 정보의 단위
가장 일반적인 단위는 비트, 컴퓨터 시스템에 존재하는 0, 1의 두 가지 상태이며, 바이트 (또는 옥텟)의 8분의 1이다. 정보량이 더 많아지면 붙이는 접두어로는 SI 접두사 (1000의 거듭제곱 이용)또는 새로운 IEC 이진 접두사 (1024의 거듭제곱 이용)를 사용한다. 정보 과다
정보 과다(情報過多, )는 정보가 너무 많아서 문제 및 의사 결정을 이해하기 어려운 것을 가리킨다. 이 용어는 앨빈 토플러가 그의 1970년 베스트셀러 책 《미래의 충격》을 통해 대중화되었지만 벌트람 그로스의 1964년 책 《The Managing of Organizations》에도 언급되어 있다. (Speier et al. 1999년) 인공 신경망
단어 '인공신경망'에서 "망"은 각 시스템에 있는 여러 층의 뉴런 간의 연결을 의미한다. 예를 들어 세 층이 있는 시스템이 있다면, 첫 번째 층은 시냅스를 통해 두 번째 층의 뉴런들로 데이터를 보내는 입력 뉴런들이 있고, 더 많은 시냅스를 통해 세 번째 층의 출력 뉴런으로 신호를 보내는 식이다. 시스템이 더 복잡해질수록 뉴런 층의 수도 더 많아지고, 그 층 안에 있는 입력 뉴런과 출력 뉴런들의 수도 많아질 것이다. 이 시냅스들은 계산 과정에서 데이터 값을 조절하는 가중치 값을 저장한다. 열역학
'어떠한 계, 혹은 계의 어떠한 상태에서든지, 엔트로피는 절대영도에서 최소이다'라고 표현할 수도 있으며, '유한번의 과정을 통해 절대영도에 도달하는 것은 불가능하다'라는 표현도 사용할 수 있다. 정보 엔트로피
직관적인 이해를 위해, 우리가 ABCD 4가지 문자로 이루어져있는 메시지를 전달한다고 생각해보자. 이 메시지는 ‘ABADDCAB’이다. 정보 이론은 우리에게 메시지를 전달할 가장 작은 정보량을 계산하는 방법을 제공한다. 만약 4개 글자가 모두 확률이 동일하다면 (25%), A는 00, B는 01, C는 10, D는 11과 같이 2비트로 (바이너리에서) 인코딩하는 수 밖에 방법이 없다. 이제 A가 70%, B가 26%, C와 D가 2%의 확률로 발생한다고 가정하자. 우리는 각각의 문자에 가변 길이 코드를 부여할 수 있다. 우리가 순차적인 2비트의 1 (11)을 받지 않았다면, 1을 받는 것은 다음 비트까지 조사하라는 것을 의미한다. 이 경우에 A는 0 (1비트), B는 10 (2비트), C와 D는 각각 110, 111 (3비트)로 인코딩 될 수 있다. 70%의 경우, 우리는 1비트만 전송하며 26%의 경우 2비트를, 나머지 4%의 경우에만 3비트를 전송한다. 평균적으로, 2비트 이하의 정보를 전송하기 때문에 엔트로피는 감소한다.(A와 B를 합치면 96%라는 높은 출현빈도가 나오기 때문이다) 섀넌 (단위)
섀년(Shannon ,기호 : Sh)은 일반적으로 비트(bit)로 알려져 있으며, ISO/IEC 80000-13에 정의 된 정보 엔트로피 의 단위이다 . 하나의 섀넌은 확률이 formula_1일 때 발생하는 이벤트의 정보 내용이다. 그것은 또한 두 가지 가능한 상황을 가진 시스템의 엔트로피이다. 메시지가 일련의 비트 들로 이루어지고 모든 가능한 비트 문자열들이 똑같이 발생한다면, 섀넌들로 표현된 메시지의 정보 내용은 시퀀스 내의 비트들의 수와 동일하다. 이러한 이유로 섀논은 일반적으로 비트로도 알려져 있다.