비트
작성
에 풉;에 첫 작성. 에 허튼소리로 옮긴 뒤 윤문.
비트(bit)는 정보의 단위이다. “이진법 자리”(binary digit)의 준말이니만큼, 1비트는 두 가지 서로 다른 값을 가질 수 있는 정보의 정보량을 가리킨다. 정보량은 곱해지므로 k비트의 정보는 2k가지 서로 다른 값을 가질 수 있다.
비트는 정보 엔트로피의 단위이기도 한데, 두 가지 서로 다른 값을 가질 수 있는 확률 변수에서 각 선택지의 확률이 동일할 때의 엔트로피가 1비트이다. 다르게 말하면 해당 확률 변수의 값이 알려졌을 때 얻어지는 정보의 양(information gain)이 1비트인 것이다.
관련 단위
비트는 굉장히 작은 단위이므로 한 번에 다룰 수 있는 비트들의 묶음인 바이트나 바이트에서 유래한 더 큰 단위를 쓰는 게 보통이다. 통상 비트를 직접 사용하는 경우는 Gbps(초당 기가비트)와 같이 전송 속도인 경우가 대부분인데, 바이트를 쓴 GB/s(초당 기가바이트)와 8배 차이 난다는 것을 유의해야 한다.