信道编码

⚠ 转载请注明出处：作者：ZobinHuang，更新日期：June 7 2022

    本作品由 ZobinHuang 采用 知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议 进行许可，在进行使用或分享前请查看权限要求。若发现侵权行为，会采取法律手段维护作者正当合法权益，谢谢配合。

目录

有特定需要的内容直接跳转到相关章节查看即可。

正在加载目录...

信道编码器

信道编码器的定义

    如 1 所示，设信源输出的消息集 $\mathcal{W} = \{w_1, w_2, ..., w_M\}$，我们假设消息集中的消息是以等概率 $\frac{1}{M}$ 随机选取的，这样一来每一个消息的信息长度即为 $\log M$。

    信道编码过程把信源输出的长度为 $\log M$ 的消息编码为码字，我们设编码方程为 $f: \{w\} \rightarrow \mathcal{X}^n$，其中 $\mathcal{X}^n$ 代表了由输入字符集 $\mathcal{X}$ 中的符号组成的长度为 $n$ 的码字。为了简单，我们下面把编码器表示为: $X = f(\mathcal{W})$。

    信道译码过程把信道输出的长度为 $n$ 的码字翻译为消息，设译码方程为 $g: \mathcal{Y}^n \rightarrow \{w\}$，其中 $\mathcal{Y}^n$ 代表了由输出字符集 $\mathcal{Y}$ 中的符号组成的长度为 $n$ 的码字。为了简单，我们下面把编码器表示为: $\hat{W} = g(Y)$ (i.e. 对消息 $W$ 的估计)。

    对于如上所示的信道编码，我们称之为 $(n,M)$ 码。

错误概率的定义

    对于所有的输入信道编码器的消息 $1 \le w \le M$，定义消息 $w$ 的条件错误概率为:

$\lambda_w = \Pr\{ \hat{W} \ne w | W = w \} = \sum_{y \in \mathcal{Y}^n: g(y) \ne w} \Pr\{Y=y | X=f(w)\}$

    我们定义 $(n,M) 码$ 的 最大错误概率 为:

$\lambda_{\max} = \max \lambda_w$

    我们定义 $(n,M) 码$ 的 平均错误概率 为:

\begin{aligned} P_e &= \Pr \{ \hat{W} \ne W \} \\ \\ &= \sum_{w} \Pr \{W = w\} \cdot \Pr \{\hat{W} \ne w | W = w\} \\ \\ &= \sum_{w} \frac{1}{M} \Pr \{\hat{W} \ne w | W = w\} \\ \\ &= \frac{1}{M} \sum_{w} \lambda_w \end{aligned}

信道编码的码率

    定义 $(n,M)$ 码的码率为:

$R = \frac{1}{n} \log_2 M \; \text{bit/码元}$

联合典型序列

    令 $X$ 和 $Y$ 是两个概率空间: $\textbf{x} = (x^{(1)}, x^{(2)}, ..., x^{(N)}) \in X^N$, $\textbf{y}= (y^{(1)}, y^{(2)}, ..., y^{(N)}) \in Y^n$，若对序列 $\textbf{x}$ 和 $\textbf{y}$ 满足:

    $\textbf{x}$ 是 $\epsilon$ 典型序列，即对任意小的正数 $\epsilon$，存在 $N$ 使得

$|-\frac{1}{N} \log \mathcal{P}(\textbf{x} - H(X))| \le \epsilon$

    $\textbf{y}$ 是 $\epsilon$ 典型序列，即对任意小的正数 $\epsilon$，存在 $N$ 使得

$|-\frac{1}{N} \log \mathcal{P}(\textbf{y} - H(Y))| \le \epsilon$

    $\textbf{xy}$ 是 $\epsilon$ 典型序列，即对任意小的正数 $\epsilon$，存在 $N$ 使得

$|-\frac{1}{N} \log \mathcal{P}(\textbf{xy} - H(XY))| \le \epsilon$

    则称序列对 $x$ 和 $y$ 是 联合 $\epsilon$ 典型序列。

信道编码定理

    

xxx