Posts

…

今天我19岁生日，特给自己放假一天。

这两天又学到一点新东西。

…

预警：本文将会很长，可能比较无聊。

古时候的圣人里面，有姓辛普森讳侯默的，因为平素运气不好而出名。我从前只是戏谑地看待这件事，认为没有人能够仅凭借很差的运气而流传到今天的。可是近日的一些经历，实在让我领教了气运的作弄，原来只是倒霉的故事也是可以特地记下来的呀！

我复习期末的时候还是觉得特征线法很难受，而在波动方程这一部分中它又老出现，和什么riemann invariant搅在一起让人头疼，所以觉得应该写一个笔记。希望能从一个比较具象的角度理解它。这个东西很多地方也不教，默认大家都觉得很平凡，也许还是应该教一下的。还有波这个主题，有的时候我怀疑自己脑子里面缺一些结构，大家都默认波动很简单，可是我很难具体地想象出波来，更不用说波动方程玩出花的各种解了。

week 13,14 第七章讲的是数值算法。此外，由于这篇太短了，我决定瞎鸡巴议论一番。可能会很naive。。。 交叉熵 KL散度 $D\left(P_{1} \| P_{2}\right)=\sum_{x \in \mathcal{X}} P_{1}(x) \log _{2} \frac{P_{1}(x)}{P_{2}(x)}$ 是一个度量两个分部之间相似程度的量。说实话，这个地方divergence看上去和“散度”并没有什么关系（因为此时并不存在与它对应的“旋度”的概念），更像是字面意义上的“分歧度”。它始终大于零，除非两个分布完全一样。 KL散度体现了我们对于“熵最大的分布是均匀分布”的认识。考虑$P_2=1/n$， $D\left(P_{1} \| P_{2}\right)=-H(X)+\log _{2} n \geq 0 \Rightarrow \log _{2} n \geq H(X)$， 其中$H(X)=-\sum_{x \in \mathcal{X}} P(x) \log _{2} P(x)$是香农熵。如果我们进一步考虑能量守恒$\sum xP=\langle E\rangle$这个约束，最小化$D(P_1||P_2)$，就得到指数族，这很可以作为正则系综的一个解释。至于香农熵用来代表热力学熵的合法性，是来自于几个基本的直觉的，jaynes深入地讨论过。 坏处上，KL散度这个量是不对称的，而且也没归一化。作为一种改进，我们有 JS（jensen-shannon）散度： $J\left(P_{1}, P_{2}\right)=\frac{1}{2} D\left(P_{1} \| P\right)+\frac{1}{2} D\left(P_{2} \| P\right)$ $P(x)=\frac{1}{2} P_{1}(x)+\frac{1}{2} P_{2}(x)$ 这个量不仅对称，还被限制在0-1之间。引入一个变量$z=\{1, 2\}$，$P(z=i):=\pi_i$。在我们的例子中，$P_i(x)=P(x|z=i)$，$\pi\equiv0.5$。定义分布x和z的互信息 $I(x, z)=\sum_{x,z}p(x,z)\log_2\frac{p(x, z)}{p(x)p(z)}$ 把它写成$H(z)-H(z|x)$，在我们的例子里就是$1-H(z|x)\leq 1$。 同时，还可以证明这个互信息，也就是$P_{1,2}$的平均的分布和均匀二点分布的互信息，正是JS散度。因此，可以证明JS散度是有上限的。 交叉熵 $H_{c}(P, Q):=-\sum_{x \in \mathcal{X}} P(x) \log _{2} Q(x)=\sum_{x \in \mathcal{X}} P(x) \log _{2} \frac{1}{Q(x)}=H(P)+D(P \| Q)$...

上回写了博尔赫斯，这回谈谈马尔克斯。

昨天晚上我和一些人一起去打篮球，其中有一位美籍印度人，本科的时候上过Carroll的课。我很久没有打过篮球，大概有五、六年了，所以打得很不好。我干脆就带领大家打快乐篮球。后来吃饭的时候，可能是快乐的激励，可能是咖啡的作用，我说了很多话。