今天我19岁生日，特给自己放假一天。

这两天又学到一点新东西。

…

预警：本文将会很长，可能比较无聊。

古时候的圣人里面，有姓辛普森讳侯默的，因为平素运气不好而出名。我从前只是戏谑地看待这件事，认为没有人能够仅凭借很差的运气而流传到今天的。可是近日的一些经历，实在让我领教了气运的作弄，原来只是倒霉的故事也是可以特地记下来的呀！

我复习期末的时候还是觉得特征线法很难受，而在波动方程这一部分中它又老出现，和什么riemann invariant搅在一起让人头疼，所以觉得应该写一个笔记。希望能从一个比较具象的角度理解它。这个东西很多地方也不教，默认大家都觉得很平凡，也许还是应该教一下的。还有波这个主题，有的时候我怀疑自己脑子里面缺一些结构，大家都默认波动很简单，可是我很难具体地想象出波来，更不用说波动方程玩出花的各种解了。

week 13,14 第七章讲的是数值算法。此外，由于这篇太短了，我决定瞎鸡巴议论一番。可能会很naive。。。 交叉熵 KL散度 $D\left(P_{1} \| P_{2}\right)=\sum_{x \in \mathcal{X}} P_{1}(x) \log _{2} \frac{P_{1}(x)}{P_{2}(x)}$ 是一个度量两个分部之间相似程度的量。说实话，这个地方divergence看上去和“散度”并没有什么关系（因为此时并不存在与它对应的“旋度”的概念），更像是字面意义上的“分歧度”。它始终大于零，除非两个分布完全一样。 KL散度体现了我们对于“熵最大的分布是均匀分布”的认识。考虑$P_2=1/n$， $D\left(P_{1} \| P_{2}\right)=-H(X)+\log _{2} n \geq 0 \Rightarrow \log _{2} n \geq H(X)$， 其中$H(X)=-\sum_{x \in \mathcal{X}} P(x) \log _{2} P(x)$是香农熵。如果我们进一步考虑能量守恒$\sum xP=\langle E\rangle$这个约束，最小化$D(P_1||P_2)$，就得到指数族，这很可以作为正则系综的一个解释。至于香农熵用来代表热力学熵的合法性，是来自于几个基本的直觉的，jaynes深入地讨论过。 坏处上，KL散度这个量是不对称的，而且也没归一化。作为一种改进，我们有 JS（jensen-shannon）散度： $J\left(P_{1}, P_{2}\right)=\frac{1}{2} D\left(P_{1} \| P\right)+\frac{1}{2} D\left(P_{2} \| P\right)$ $P(x)=\frac{1}{2} P_{1}(x)+\frac{1}{2} P_{2}(x)$ 这个量不仅对称，还被限制在0-1之间。引入一个变量$z=\{1, 2\}$，$P(z=i):=\pi_i$。在我们的例子中，$P_i(x)=P(x|z=i)$，$\pi\equiv0.5$。定义分布x和z的互信息 $I(x, z)=\sum_{x,z}p(x,z)\log_2\frac{p(x, z)}{p(x)p(z)}$ 把它写成$H(z)-H(z|x)$，在我们的例子里就是$1-H(z|x)\leq 1$。 同时，还可以证明这个互信息，也就是$P_{1,2}$的平均的分布和均匀二点分布的互信息，正是JS散度。因此，可以证明JS散度是有上限的。 交叉熵 $H_{c}(P, Q):=-\sum_{x \in \mathcal{X}} P(x) \log _{2} Q(x)=\sum_{x \in \mathcal{X}} P(x) \log _{2} \frac{1}{Q(x)}=H(P)+D(P \| Q)$...

上回写了博尔赫斯，这回谈谈马尔克斯。

昨天晚上我和一些人一起去打篮球，其中有一位美籍印度人，本科的时候上过Carroll的课。我很久没有打过篮球，大概有五、六年了，所以打得很不好。我干脆就带领大家打快乐篮球。后来吃饭的时候，可能是快乐的激励，可能是咖啡的作用，我说了很多话。

week 11,12 小平学得很辛苦， 不懂的证明反复再三地看， 还抄在笔记上背下来。这么一来好像懂了。 ——《游里工夫独造微，小平邦彦传》 这句话其实适合上一章的内容：对于我贫乏的脑子来说很抽象的东西，抄几遍好像就懂了。虽然说这一章比较简单，但是抄书还是有帮助的。况且，从前学的时候，概率相关的很多东西当成数学课来学，对于我现在的脑子来说，motivation也不知道，对知识结构的划分和重要性的判断都很差，近乎于没有。讲义是物理学家的角度写下来的，我个人觉得写得不错，抄一遍可以厘清这些东西。 另外，kunihiko貌似是氼畚儿国一个很常见的男性用名。Kunihiko Kaneko 和 Kunihiko Kodaira，光我听说过的学者就有两个。 Monte Carlo Sampling 动机 从概率分布里面抽取iid（独立同分布）的sample，主要是有以下几个应用场合： 积分的数值结果 算Bayesian posterior 数值优化 计算物理的一些别的场景。 特别的，考虑到电脑里头伪随机数的生成特点，很重要的是怎样把任意的分布的sampling转化为均匀分布的sampling。 概率复习 从相空间体积元不变的想法，可以写出 $p_{Y}\left(y_{1}, \ldots, y_{n}\right)d\mathbf{y}=p_{X}\left(x_{1}(\mathbf{y}), \ldots, x_{n}(\mathbf{y})\right)d\mathbf{x}$ 因此 $p_{Y}\left(y_{1}, \ldots, y_{n}\right)=p_{X}\left(x_{1}(\mathbf{y}), \ldots, x_{n}(\mathbf{y})\right)\left|J\left(y_{1}, \ldots, y_{n} ; x_{1}, \ldots, x_{n}\right)\right|^{-1}$ 其中 $J\left(y_{1}, \ldots, y_{n} ; x_{1}, \ldots, x_{n}\right)=\left|\begin{array}{cccc}{\frac{\partial y_{1}}{\partial x_{1}}} & {\frac{\partial y_{1}}{\partial x_{2}}} & {\cdots} & {\frac{\partial y_{1}}{\partial x_{n}}} \\ {\frac{\partial y_{2}}{\partial x_{1}}} & {\frac{\partial y_{2}}{\partial x_{2}}} & {\cdots} & {\frac{\partial y_{2}}{\partial x_{n}}} \\ {\vdots} & {\vdots} & {\vdots} & {\vdots} \\ {\frac{\partial y_{n}}{\partial x_{1}}} & {\frac{\partial y_{n}}{\partial x_{2}}} & {\cdots} & {\frac{\partial y_{n}}{\partial x_{n}}}\end{array}\right|$...