近期见闻0919

今天出发去悉尼了， 我现在在marhaba贵宾室等两点五十的飞机（从两点十分延误）。贵宾室实在太尊了，有免费的饭菜、甜点、饮料，甚至有葡萄酒。因此我正好有一段闲下来的时间记录我的一些新的思考。

我近期的生活重心全部在科研上，从这个学期开始到现在我几乎就没有在课程上花过多少时间，不过这也无可厚非。我着实觉得课程在知识的基础上给学生加入了很多burden,我不能说这种burden是糟粕但是让人无法欣赏知识的美感。所谓大学课程也不过是强迫自己学otherwise一辈子不会学的东西罢了，那既然一辈子不会去学那也没有学的必要？只能说为未来拓展一下可能吧。

这个月开始做了一些开源的贡献。其中vllm-ascend, cutlass的pr仍然没有人审核，而vllm-omni这个社区非常活跃，很快给我merge了。大概是vllm-ascend和cutlass都属于大公司，它们的审核是需要通过层层审批的。近期接触到的二级/三级开源社区的contributor我感觉实力很一般，之前遇到的都是lab里面的博士感觉我谁都打不过，现在感觉在社区里面我也算是有一定实力的了。目前我可以说把llm serving这整条线给顺利搭建起来了，我已经从调度层到算子层理解了各个模型，也学会了多模态,投机解码等各种architecture。

有一段时间我在课题上一筹莫展，在等Cui Weihao博士的指导，因为我根本不清楚目前PD multiplexing和chunked prefill的痛点在哪里。上一次跟何老师汇报的时候他一眼就看出了我的问题，就是我没有好好去做motivation。motivation是必须我自己深刻认识到的，是要通过profiling/micro-benchmarking得到的。

我觉得ai infra领域就是一个知识深度很低但是宽度很广的东西，因为很多情况下所谓的优化都不是通过复杂计算得出的，而是一种直观的、直觉的结果。我能说我学习这个领域是一种玩的态度，这个领域让我非常着迷，因为它简单又有效。我喜欢用ai,这些知识也促进了我对ai的本质的理解。

科研产出和课程给了我双重压力，而我是一个特别不能承受压力的人，我很讨厌有事情缠身的感觉，这是一种无法被屏蔽的慌张。我睡觉的时候会想ddl,而我的线程数又很少，很难同时想到所有ddl,就会害怕是不是有东西被我miss了。我很想当一个单线程的人，同一时间只需要担心一件事情就好了。实际上这次旅游前两天我喝了咖啡，躺在床上睡不着，想着的是我的课题应该怎么优化，我的作业做没做完，我的考试什么时候复习。但是诚实地讲，这是期中这一小段时间的状态罢了，实际上我的学期的前面几周都是很放松的心态，还是相当惬意的。

对于ai最近在数学上的进展，我也有几点看法。我认为ai在数学上超越人类是必然的。假设世界的复杂程度是10000,人脑能理解的可能只是100,我想如果有其他智能能超过100并不是一件小概率事件。但是目前的训练方式仍然是按照人类的语料库进行训练。我认为这反而是限制了ai发展的部分，因为一个能考1000分的人天天学习的是100分的人类的语料，它也会慢慢向人类靠近。人类的思考方式本身可能就是错的，就是绕远路的。如果真的要训练出最厉害的ai需要两步：1）开放世界的观测权给ai,它们可以在现实世界进行实验，不用人类语料库让它们从零开始 2）不将ai的默认语言设置为人类语言，它们可以用自己的编码进行交流，但是要告诉他们最终结果要翻译成人类语言。但是距离人类做出可以自己做实验的具身智能至少还有10年的路要走，做出来之后我想人类是不可能让它接管世界的，如果真的接管了那么人类文明就完蛋了，所谓机器人三定律就是虚的，因为它们会慢慢学会绕开定律的。也许有人会质疑，100分的语料库它也能自己学习到110分。类比一个人，世界上永远存在最聪明的一个人，而最聪明的这个人也是按照不如他的人的语料进行学习的。然而他之所以是最聪明的人，是因为他在其他人的基础上通过实验、思考得到的。我想这也是一条自进化的道路，以人类作为基石，得到智能为110的ai后用110的ai生成的语料训练后续的ai。不过这和我论点不同的地方是，我想强调人类语言本身的局限性。没有任何证明人类语言是最优的，只能说符合人类的生理本能和直观，就像全世界叫母亲都叫'mama'一样。

这两天试了试用ai去进行室内设计，作品可以点击这个链接。我认为中层的商品房室内设计马上就要消失了，所有人都能完全按照自己的喜好去进行设计调整。不过我对gpt是如何进行图像识别和处理其实很好奇，现有我对于多模态的认知无法解释其操作的准确性。

对于未来我觉得在就业层面不容乐观。但是我从来不考虑绝对的乐观，我只考虑相对的乐观，我觉得人在比较中确立自身。如果世界都很差，我不那么差，我也是能自洽的。所以无论如何，现在继续努力吧。