tech
我应该怎么做科研?
Background
我已经换了三个方向了,从communication(感觉没戏,因为测试小模型发现communication并不是瓶颈) -> aot kernel调度,有点像aot版本的mpk -> megakernel版本的pd mux。我什么结果都没做出来,没能给何老师汇报。我能看出来何老师对我有些失望。另外因为我和vllm社区的人有一些互动,我想增加一些社区的connection,何老师可能以为我的时间全部投入给了vllm。
Motivation
我觉得他出现这些误解是很正常的事情,我的方向一直是不和他在一条线上的。我的思维太过于发散了,并且太好高骛远了,想做一些难度比较高的工作出来。但是以我的水平应该先把一个东西做到最精通,打好这根柱子然后再去做其他东西。我觉得是这样的,我目前对于各个模型各个component都有粗浅的了解了。从FA3的实现到DiT到MLA到RL,我每个都能扯一点,但是我没办法说一个模型我能从上到下把所有细节说透。
Design
对于这一个gpt-oss的项目。我要通过profile手段将其性能完全摸透,从调度一直到SASS我要解释里面的每一个细节。在此基础上,我要对这个模型进行优化。从kernel优化开始,然后做scheduling的优化。这是一个很好的机会,终于不给我派那些非常苦难的活了,相当于给了我另外一个机会去做一个真正属于自己的东西,让我能够证明自己的能力。
软实力
做科研不是你做出什么来,而是让别人知道你做出什么来。即便你什么都没有做出来,你说服别人你做出来了,这也是一种实力。我则是反方向的,我做出来了别人也以为我没有做出来。在科研圈,你不说话、不去争取,就没人会帮你说话。
Comments
No comments yet.