分享俩个大模型挂经，xAI & 英伟达
这次分享两个惨痛的挂经，挂得十分彻底那种。作者：Rooters@知乎
链接：https://zhuanlan.zhihu.com/p/658685266
一、xAI
先说xAI，这家是老马新成立的AI公司，目前还比较小，不过官网上人员背景真的是强。打的口号也很响亮是要explore the universe。拿到面试很开心，结果直接一轮游了。。。前面扯皮说简历直接略过，直接说挂掉的部分吧。楼主背景模型端为主，但是简历上也体现了一些底层。整体面试流程像聊天，面试官讨论性地问了下模型一些内容，然后过度到一个cuda的问题：transformer通常有很大的weights量，然后自回归生成时这些weights会成为速度bottleneck，现在有个方法是把weights量化之后和高精度的激活神经元做矩阵相乘，比如 int8、float16 这种，说说这个东西底层怎么实现。这个楼主真的是不清楚，当时就慌了，很久也没想出来。开始答先cast，但是明显不对，这样降不下IO的cost，等于没说。然后后面又问了一些其他比如evaluation的方法等问题，也是答得驴唇不对马嘴，所以喜提rejection哈哈。后来看了下好像TensorRT里有相关内容，不过目前还没找到确切答案（有大佬可以给pointers吗，十分感谢）。侧面了解到他们工作强度比较大（毕竟老马公司），面试官也含蓄表达了工作强度。大牛面试官很厉害，就当追星来见一眼idol了吧。。。二、英伟达
英伟达这边是Research Scientist岗，纯模型端，楼主也一轮游挂了。。。一开始问的是深度学习，大模型相关的算法内容，这个环节相对还okay。挂在了后面问RL和RLHF的内容。开始让解释RL一些要素，policy gradient 和 actor critic区别，on/off policy的区分。到这个阶段都还好，然后开始问一些相对底层的东西，问了RL算法里边一些细节（开始略慌），比如loss里边两个policy的ratio的原理（其实和on/off policy有关系，结束后查了下网上有推导），后边问了bellman-equation相关一些推导和convergence就彻底卒了，最后的RLHF相关的问题也答得一般，喜提拒信。总结：楼主之前一些面试挺顺，结果也不错，有点得意忘形，也没太准备（RL的好好准备下应该起码会好一些，xAI那个真滴不会）。深度和广度还是有挺大差距的，可能和年限也有关系吧。面完这俩之后默默滚去学习了。。。一起交流
想和你一起学习进步！『NewBeeNLP』目前已经建立了多个不同方向交流群（机器学习 / 深度学习 / 自然语言处理 / 搜索推荐 / 图网络 / 面试交流 / 等），名额有限，赶紧添加下方微信加入一起讨论交流吧！（注意一定o要备注信息才能通过）