特斯拉自动驾驶团队大牛Andrej Karpathy将从特斯拉离职！就在今天，特斯拉负责人工智能和计算机视觉的高级总监 Andrej Karpathy在自己的个人推特账号表示：“很高兴帮助特斯拉实现过去5年的目标，并作出分道扬镳的艰难决定。在特斯拉工作期间，Autopilot从车道保持到城市阶段，我期待看到异常强大的Autopilot团队继续保持这种势头。”
▲Andrej Karpathy在推特公布自己将离开特斯拉
随后马斯克在这条推文下面评论称：“感谢您为特斯拉做作的一切！与您合作一直是我的荣幸。”
▲马斯克发推感谢Andrej Karpathy
对于下一步的规划，Andrej Karpathy也在评论区坦然表示：“我对于下一步没有具体计划，但希望花更多时间重新审视我对人工智能、开源和教育技术工作的长期热情。”Andrej Karpathy五年前正式加入特斯拉，担任担任神经网络和计算机视觉专家，在这五年时间内，迅速晋升，成为特斯拉Autopilot团队的重要一员，在特斯拉开发FSD的过程中也发挥了非常重要的作用。
▲Andrej Karpathy
随着特斯拉从自动驾驶扩展到更加广泛的人工智能，Andrej Karpathy也成为特斯拉人工智能的高级总监。在近几年的特斯拉发布会等重要场合，都是他代表特斯拉在介绍自动驾驶、机器人和AI技术，可以说就是特斯拉自动驾驶团队的灵魂人物，重要性可见一斑。就在Andrej Karpathy宣布离职消息之后，理想汽车AI负责人王轶伦在个人朋友圈表示，Andrej Karpathy认为自己在特斯拉的贡献只是车道保持到城市街道，但是他在AI Day和CVPR workshop上的多次公开分享让大家了解到了大模型、BEV、数据闭环、影子模式这些概念，推动了（自动驾驶）行业的转型和进步，他的离开是业界的损失，期待下来有更大的贡献。从行业内人士的评论也不难看出，Andrej Karpathy在自动驾驶和人工智能领域做出的突出贡献，甚至被业内广泛认为是开创者和带领者。至于其离职的原因，目前还不得而知，其下一步的发展规划也还没有明确，不过对于这样一位有力推动了行业发展的技术大牛来说，我们期待他在未来能做出更多的成绩。
早在今年3月28日，特斯拉就曾宣布人工智能负责人Andrej Karpathy正在进行休假，将会休假四个月。Andrej Karpathy也在社交软件表示：“在特斯拉工作了近 5 年后，抽出一些时间休息和旅行。特别高兴能有时间集中精力重新提高我的技术优势并训练一些神经网络！虽然我已经怀念所有的机器人和 GPU/Dojo 集群，并期待着它们再次触手可及。”
▲Andrej Karpathy曾在推特表示没有离开特斯拉
而当时就有一些特斯拉的粉丝和投资者感到担心，因为此前就有特斯拉高管在休假之后进行了离职。如特斯拉前工程高级副总裁Doug Field在2018年就请假与家人共度时光，虽然特斯拉当时向所有保证，Doug Field没有离开公司。但几个月后，Doug Field宣布不会再返回特斯拉，而是在特斯拉工作了五年之后，重新回到了苹果公司，又在近期加入了福特。而这次Andrej Karpathy在休假四个月之后，也选择了从特斯拉离职，也基本上证实了当初粉丝和投资者的猜想。
可以说，特斯拉在这几年间能够成为自动驾驶和人工智能领域的头部玩家之一，Andrej Karpathy居功至伟。在他的领导下，特斯拉在自动驾驶方面做了多个新的尝试，接连向外介绍了BEV、HydraNet、纯视觉路线等多个技术路线。此前在日常行驶过程中，摄像头作为传感器捕捉的内容都是二维图像，并没有深度信息。由于缺失这样一个重要信息，自动驾驶的运算可能并不准确，操作可能出错。因此，捕捉或者建立一个三维的图景很有必要。
▲特斯拉摄像头采集的画面可以确定边界，但不包含深度信息
传统工程师认为，直接在车顶安装三维摄像机就能解决这一问题。不过，这既要增加车辆的制造成本，又影响车辆美观。此外，由于车顶面积比较大，如果三维摄像头高度不够，盲区将会非常大。在Andrej Karpathy的带领下，特斯拉工程师想到用算法解决这个问题。如果有一种算法能够将二维图景的时序、边缘对齐，投影形成三维图景，这个问题就解决了。
▲通过算法得出的“鸟瞰视图”
在计算出三维图景之后，特斯拉甚至可以计算出车辆的“鸟瞰视图”。也就是说，虽然车辆上方没有摄像头，但通过计算就能模拟出从车辆上方向下看的图景。这样一来，车辆离障碍物还有多远的距离，车内都能直观地看到。
▲Andrej Karpathy与马斯克在特斯拉AI Day
他说，特斯拉通过车身四周的8枚摄像头，形成三维矢量空间，感知出车身周围的环境。设计自动驾驶AI视觉时可以逆向工程成人脑识别图像。例如在为汽车设计其“视觉皮层”时，特斯拉根据眼睛如何感知生物视觉进行建模。特斯拉的8个摄像头都采用1280*960分辨率12bit HDR图像，以每秒36帧的速率采集，就能够实现良好的感知效果。
▲车身上的八个摄像头汇集成三维的“向量空间”
经过神经网络计算时，自动驾驶电脑会不断缩小分辨率，同时提升通道数量。除了识别车辆，特斯拉还会识别人、红绿灯等多种物体，因此特斯拉开发了多任务神经网络HydraNet。HydraNets网络共有三个特点，第一是能够高效测试；二是能够单独微调每个任务，同时还能特征缓存与加速微调，突破再现的瓶颈。HydraNet的基础算法代码是共享的，整个HydraNet包含48个不同的神经网络，通过这48个神经网络，就能输出1000个不同的预测张量。理论上来说，特斯拉的这个超级网络，能同时检测1000种物体。完成这些运算并不简单，特斯拉已经耗费了7万个GPU小时进行深度学习模型训练。而在Andrej Karpathy带领特斯拉自动驾驶团队发展期间，特斯拉还拿掉了毫米波雷达，坚持走纯视觉路线，Andrej Karpathy也曾多次向外介绍特斯拉这么做的原因。他在演讲中讲到，从特斯拉开发自动驾驶之初，就没有考虑为车辆加入激光雷达和高精地图，因为这会导致建图、维护成本大幅上升。而随着AI能力不断提升，特斯拉直接取消了毫米波雷达。
▲Andrej Karpathy对外分享特斯拉的自动驾驶方案
纯视觉感知最大的问题就是无法测量距离、速度和加速度。不过纯视觉感知和人眼类似，人脑能“脑补”出距离并拥有优秀的驾驶技术，神经网络同样有这样的能力。在过去4个月时间里，特斯拉人工智团队的核心20名成员搞定了这件事。特斯拉收集了221种共100万段10秒钟的短视频，利用对物体自动标签化，经过7轮影子模式循环，最终在纯视觉感知中取得了不错的效果，超越了毫米波雷达+摄像头的传感器融合方案。特斯拉甚至为此建立了一台全球排名第五的超级计算机，采用5760个英伟达A100 Tensor Core GPU，10PB容量的NVME存储。不难发现每次对外公开发声，Andrej Karpathy都对特斯拉的技术路径和解决方案做了大量的技术解读，也让更多用户了解到了特斯拉技术方案的奥秘，同时也给了行业很多玩家一定的启迪作用。Andrej Karpathy在特斯拉的五年时间，正式特斯拉自动驾驶系统发展最为迅速的五年，给整个行业也带来了很多新的发展思路。多个特斯拉学徒都将特斯拉的自动驾驶技术作为研究目标和超越方向。
作为特斯拉人工智能团队的负责人，Andrej Karpathy在很早就展示出了其对于计算机科学的喜爱，其此前的教育经历和工作经验都牢牢的围绕着这一点。
▲Andrej Karpathy的领英主页
领英上显示，Andrej Karpathy在2005年到2009年在多伦多大学主修计算机科学和物理学，同时还辅修了数学，获得学士学位。之后前往不列颠哥伦比亚大学继续进修计算机科学，于2011年拿到了硕士学位，当时他的研究方向就包括了机器人。而在2011年到2016年之间，Andrej Karpathy在斯坦福大学获得了计算机科学博士学位，是美国国家工程院院士李飞飞的高徒。虽然直到2016年才彻底走出校园，但Andrej Karpathy很早就开始了自己的实习生涯。2011年5月到9月这五个月时间内在谷歌成为了YouTube监督深度学习/计算机视觉的暑期实习生。2013年6月到9月之间，再次担任这一工作。2015年，在谷歌DeepMind担任了四个月的研究实习生，主要进行基于模型的深度强化学习研究。在斯坦福学习期间，Andrej Karpathy还成为了一门深度学习课程的主要讲师，目前这门课已经成为斯坦福大学最受学生欢迎的课程之一。在毕业之后，Andrej Karpathy作为创始成员之一，创办了Research Scientist，主要负责开源人工智能的研究，进行了一些生成模型的深度学习和深度强化学习。不过，Andrej Karpathy在Research Scientist短暂停留了1年6个月之后，就加入了以特斯拉，然后开启了5年非凡的职业生涯。结语：祝Andrej Karpathy有更好的未来
对于Andrej Karpathy，马斯克给出了很高的评价，甚至说出了“与您合作一直是我的荣幸”这样略显肉麻的话，可见马斯克对于Andrej Karpathy有多满意。对于Andrej Karpathy的离开马斯克应该也是不舍的，但天下没有不散的宴席。理想自动驾驶量产负责人王佳佳就在其个人朋友圈表示，科学家在企业五年算是时间比较长的，目前只是特斯拉到了新的阶段双方的选择而已。对于Andrej Karpathy的离职，我们不去评说太多，但这样一位给行业带来了很多惊喜的技术大牛，显然并不会停止自己前进的脚步，我们可以共同期待Andrej Karpathy在未来能够做出更多让行业惊喜的内容。
浏览量：570
作者：
来源：车东西
时间：2022-07-14
