Karpathy war seit 2017 bei Tesla und war unter anderem dafür zuständig, dass Autopilot seine Umgebung erkennen kann. Tesla versucht gerade, das Autopilot-System von relativ einfachen Aufgaben wie dem Halten von Spur und Abstand für den Betrieb in der Stadt mit Ampeln, Kreuzungen und Vorfahrtsregeln fitzumachen. Wie Videos von Beta-Testern zeigen, macht die Software zum Teil aber noch eklatante Fehler, die vom Menschen am Steuer korrigiert werden müssen.
Zum Training des Autopilot-Systems gehört auch, dass Menschen für sie Objekte im Bild benennen. Einen Teil damit beschäftigter Mitarbeiter entließ Tesla jüngst bei einem Stellenabbau. US-Behörden untersuchen gerade die Autopilot-Software nach einer Serie von Unfällen.