테슬라 '비전 온리'의 한계와 센서 퓨전의 필요성 (간단한 파이썬 구현)

안녕하세요.

2021년 당시 테슬라가 라이다(LiDAR)와 레이더를 모두 떼어내고 카메라 기반의 '비전 온리'로 전환한 결정에 대해 현업 개발자분들은 어떻게 생각하시나요?

머신러닝과 비전 모델이 통제된 데이터셋 안에서는 완벽에 가까운 성능을 보여주지만,

현실 도로의 예측 불가능한 엣지 케이스(급격한 조도 변화, 악천후, 그림자 등) 앞에서는 여전히 취약하다는 것을 '팬텀 브레이킹' 사태가 증명하고 있다고 생각합니다.

이러한 비전 모델의 본질적인 취약점을 시각적으로 확인해 보고자, 파이썬과 OpenCV를 이용해 제 블랙박스 영상을 분석하는 50줄 남짓의 기초적인 시뮬레이션 코드를 작성해 보았습니다.

Python

# 파일명: tesla_vision_simulator.py
import cv2

def run_vision_simulator(video_file_path: str, model_cascade_path: str) -> None:
    """블랙박스 영상을 통해 차량 인식 모델의 엣지 케이스(오탐지)를 확인합니다."""
    video_capture = cv2.VideoCapture(video_file_path)
    vehicle_detector = cv2.CascadeClassifier(model_cascade_path)

    while video_capture.isOpened():
        is_frame_read, current_frame = video_capture.read()
        if not is_frame_read:
            break

        resized_frame = cv2.resize(current_frame, (640, 360))
        grayscale_frame = cv2.cvtColor(resized_frame, cv2.COLOR_BGR2GRAY)

        detected_vehicles = vehicle_detector.detectMultiScale(grayscale_frame, scaleFactor=1.1, minNeighbors=3)
        for (x_coord, y_coord, width, height) in detected_vehicles:
            cv2.rectangle(resized_frame, (x_coord, y_coord), (x_coord + width, y_coord + height), (255, 0, 0), 2)

        cv2.imshow('Vision Edge Case Simulator', resized_frame)
        if cv2.waitKey(30) & 0xFF == ord('q'):
            break

    video_capture.release()
    cv2.destroyAllWindows()

if __name__ == "__main__":
    run_vision_simulator('sample_dashcam.mp4', 'haarcascade_car.xml')

물론 테슬라의 Occupancy Networks는 이보다 수백 배 복잡한 시스템이지만,

본질적으로 '빛'에 의존하는 카메라의 한계는 동일합니다.

과거에는 레이더가 전파를 쏴서 "앞에 물리적인 장애물이 없다"라고 크로스체크를 해 주었지만,

이 센서 퓨전(Sensor Fusion)을 포기한 대가로 AI는 빛의 장난에 속아 급제동을 걸어버리게 된 것이죠.

뭐 지금은 잘 돌아 갑니다.

의존성 관리는 requirements.txt 대신 pyproject.toml을 사용하여 구성했습니다. 전체 소스 코드와 시뮬레이터 구동 모습이 궁금하신 분들은 아래 링크를 참고해 주세요. 테슬라의 이런 아키텍처 결정이 기술적 오만인지, 딥러닝의 미래를 위한 과도기인지 선배, 동료 개발자분들의 고견이 궁금합니다.

▶️ 기술 해설 및 시뮬레이터 구동 영상 : https://www.youtube.com/watch?v=xWrnxjh1GnY