Deepstream 이란

딥 러닝을 활용한 비디오 분석 응용 프로그램의 고 성능 개발을 손쉽게 할 수 있도록 만든 NVIDIA의 라이브러리이다. 높은 수준의 C++ API와 고성능 런타임 (High Performance Runtime)을 통해 GPU 가속 Transcoding 과 딥러링 추론 기능을 빠르게 통합하여 보다 반응이 빠른 AI 기반 서비스를 제공할 수 있도록 한다. 이는 Intelligent Video Analytics의 보다 손 쉬운 개발을 지원하며 개발자들은 딥스트림을 사용해 실시간으로 동영상 프레임을 처리하고, 이해하며 분류 작업을 진행할 수 있다. 또한 매우 높은 수준으로 요구되는 처리량(Throughput) 및 반응 시간(Latency)에 대한 요건을 충족시킬 수 있다.

이러한 DeepStream SDK는 AI 기반 다중 센서 처리, 비디오 및 이미지 이해를 위한 완전한 스트리밍 분석 툴킷을 제공한다. 또한 픽셀 및 센서 데이터를 실행 가능한 인사이트로 변환하는 End-to-End 서비스 및 솔루션을 구축하기 위한 플랫폼인 NVIDIA Metropolis의 필수적인 부분이기도 하다.

 

Deepstream 사용의 이점

-      AI 기반 비디오 및 이미지 분석을 위한 원활한 스트리밍 파이프라인 구축 가능

-      개발자에게 C / C++ / Python 의 개발 옵션을 두어 개발 유연성 제공

-      다양한 하드웨어 가속 플러그인과 함께 제공됨

-      SSD, YOLO, FasterRCNN 및 MaskRCNN 과 같은 광범위한 AI 모델 지원

-      OpenCV 함수 및 라이브러리 통합 가능

-      Pytorch 및 TensorFlow 와 같은 기본 프레임워크에 모델을 배포하거나 다중 GPU, 다중 스트림 및 일괄 처리 지원        옵션과 함꼐 높은 처리량의 추론을 위해 NVIDIA TensorRT를 사용하여 최상의 성능 달성 가능

-      모든 클라우드 및 엣지에서 실행될 수 있으므로 엣지와 클라우드 간의 효과적인 양방향 메시징, 보안, 스마트 녹화         및 무선 AI 모델 업데이트와 같은 IoT의 요구사항 처리 가능

-      클라우드 레지스트리의 전체 앱 또는 개별 AI 모델에 대한 원활한 OTA(Over-the-Air) 업데이트를 통해 다운 타임           없이 정확성을 지속적으로 개선 가능 등

1)   파이프 라인에 비디오 파일 또는 Cam을 통한 영상을 로드하여 디코딩 처리수행

2)   디코딩을 수행한 프레임을 streammuxer처리

3)   Object detection을 수행하기 위한 모델 실행

4)   Tiled-display에서 프레임을 어떻게 분할할지 결정 및 처리

5)   Osd를 통해 비디오 프레임에 인식결과 텍스트와 사각형을 오버레이

6)   Sink를 통해 속성을 지정하고 렌더링, 인코딩 및 파일의 저장을 위한 싱크 구성 요소동작을 적용

 

 

https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_ref_app_deepstream.html

DeepStream Reference Application - deepstream-app — DeepStream 5.1 Release documentation

https://eehoeskrap.tistory.com/524

[DeepStream] 딥스트림 개요 및 참고자료들