簡単に言うと、遅延とは、情報が1つのポイントから別のポイントに到達するのにかかる時間の「遅延」を指します。 ビデオストリーミングでは、これは画像をキャプチャしてからエンドユーザーの画面に送信するまでの時間間隔に変換されます。遅延ストリーミングは時間の単位で測定され、遅延が大きくなるほど、破壊的な遅延によるビデオストリーミングエクスペリエンスがより破壊されることは一般的な認識です。
たとえば、多くのユーザーは、ビデオ会議プラットフォームを使用しているときにこの問題に直面し、会話は高遅延の問題の影響を受けます。生放送のニュース番組で見たことがあるかもしれませんが、このような遅延のために、キャスターとゲストが2つの別々の会話をしているように見えます。
組み込みカメラの場合、遅延が大きいと、システム全体の障害につながる可能性があります。特にキャプチャされた画像とビデオデータに基づいて判断を下す必要のある自律走行車では注意が必要です。毎週木曜日更新のテクノロジーの技術コラムでは、低遅延ストリーミングの世界を深く掘り下げ、克服すべき課題とそれを必要とする主な組み込みビジョンアプリケーションをご紹介します。
低遅延ストリーミングとは何ですか？なぜそれが重要なのですか？
組み込み型ビジョンアプリケーションでは、遅延の程度が競争上の差別化要因になっています。低遅延のストリーミングは、画像情報をキャプチャ、共有、受信する際に、遅延があったとしてもごくわずかなものであることを保証します。完璧な低遅延を構成する基準はありませんが、受け入れられているベストプラクティスはあります。
もし、ストリーミングが時間的な制約を受けている場合、遅延が大きいと、組み込み型ビジョン・アプリケーションは効果を発揮できない可能性があります。例えば、低遅延のストリーミングに依存するリアルタイムの患者監視デバイスを考えてみましょう。患者のベッドサイド近くに設置された患者監視カメラから、医師、臨床医、看護師が使用するデバイスへの視覚情報の共有に遅れが生じると、生命を脅かす事態につながる可能性があります。
ストリーミングの遅延を可能な限り低減することで、ほぼリアルタイムの映像体験を実現することができ、この記事の後半で少し見ていきますが、組み込み型ビジョンアプリケーションを多くの産業で強力なツールにすることができます。
低遅延ストリーミングはどのように機能しますか？
ビデオストリーミングは、カメラがライブ映像を撮影し、処理することから始まる多層的なプロセスです。次に、ファイルはトランスコーディングのためにエンコーダーに送信されます。最後に、デバイスが画像情報をデコードして表示するエンドユーザーに送信されます。したがって、これらのステップのいずれかで遅延が発生する可能性があります。そのため、低遅延のストリーミングを実現する上で妨げとなる可能性のある要因に注意する必要があります。
低遅延ストリーミングに影響を与える4つの要因
- 帯域幅: 考えるまでもなく、これにより、1秒あたりに転送できるデータ量が決まります。したがって、ネットワークの帯域幅が広い場合は、低遅延のストリーミングに一歩近づきます。
- 接続性: データの送信方法（光ファイバー、WAN、Wi-Fiなど）に応じて、画像情報を共有および受信できる速度は異なります。GMSLカメラを使用している場合は、ホストプロセッサから約15〜20メートル離れた場所に同軸ケーブル1本を使用することで、遅延の少ない組込みカメラを提供することができます。
- 距離: これは地理的な問題で、画像データを送信する距離が長くなればなるほど、ストリーミングビデオの遅延は大きくなります。
- エンコーディング: 低遅延のストリーミングを実現するには、遅延を回避するためにエンコーダをビデオストリーミングプロトコルに合わせる必要があります。そうしないと、伝送速度が低下することになります。
- ビデオフォーマット: ビデオファイルのサイズが大きい場合、インターネット経由で共有すると、必然的に高遅延の問題が発生します。遅延を減らすために、最適化されたファイルサイズを強くお勧めします。ただし、適切なバランスをとらないと、ビデオ品質が低下する可能性があります。
低遅延に依存するトップ組み込みビジョン・アプリケーション
低遅延ストリーミング は、ユーザーエクスペリエンスのギャップを減らしながらタイムリーな情報を送信するため、組み込みビジョンアプリケーションで最高のものを引き出すことができます。オンライン入札に参加したり、ビデオゲームストリーミングを使用したりしたことのある人は、その計り知れないメリットをすでに認識しています。
ここでは、低遅延を実現することが決定的な瞬間となる可能性のある組み込みビジョンアプリケーションを見てみましょう。
ビデオ会議
効果的なビデオ会議カメラには、低遅延機能が搭載されています。これらはパンデミックの時代には、これまで以上に重要になり、リモートの従業員のコラボレーションが新たな常識になりつつあります。遠隔教育プラットフォームもBAUとして広く受け入れられており、オンライン教育は前例のない勢いを増しています。そのため、待ち時間が長くなると、一時停止が長引いたり、情報の転送が中断したりする可能性があります。これにより、対話性レベルが低下し、ユーザーのフラストレーションが発生することさえあります。ビデオ会議デバイスの遅延は、約200ミリ秒（またはほぼリアルタイム）である必要があることが文書化されています。
品質検査と監視
高度な組み込みカメラシステムが製造現場に導入され、在庫の管理、品質保証の推進など、監視機能が備えられています。たとえば、組立ラインが毎日大量の製品を生産している場合、監視システムのカメラは低遅延である必要があります。撮影した情報を迅速に処理して共有することにより、欠陥やその他の品質の問題を特定するのに役立ちます。
自律移動ロボットと車両
自律走行車では、低遅延ストリーミングが重要です。これは特に自動農業用カメラに言えることで、業界は精密農業の実践を可能にすることの価値を認識しています。灌漑や作物の成長の追跡から害虫駆除まで、低遅延は組込みビジョンアプリケーションにさらなるパワーを与えます。自律移動型ロボットの場合も同様です。ロボットのカメラは、障害物検出、物体認識、サラウンドビューなどのタスクを実行する必要があります。このような機能では、低遅延ストリーミングが非常に重要になります。
遠隔患者モニタリング
IoT対応の患者監視デバイスでは、前述のように、医療訓練を受けた人が患者のニーズに対応できる速度を決定するため、低遅延ストリーミングが役立ちます。
ここで説明するアプリケーションは、低遅延のストリーミングを必要とする最も一般的なアプリケーションの一部です。遅延が重要なカメラベースのアプリケーションは他にもたくさんあることに注意してください。例としては、車両管理、スマートシティの街路照明、遠隔医療、インテリジェント交通システムなどがあります。
e-con Systemsは、統合された低遅延機能を備えた高解像度カメラを提供します
e-con Systemsは、20年近くの経験に支えられて、組み込みビジョンアプリケーションに低遅延機能を提供する既製のカスタマイズ可能なカメラをいくつか設計しました。 e-conの差別化要因の1つは、低遅延と優れたパフォーマンスを確保しながら、さまざまなインターフェイスを使用してカメラをさまざまなARMプラットフォームと統合できることです。e-con SystemsのMIPIカメラ、USBカメラ、およびGMSLカメラの大部分には、低遅延機能が搭載されています。
低遅延組み込みカメラにご興味のある方は、camerasolutions@e-consystems.comまでご連絡ください。カメラセレクターのページで、当社のカメラ製品ラインナップをご覧いただけます。
また来週の木曜日にお会いましょう！
Prabu Kumarは、e-con Systemsの最高技術責任者兼カメラ製品責任者であり、組み込みビジョン分野で15年以上の豊富な経験があります。彼は、USBカメラ、組み込みビジョンカメラ、ビジョンアルゴリズム、FPGAに関する深い知識をも有しています。医療、工業、農業、小売、生体認証などのさまざまなドメインにまたがる50以上のカメラソリューションを構築してきました。また、デバイスドライバー開発とBSP開発の専門家でもあります。現在は、新時代のAIベースのアプリケーションを強化するスマートカメラソリューションの構築に全力を注いでいます。