PCIe コプロセッシング
Modalix PCIe Card に接続したホストから推論を実行します。 これらのチュートリアルを順番に進めてください。
PCIe ホスト API は、モデルで使用できるテンソルまたはデコードされた画像ピクセルを受け入れます。テンソルモードでは、前処理をホスト側で行います。画像モードでは、元のピクセルを送信し、Modalix カードでリサイズ、カラー変換、および正規化を...
同期的な`run()`は、最初の推論に最適ですが、次の画像を送信する前に、各結果の完了を待ちます。プロデューサーが`push()`を呼び出し、コンシューマーが`pull()`を実行している場合、1つのPCIeモデルが常に動作状態になります。スループッ...
Modalix PCIeカードは、キュー0から3までを公開します。アクティブな`Model`はそれぞれ1つのキューを所有するため、異なる`ConnectionOptions.queue`を各インスタンスに割り当てることで、独立したモデルを同時に実行で...
デフォルトのPCIeルートはFP32テンソルをカードに送信し、カード上で入力が量子化され、MLAが実行され、出力が逆量子化されてFP32としてホストに返されます。すでにINT8データを保持しているアプリケーション、または量子化ステップを自分で制御した...
`Tensor::from_external()`を使うと、C++アプリケーションは既存の連続した割り当てを新しいホスト側テンソルへコピーせずにラップできます。テンソルは`std::shared_ptr<void>`の所有者を保持するため、PCIeと...