Співпроцесинг PCIe
Запускайте інференс із хоста, підключеного до Modalix PCIe Card. Проходьте ці посібники по черзі.
PCIe host API приймає або тензор, готовий до використання моделлю, або декодовані пікселі зображення. У режимі тензора попере...
Синхронний `run()` ідеально підходить для першого інференсу, але він чекає на кожен результат, перш ніж надсилати наступне зо...
PCIe-карта Modalix надає доступ до черг з 0 по 3. Кожна активна `Model` має одну чергу, тому незалежні моделі можуть виконува...
Типовий маршрут PCIe надсилає тензори FP32 на карту, де вхід квантується, виконується MLA, а вихід деквантується й повертаєть...
`Tensor::from_external()` дає змогу застосунку C++ обгор нути наявну неперервну ділянку пам’яті без копіювання в новий тензор...