NVIDIA представила TensorRT Model Connect: два шага от Hugging Face к нативному C++ инференсу
NVIDIA выпустила в публичное предварительное тестирование TensorRT Model Connect — проект с открытым исходным кодом, который позволяет конвертировать поддерживаемые модели из Hugging Face в нативный C++ инференс без промежуточного ONNX-экспорта.
Открыть материал →