gpt-oss 20b・120bのruntime機器適性比較
gpt-oss-20bと120bのMXFP4 weight、128K context、Harmony、Metal・vLLM・ONNX Runtimeを固定し、16GB、H100 80GB、Windowsへの適用範囲と未測定のpeak memory・速度を比較します。
TAG
#ONNX Runtime
ONNX Runtimeの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全1件。
TAG
ONNX Runtimeの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全1件。
gpt-oss-20bと120bのMXFP4 weight、128K context、Harmony、Metal・vLLM・ONNX Runtimeを固定し、16GB、H100 80GB、Windowsへの適用範囲と未測定のpeak memory・速度を比較します。