mirror of
https://github.com/saymrwulf/onnxruntime.git
synced 2026-06-28 03:20:58 +00:00
Adding matmul_integer_to_float16 onnx models (#16978)
### Description Missed adding float16 onnx models generated using `matmul_integer_to_float.py` ### Motivation and Context
This commit is contained in:
parent
34b6cd6d9a
commit
9406bcb3b4
5 changed files with 290 additions and 0 deletions
51
onnxruntime/test/testdata/matmul_integer_to_float16_int8.onnx
vendored
Normal file
51
onnxruntime/test/testdata/matmul_integer_to_float16_int8.onnx
vendored
Normal file
|
|
@ -0,0 +1,51 @@
|
|||
:Ě
|
||||
U
|
||||
A
|
||||
B
|
||||
a_zero_point
|
||||
b_zero_pointmatmul_output_int32
MatMulInteger"
MatMulInteger
|
||||
.
|
||||
a_scale
|
||||
b_scale
|
||||
multiplier mul_right"Mul
|
||||
A
|
||||
matmul_output_int32matmul_output_floatcast"Cast*
|
||||
to
|
||||
|
||||
5
|
||||
matmul_output_float
|
||||
|
||||
multiplierY
|
||||
mul_bottom"MulDynamicQuantizeMatMul_fusionZ
|
||||
A
|
||||
|
||||
|
||||
M
|
||||
KZ
|
||||
B
|
||||
|
||||
|
||||
K
|
||||
NZ
|
||||
a_scale
|
||||
|
||||
|
||||
|
||||
Z
|
||||
b_scale
|
||||
|
||||
|
||||
CZ
|
||||
a_zero_point
|
||||
|
||||
|
||||
Z
|
||||
b_zero_point
|
||||
|
||||
Cb
|
||||
Y
|
||||
|
||||
|
||||
|
||||
M
|
||||
NB
|
||||
49
onnxruntime/test/testdata/matmul_integer_to_float16_int8_bias.onnx
vendored
Normal file
49
onnxruntime/test/testdata/matmul_integer_to_float16_int8_bias.onnx
vendored
Normal file
|
|
@ -0,0 +1,49 @@
|
|||
:Ä
|
||||
9
|
||||
A
|
||||
Bmatmul_output_int32
MatMulInteger"
MatMulInteger
|
||||
.
|
||||
a_scale
|
||||
b_scale
|
||||
multiplier mul_right"Mul
|
||||
A
|
||||
matmul_output_int32matmul_output_floatcast"Cast*
|
||||
to
|
||||
|
||||
E
|
||||
matmul_output_float
|
||||
|
||||
multipliermul_bottom_output
|
||||
mul_bottom"Mul
|
||||
&
|
||||
mul_bottom_output
|
||||
biasYadd"AddDynamicQuantizeMatMul_fusionZ
|
||||
A
|
||||
|
||||
|
||||
M
|
||||
KZ
|
||||
B
|
||||
|
||||
|
||||
K
|
||||
NZ
|
||||
a_scale
|
||||
|
||||
|
||||
|
||||
Z
|
||||
b_scale
|
||||
|
||||
|
||||
CZ
|
||||
bias
|
||||
|
||||
|
||||
Nb
|
||||
Y
|
||||
|
||||
|
||||
|
||||
M
|
||||
NB
|
||||
51
onnxruntime/test/testdata/matmul_integer_to_float16_int8_int8.onnx
vendored
Normal file
51
onnxruntime/test/testdata/matmul_integer_to_float16_int8_int8.onnx
vendored
Normal file
|
|
@ -0,0 +1,51 @@
|
|||
:Ě
|
||||
U
|
||||
A
|
||||
B
|
||||
a_zero_point
|
||||
b_zero_pointmatmul_output_int32
MatMulInteger"
MatMulInteger
|
||||
.
|
||||
a_scale
|
||||
b_scale
|
||||
multiplier mul_right"Mul
|
||||
A
|
||||
matmul_output_int32matmul_output_floatcast"Cast*
|
||||
to
|
||||
|
||||
5
|
||||
matmul_output_float
|
||||
|
||||
multiplierY
|
||||
mul_bottom"MulDynamicQuantizeMatMul_fusionZ
|
||||
A
|
||||
|
||||
|
||||
M
|
||||
KZ
|
||||
B
|
||||
|
||||
|
||||
K
|
||||
NZ
|
||||
a_scale
|
||||
|
||||
|
||||
|
||||
Z
|
||||
b_scale
|
||||
|
||||
|
||||
CZ
|
||||
a_zero_point
|
||||
|
||||
|
||||
Z
|
||||
b_zero_point
|
||||
|
||||
Cb
|
||||
Y
|
||||
|
||||
|
||||
|
||||
M
|
||||
NB
|
||||
49
onnxruntime/test/testdata/matmul_integer_to_float16_int8_int8_bias.onnx
vendored
Normal file
49
onnxruntime/test/testdata/matmul_integer_to_float16_int8_int8_bias.onnx
vendored
Normal file
|
|
@ -0,0 +1,49 @@
|
|||
:Ä
|
||||
9
|
||||
A
|
||||
Bmatmul_output_int32
MatMulInteger"
MatMulInteger
|
||||
.
|
||||
a_scale
|
||||
b_scale
|
||||
multiplier mul_right"Mul
|
||||
A
|
||||
matmul_output_int32matmul_output_floatcast"Cast*
|
||||
to
|
||||
|
||||
E
|
||||
matmul_output_float
|
||||
|
||||
multipliermul_bottom_output
|
||||
mul_bottom"Mul
|
||||
&
|
||||
mul_bottom_output
|
||||
biasYadd"AddDynamicQuantizeMatMul_fusionZ
|
||||
A
|
||||
|
||||
|
||||
M
|
||||
KZ
|
||||
B
|
||||
|
||||
|
||||
K
|
||||
NZ
|
||||
a_scale
|
||||
|
||||
|
||||
|
||||
Z
|
||||
b_scale
|
||||
|
||||
|
||||
CZ
|
||||
bias
|
||||
|
||||
|
||||
Nb
|
||||
Y
|
||||
|
||||
|
||||
|
||||
M
|
||||
NB
|
||||
90
onnxruntime/test/testdata/transform/fusion/matmul_integer_to_float16.onnx
vendored
Normal file
90
onnxruntime/test/testdata/transform/fusion/matmul_integer_to_float16.onnx
vendored
Normal file
|
|
@ -0,0 +1,90 @@
|
|||
:Ö
|
||||
Q
|
||||
inputa_quantizeda_scalea_zpDynamicQuantizeLinear"DynamicQuantizeLinear
|
||||
a
|
||||
a_quantized
|
||||
b_quantized_1
|
||||
a_zp
|
||||
b_zp_1matmul_output_int32_1MatMulInteger_1"
MatMulInteger
|
||||
4
|
||||
a_scale
|
||||
b_scale_1multiplier_1mul_right_1"Mul
|
||||
G
|
||||
matmul_output_int32_1matmul_output_float_1cast_1"Cast*
|
||||
to
|
||||
F
|
||||
matmul_output_float_1
|
||||
multiplier_1mul_output_1mul_bottom_1"Mul
|
||||
1
|
||||
mul_output_1
|
||||
bias_1output_1
|
||||
bias_add_1"Add
|
||||
a
|
||||
a_quantized
|
||||
b_quantized_2
|
||||
a_zp
|
||||
b_zp_2matmul_output_int32_2MatMulInteger_2"
MatMulInteger
|
||||
4
|
||||
a_scale
|
||||
b_scale_2multiplier_2mul_right_2"Mul
|
||||
G
|
||||
matmul_output_int32_2matmul_output_float_2cast_2"Cast*
|
||||
to
|
||||
F
|
||||
matmul_output_float_2
|
||||
multiplier_2mul_output_2mul_bottom_2"Mul
|
||||
1
|
||||
mul_output_2
|
||||
bias_2output_2
|
||||
bias_add_2"Add
|
||||
a
|
||||
a_quantized
|
||||
b_quantized_3
|
||||
a_zp
|
||||
b_zp_3matmul_output_int32_3MatMulInteger_3"
MatMulInteger
|
||||
4
|
||||
a_scale
|
||||
b_scale_3multiplier_3mul_right_3"Mul
|
||||
G
|
||||
matmul_output_int32_3matmul_output_float_3cast_3"Cast*
|
||||
to
|
||||
B
|
||||
matmul_output_float_3
|
||||
multiplier_3output_3mul_bottom_3"MulMatMulIntegerToFloat_fusion**B
b_quantized_1**€Bb_zp_1*
|
||||
*³~B b_scale_1**B
b_quantized_3**€Bb_zp_3*
|
||||
*³~B b_scale_3*
|
||||
* €€€ˆ€ŠBbias_1**
|
||||
*€x€€€„€ˆ€Š€Œ€Ž€<>€‘Bbias_2Z
|
||||
input
|
||||
|
||||
|
||||
|
||||
Z
|
||||
b_quantized_2
|
||||
|
||||
|
||||
Z
|
||||
b_zp_2
|
||||
|
||||
|
||||
Z
|
||||
b_scale_2
|
||||
|
||||
|
||||
|
||||
b
|
||||
output_1
|
||||
|
||||
|
||||
|
||||
b
|
||||
output_2
|
||||
|
||||
|
||||
|
||||
b
|
||||
output_3
|
||||
|
||||
|
||||
|
||||
B
|
||||
Loading…
Reference in a new issue