Modos de suma de multiplicación fusionada y redondeo predeterminado

Con GCC 5.3 el siguiente código se compila con -O3 -fma

float mul_add(float a, float b, float c) {
  return a*b + c;
}

produce el siguiente ensamblaje

vfmadd132ss     %xmm1, %xmm2, %xmm0
ret

Noté que GCC hacía esto con -O3 ya en GCC 4.8.

Sonido 3.7 con -O3 -mfma produce

vmulss  %xmm1, %xmm0, %xmm0
vaddss  %xmm2, %xmm0, %xmm0
retq

pero Clang 3.7 con -Ofast -mfma produce el mismo código que GCC con -O3 fast.

Me sorprende que GCC haga con -O3 porque de esta respuesta dice

El compilador no puede fusionar sumas y multiplicaciones separadas a menos que permita un modelo relajado de punto flotante.

Esto se debe a que un FMA solo tiene un redondeo, mientras que un ADD + MUL tiene dos. Por lo tanto, el compilador violará el estricto comportamiento de punto flotante IEEE al fusionarse.

Sin embargo, desde este enlace dice

Independientemente del valor de FLT_EVAL_METHOD, se puede contraer cualquier expresión de coma flotante, es decir, se puede calcular como si todos los resultados intermedios tuvieran un rango y una precisión infinitos.

Así que ahora estoy confundido y preocupado.

1. ¿Se justifica que GCC use FMA con -O3?
2. ¿La fusión viola el estricto comportamiento de punto flotante IEEE?
3. Si la fusión viola el comportamiento de coma flotante de IEEE y dado que GCC regresa __STDC_IEC_559__ ¿No es esto una contradicción?

Dado que FMA se puede emular en el software, parece que debería haber dos conmutadores de compilador para FMA: uno para decirle al compilador que use FMA en los cálculos y otro para decirle al compilador que el hardware tiene FMA.

Apprently esto se puede controlar con la opción -ffp-contract. Con GCC el valor predeterminado es -ffp-contract=fast y con Clang no lo es. Otras opciones como -ffp-contract=on y -ffp-contract=off no produzca la instrucción FMA.

Por ejemplo Clang 3.7 con -O3 -mfma -ffp-contract=fast produce vfmadd132ss.

Revisé algunas permutaciones de #pragma STDC FP_CONTRACT ajustado a ON y OFF con -ffp-contract ajustado a on, offy fast. EN todos los casos también usé -O3 -mfma.

Con GCC la respuesta es simple. #pragma STDC FP_CONTRACT ENCENDIDO o APAGADO no hace ninguna diferencia. Solamente -ffp-contract asuntos.

CCG que utiliza fma con

1. -ffp-contract=fast (por defecto).

Con Clang usa fma

1. con -ffp-contract=fast.
2. con -ffp-contract=on (predeterminado) y #pragma STDC FP_CONTRACT ON (el valor predeterminado es OFF).

En otras palabras, con Clang puedes obtener fma con #pragma STDC FP_CONTRACT ON (ya que -ffp-contract=on es el predeterminado) o con -ffp-contract=fast. -ffast-math (y por lo tanto -Ofast) colocar -ffp-contract=fast.

Busqué en MSVC e ICC.

Con MSVC usa la instrucción fma con /O2 /arch:AVX2 /fp:fast. Con MSVC /fp:precise es el predeterminado.

Con ICC usa fma con -O3 -march=core-avx2 (en realidad -O1 es suficiente). Esto se debe a que, por defecto, ICC usa -fp-model fast. Pero ICC usa fma incluso con -fp-model precise. Para deshabilitar fma con el uso de ICC -fp-model strict o -no-fma.

Entonces, por defecto, GCC e ICC usan fma cuando fma está habilitado (con -mfma para GCC/Clang o -march=core-avx2 con ICC), pero Clang y MSVC no.

No viola IEEE-754, porque IEEE-754 difiere a los idiomas en este punto:

Un estándar de lenguaje también debe definir, y requerir implementaciones para proporcionar, atributos que permitan y no permitan optimizaciones de cambio de valor, por separado o colectivamente, para un bloque. Estas optimizaciones pueden incluir, entre otras:

…

― Síntesis de una operación fusedMultiplyAdd a partir de una multiplicación y una suma.

En el estándar C, el STDC FP_CONTRACT pragma proporciona los medios para controlar esta optimización de cambio de valor. Por lo tanto, GCC tiene licencia para realizar la fusión de forma predeterminada, siempre que le permita desactivar la optimización configurando STDC FP_CONTRACT OFF. No apoyar eso significa no adherirse al estándar C.

Cuando citó que se permite la suma y multiplicación fusionada, omitió la condición importante “a menos que pragma FP_CONTRACT esté desactivado”. Que es una característica nueva en C (creo que se introdujo en C99) y PowerPC la hizo absolutamente necesaria, lo que todos había fusionado multiplicar y sumar desde el principio; en realidad, x*y era equivalente a fma (x, y, 0) y x+y era equivalente a fma (1.0, x, y).

FP_CONTRACT es lo que controla la multiplicación/suma fusionada, no FLT_EVAL_METHOD. Aunque si FLT_EVAL_METHOD permite mayor precisión, entonces la contratación siempre es legal; solo finja que las operaciones se realizaron con una precisión muy alta y luego se redondearon.

La función fma es útil si no quieres la velocidad, sino la precisión. Calculará el resultado contratado de forma lenta pero correcta aunque no esté disponible en hardware. Y debe estar en línea si está disponible en hardware.