Inférence – Alsace IA

#Inférence

Google

Google publie TurboQuant : compression du cache KV des LLM à 3 bits, 6x moins de mémoire, 8x…

il y a 4 semaines 4 min