Cet outil open source compresse vos tokens avant qu’ils atteignent le LLM, et ça change tout
Introduction : Un ingénieur de Netflix a créé un outil open source qui compresse les tokens envoyés aux LLM avant qu’ils n’atteignent le modèle, sans perte d’information. Résultat : 700 000 dollars économisés en quelques mois, et un questionnement profond sur la façon dont on alimente les IA.