Künstliche Intelligenz
Headroom: Open-Source-Proxy schneidet LLM-Rechnungen um bis zu 90 Prozent
Ein Netflix-Ingenieur hat einen Open-Source-Proxy veröffentlicht, der redundante Tokens in LLM-Anfragen herausfiltert — nach Angaben des Entwicklers wurden kollektiv bereits rund 700.000 Dollar eingespart.