Tether'in açık kaynaklı TurboQuant çözümü, yapay zekâ uygulamalarının ihtiyaç duyduğu belleği önemli ölçüde azaltarak dizüstü bilgisayarlar, akıllı telefonlar ve diğer cihazların yerel olarak çalışmasını sağlıyor. Teknoloji, Tether'in QVAC Fabric altyapısı ile entegre edilerek gerçek kullanım senaryolarına taşınıyor. Tam optimizasyon altyapısı, yaygın yapay zekâ çalışma çerçeveleriyle uyumlu entegrasyonlar ve geliştirici dokumentasyonu içeren yeni sürüm, yalnızca veri merkezlerinde değil, mobil cihazlar, tüketici sınıfı ekran kartları ve merkezi olmayan ağlarda da kullanılabilecek.
Yapay zekâ asistanlarının en büyük sorunlarından biri, KV Cache olarak adlandırılan çalışma belleğinin oturum uzadıkça büyümesidir. Yaklaşık 262 bin token seviyesinde, birkaç yüz sayfalık metin veya saatler süren konuşma hacminde, yalnızca KV Cache 8 GB bellek kullanabilirken, dört ayrı oturum yaklaşık 32 GB kapasite gerektirmektedir. Bu nedenle birçok yapay zekâ uygulaması hâlâ uzak veri merkezlerine bağımlı çalışmaktadır.
TurboQuant, KV Cache belleğini beş kata kadar sıkıştırırken model performansını büyük ölçüde koruyor. Teknoloji sayesinde kullanıcılar mevcut donanımlarla daha uzun sohbetler gerçekleştirebiliyor, daha büyük dosyaları analiz edebiliyor ve daha fazla bağlam gerektiren görevleri yerel olarak çalıştırabiliyor. Hukuki belgeleri, araştırma raporlarını ve kod tabanlarını buluta yüklemeden cihaz üzerinde yapay zekâ desteği ile işlemek mümkün hale geliyor.
Tether CEO'su Paolo Ardoino, TurboQuant'ın yerel yapay zekânın önündeki en büyük engellerinden biri olan bellek sorununu azalttığını belirtti. Ardoino, "İnsanlar yapay zekâ asistanlarından uzun belgeleri okumasını, projeleri hatırlamasını, hassas bilgiler üzerinde çalışmasını isteyebilmeli, üstelik bunu her seferinde uzak veri merkezlerine bağımlı olmadan yapabilmeli" dedi.