Amazon Web Services (AWS), yapay zekanın kullanıcı komutlarını anında yanıtlara dönüştüren çıkarım sürecini hızlandırmak ve optimize etmek için tasarlanan altyapı geliştirmelerini paylaştı.
Üretken yapay zeka uygulamaları deneysel modellerden büyük ölçekli canlı ortamlara geçerken, çıkarım altyapısı yatırımları eğitim harcamalarının önüne geçmiş durumda. AWS, bu talebi karşılamak için özel tasarım Trainium çiplerini, birleşik bir ağ çerçevesini ve Project Mantle gibi akıllı yönlendirme teknolojilerini bir araya getirerek kurumsal yapay zekayı daha hızlı, dayanıklı ve ekonomik hale getiriyor. MIT Technology Review verilerine göre yapay zekaya ayrılan tüm bilgi işlem gücünün yüzde 80-90'ını çıkarım işlemleri oluşturuyor.
Bir yapay zeka asistanının iki saniyeden kısa sürede yanıt sunabilmesi için arka planda karmaşık bir teknik süreç yönetiliyor. Kullanıcı komutu önce makinenin anlayabileceği belirteçlere bölünüyor, ardından model geniş bağlam oluşturmak için parametreleri değerlendiriyor. Son aşamalarda yapay zeka yanıtı belirteç belirteç inşa ederken, nihai çıktı insan tarafından okunabilir metne dönüştürülüyor.
