ChatGPT, AI dil modellerini geride bıraktığı için Mamba tarafınca ısırılacak mı?

0
Mamba'nın görsel temsili.  — X/@orta
Mamba’nın görsel temsili. — X/@orta

Makine öğrenimi münakaşa forumları, OpenAI’nin ChatGPT’sinin temeli olan Transformer modelinde bir gelişme olarak tanıtılan Mamba dil modeli biçimindeki son algoritmik atılım sebebiyle değişime uğruyor.

Gemini, Claude ve ötekiler benzer biçimde transformatörler, üretken suni zeka söyleşi robotlarının çoğunluğu tarafınca kullanılan fiili modellerdir. İlginç Mühendislik.

Arxiv’e son teknoloji ürünü araştırma makalesini ekleyen iki akademisyenden biri Carnegie Mellon’dan, diğeri ise Princeton’dan. Aralık 2023’te yayınlanmasından bu yana büyük ilgi görmüş oldu.

Araştırmacılara gore Mamba, bir milyona kadar token içeren dizilerle gerçek veriler üstünde Transformers’a gore daha iyi çalışıyor ve Transformers’tan beş kat daha süratli.

Araştırma, Mamba’nın hem eğitim hem de testlerde Transformers’ın iki katı büyüklüğünde performans gösterdiğini ve dil, ses ve genom bilimi de dahil olmak suretiyle çeşitli görevlerdeki diziler için muhteşem bir genel model bulunduğunu belirtiyor.

Büyük Dil Modelleri (LLM’ler) benzer biçimde Mamba da dil modellemeyi gerçekleştirebilen bir Yapılandırılmış Durum Modelidir (SSM).

Temelde dil modelleme, ChatGPT benzer biçimde söyleşi robotlarının insan benzer biçimde görünen metinleri iyi mi anladığı ve ürettiğidir.

Büyük ölçekli sinir ağları ve dikkat mekanizmaları, ChatGPT benzer biçimde LLM’lerin metni anlama ve üretme araçlarıdır. Birçok cümle bileşenine dikkat ederler ve bilgiyi daha devamlı sindirirler.

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir