Bir dili tümüyle (yazılı ve sözlü üretimleri) modellemek çok zor belki de imkansız bir iş. Böyle olmakla birlikte bir dilin belirli bir dönemini modellemek belli oranda mümkün olabiliyor. Önceleri n-gram tabanlı modellemeler revaçtayken şimdilerde (özellikle 2013'te word2vec Mikolov ve arkadaşları tarafından duyurulduktan bugüne) makine öğrenmesi (yapay öğrenme) yöntemlerinden yararlanılıyor ve başarımı yüksek sonuçlar elde ediliyor.
Google'ın çıkardığı BERT (Bidirectional Encoder Representations from Transformers) teknolojisinden sonra Hugging Face, dönüştürücülerle (tarnsformers) doğal dil işlemedeki güncel problemlere çözüm üretme yelpazesini iyice genişletti. Aşağıda Türkçe için hazırlanmış dil modellerine ulaşılabilir.
Çok kısaca, insan dili teknolojileri (human language technologies) sayesinde hem dile bakışımız değişiyor ve ayrıntılanıyor hem de bu teknolojilerle hayatımızı kolaylaştırabiliyoruz.
Google da DDİ'de deneyimli dilbilimci istihdam etmeye devam ediyor:
https://careers.google.com/jobs/results/110019480056144582/
https://careers.google.com/jobs/results/110019480056144582/
Hugging Face Türkçe dil modelleri sayfası:
Sayfada yalnızca modeller değil, model üzerinde geliştirilmiş uygulamaları da çalıştırma olanağı bulunuyor.
Dil teknolojileri gelişirken dilbilimde yapılması gerekenler;
- Derlem oluşturmaya devam etmek (ne kadar çok o kadar iyi anlayışı),
- DDİ yöntemlerini yakından tanımak, tanıtmak,
- Yöntembilgisi üzerine daha çok düşünmek,
- Uygulamaya yönelik araç geliştirilmesine katkı sağlamak,
- Faydalı model oluşturmada ve yapay zekayla metin üretme çalışmalarında daha çok yer almak.
