Pösteki Saymak

Sizce, tek bir Türkçe kelime kökünden yapım ve çekim ekleri kullanarak en fazla kaç kelime türetilebilir?

Tam 5081 kelime. Bu kelimelerin türetildiği kök: et.

Bu sayının büyüklüğünde aynı kökün hem yüklem hem de isim olması elbette etkilidir.

Yazının sonunda “et” kökünden türemiş sözcüklerin bazılarını vereceğim.(Hepsini vermek yazıyı gereksiz yere uzatacaktır.)

İkinci sıradaki çok kullanılan kökümüz “ol” yüklemidir. Ondan türeyen kelime sayısı: 3536.

Aşağıdaki grafikte en verimli 20 Türkçe kökü görüyorsunuz.

Sözcük türetmede kullanılan ekleri de benzer şekilde ayrıştırıp, frekanslarını buldum. En fazla kullanılan ilk iki ek “ler” ve “leri” ekleri. Onları “ları” ve “lar” izliyor. Onların peşinden gelenlerin çoğunluğunu yine çoğul eklerinin çeşitlemeleri oluşturuyor.

Sözcük türetiminde en fazla kullanılan ilk 20 eki de aşağıdaki grafikte görebilirsiniz:

Sözkonusu sayıları elde ederken bir milyon altı yüz altı bin yedi yüz yirmi iki (1,606,722) kelime içeren, kısmen denetlenmiş bir listeden yararlandım. Bu listeden çıkan tekil kök sayısı 20910. Tekil ek sayısı ise 77815.

Son günlerde Türkçe sözcüklerin kök ve eklerine ayrılması çalışmalarına yeniden yoğunlaştım. Bunda Yavuz Kömeçoğlu ve Birol Kuyumcu’nun yayınladığı örnek kodun büyük etkisi oldu: https://github.com/deeplearningturkiye/kelime_kok_ayirici
Seq2seq yöntemiyle çalışan bu kodlar 5572 kelime ve kökünü içeren bir verisetini eğitiyor ve test ediyor. Başarı oranı %97.

Aynı sistemi, kelime sayısını 42600 civarına çıkararak tekrarladım. Bu kez başarı oranı 93.6 oldu.

Parametrelerle oynayarak başarı oranı biraz daha yükseltilebilir sanırım. Ama her bir deneme GPU’lu bir makinede bile bazen saatler sürüyor.

Türkçe Doğal Dil İşleme (NLP) çalışmalarında kök ayırıcı olarak bu sistemden yararlanmak mümkün. Küçük hatalar bu tür çalışmalarda kolaylıkla hoş görülebilir.

Ancak, bu başarı düzeyleri beni bir türlü tatmin etmiyor. Çünkü ben, aslında, yazım hatalarını otomatik olarak -dışarıdan- denetleyen bir sistem geliştirme peşindeyim. Hedefim “SIFIR HATA”!

İşte burada yeni -ve çok daha basit- bir yöntem kullanmanın çok daha verimli olacağına inanıyorum: denetimden geçmiş, doğru ve güvenilir bir kelime listesi kullanmak.

Elimde iki milyona yakın sözcük barındıran ve kısmen denetlenmiş bir liste var. Bu haliyle bile oldukça iyi sonuçlar veriyor. (https://drive.google.com/drive/folders/0B_iRLUok9_qqOFozeHNFMjRHTVk adresinde paylaştığım derlem dosyalarından siz de böyle bir liste oluşturabilirsiniz.)

Aynı listeyi kök ayrımında kullanılacak şekilde geliştirmek de mümkün.

İşte bu tür çalışmaların hemen hepsi, “pösteki saymak” kavramıyla örtüşebilecek nitelikte… Çok fazla emek, sabır ve dikkat gerektiriyor. Üstelik bu çabanın “Türkçe dilgisi” ile de yoğrulmuş olması şart. Türkçe bilgime her ne kadar güveniyor olsam da, bu konunun akademik uzmanı değilim. Umuyorum ki, bir gün “bu işlerin uzmanları” da taşın altına elini koyar.

Çalışmalarımı -şimdilik- kendi kişisel emek ve bilgilerimi kullanarak gerçekleştiriyorum. “SIFIR HATA” hedefime ulaşana kadar da sürdüreceğim.

Liste (aslında sözlük) yöntemini kullanarak çözümlemeye çalıştığım kaynakların pek çoğu aşırı derecede kirli. Bu kaynakların pek çoğu tarayıcı kullanılarak sayısallaştırılmış. Bu sırada, uygulamalardaki Türkçe uyum sorunları nedeniyle pek çok yazım hatası oluşmuş. İnsan beyni bu tür hataları kolaylıkla tolere edebilse de, temiz ve güvenilir bilgi derleme açısından işler büyük ölçüde zorlaşıyor.

Bir kaç kez gönüllü ekip oluşturmayı denedik, ama sonuç alamadık.

Şimdi, yaptığım çalışmalardan elde ettiğim sonuçları -veya bir kısmını- kaynaklara ekleyerek – bir tür forward propagation ve backward propagation yöntemiyle- daha sağlıklı sonuçlar elde etmeye çalışıyorum. İşin içine insan emeği girince, çalışmalar yavaşlıyor ister istemez. Ama sonuçtan memnunum.

Kelimeleri ayrıştırıp görselleştirdiğim Python kodları şöyle:

"""
Kod: Ahmet Aksoy
Tarih: 15.09.2018
Python: 3.6.6

"""
import locale
import matplotlib.pyplot as plt

print(locale.getlocale())
locale.setlocale(locale.LC_ALL, "tr_TR.UTF-8")

kokler=[]
ekler=[]
klmsoz=dict()
# YYKOKBULTEST.txt dosyasındaki satırlar
# kelime, kök
# şeklinde
with open("veri/YYKOKBULTEST.txt") as f:
    for s in f.readlines():
        ss=s.strip().split(',')
        klmsoz[ss[0]]=ss[1]
        kokler.append(ss[1])
        if (ss[0] != ss[1]):
            ek =ss[0][len(ss[1]):]
            ekler.append(ek)

lst = sorted(klmsoz.items(),key=lambda x:x[1], reverse=False)
# lst = sorted(lst,key=locale.strxfrm)

def ekcoz(kok):
    ekler=[]
    sozcukler=[]
    for k in klmsoz.keys():
        if klmsoz[k] != kok: continue
        sozcukler.append(k)
        ek = k[len(kok):]
        if ek not in ekler:
            ekler.append(ek)
    ekler = sorted(ekler)
    sozcukler = sorted(sozcukler)
    return kok,ekler, sozcukler

print("Kelime sayısı =",len(lst))

# Ekler
from collections import Counter
cek = Counter(ekler)
print("Ek sayısı =",len(set(cek.elements())))
say=1
x=[]
y=[]
m=1
xticks=[]
for s,n in cek.most_common(20):
    print(f"{n:06} {s}")
    x.append(m);m+=1
    xticks.append(s)
    y.append(n)

plt.figure(figsize=(10,6))
plt.bar(x,y)
plt.xticks(x,xticks,rotation='vertical')
plt.title("En çok kullanılan 20 ek")
plt.ylabel("Türetilen kelime sayısı")
plt.xlabel("Ekler")
for i in range(20):
    plt.text(x=i+1,y=y[i]+250,s=y[i],rotation=45,color='r')
plt.show()

# Kökler
ckok = Counter(kokler)
print("Kök sayısı= ",len(set(ckok.elements())))
say=1
x=[]
y=[]
m=1
xticks=[]
for s,n in ckok.most_common(1):
    print(f"{n:06} {s}")
    x.append(m);m+=1
    xticks.append(s)
    y.append(n)

    kkok,kekler,ksozcukler = ekcoz(s)
    print(kkok)
    # for kek in kekler: print(kek,end=' ')
    # print(f"({len(ekler)})")
    for ksozcuk in ksozcukler:
        print(ksozcuk)
    print(f"({len(ksozcukler)})")

plt.figure(figsize=(10,6))
plt.bar(x,y)
plt.xticks(x,xticks,rotation='vertical')
plt.title("Kendisinden en fazla kelime türetilen 20 kök")
plt.ylabel("Türetilen kelime sayısı")
plt.xlabel("Kökler")
for i in range(20):
    plt.text(x=i+1,y=y[i]+250,s=y[i],rotation=45,color='r')
plt.show()

100

101

"""

Kod: Ahmet Aksoy

Tarih: 15.09.2018

Python: 3.6.6

"""

import locale

import matplotlib.pyplot as plt

print(locale.getlocale())

locale.setlocale(locale.LC_ALL, "tr_TR.UTF-8")

kokler=[]

ekler=[]

klmsoz=dict()

# YYKOKBULTEST.txt dosyasındaki satırlar

# kelime, kök

# şeklinde

with open("veri/YYKOKBULTEST.txt") as f:

for s in f.readlines():

ss=s.strip().split(',')

klmsoz[ss[0]]=ss[1]

kokler.append(ss[1])

if (ss[0] != ss[1]):

ek =ss[0][len(ss[1]):]

ekler.append(ek)

lst = sorted(klmsoz.items(),key=lambda x:x[1], reverse=False)

# lst = sorted(lst,key=locale.strxfrm)

def ekcoz(kok):

ekler=[]

sozcukler=[]

for k in klmsoz.keys():

if klmsoz[k] != kok: continue

sozcukler.append(k)

ek = k[len(kok):]

if ek not in ekler:

ekler.append(ek)

ekler = sorted(ekler)

sozcukler = sorted(sozcukler)

return kok,ekler, sozcukler

print("Kelime sayısı =",len(lst))

# Ekler

from collections import Counter

cek = Counter(ekler)

print("Ek sayısı =",len(set(cek.elements())))

say=1

x=[]

y=[]

m=1

xticks=[]

for s,n in cek.most_common(20):

print(f"{n:06} {s}")

x.append(m);m+=1

xticks.append(s)

y.append(n)

plt.figure(figsize=(10,6))

plt.bar(x,y)

plt.xticks(x,xticks,rotation='vertical')

plt.title("En çok kullanılan 20 ek")

plt.ylabel("Türetilen kelime sayısı")

plt.xlabel("Ekler")

for i in range(20):

plt.text(x=i+1,y=y[i]+250,s=y[i],rotation=45,color='r')

plt.show()

# Kökler

ckok = Counter(kokler)

print("Kök sayısı= ",len(set(ckok.elements())))

say=1

x=[]

y=[]

m=1

xticks=[]

for s,n in ckok.most_common(1):

print(f"{n:06} {s}")

x.append(m);m+=1

xticks.append(s)

y.append(n)

kkok,kekler,ksozcukler = ekcoz(s)

print(kkok)

# for kek in kekler: print(kek,end=' ')

# print(f"({len(ekler)})")

for ksozcuk in ksozcukler:

print(ksozcuk)

print(f"({len(ksozcukler)})")

plt.figure(figsize=(10,6))

plt.bar(x,y)

plt.xticks(x,xticks,rotation='vertical')

plt.title("Kendisinden en fazla kelime türetilen 20 kök")

plt.ylabel("Türetilen kelime sayısı")

plt.xlabel("Kökler")

for i in range(20):

plt.text(x=i+1,y=y[i]+250,s=y[i],rotation=45,color='r')

plt.show()

Bunlar da “et” sözcüğünden türetme yapan eklerden bazıları:
et
edebildi
edebildik
edebildikleri
edebildikleridir
edebildiklerim
edebildiklerimden
edebildiklerime
edebildiklerimi
edebildiklerimiz
edebildiklerimizden
edebildiklerimizdi
edebildiklerimize
edebildiklerimizi
edebildiklerimizin
edebildiklerince
edebildiklerinde
edebildiklerinden
edebildiklerine
edebildiklerini
edebildiklerinin
edebildikleriydi
edebildikleriyle
edebildikse
edebildikten
edebildiler
edebildilerse
edebildim
edebildin
edebildiniz
edebildiydi
edebildiyse
edebildiysek
edebildiysem
edebildiysen
edebildiyseniz
…
Liste uzayıp gidiyor…

Çalışmalarımın gelişimini ve aldığım sonuçları bu sayfalarda yeri geldikçe paylaşmaya devam edeceğim.
Yeni yazılarımdan haberdar olmak istiyorsanız, Sayfanın en altındaki “Beni yeni yazılarda e-posta ile bilgilendir” seçeneğini işaretleyin.

Ahmet Aksoy

﻿Pösteki Saymak

Pösteki Saymak