PYTHON VE OPENCV İLE YÜZ TANIMA

makine öğrenmesi, opencv, python, türkçe 6 Yanıt »

Mar 232020

PYTHON VE OPENCV İLE YÜZ TANIMA

Aşağıdaki kodların orijinal halini https://www.hackster.io/mjrobot/real-time-face-recognition-an-end-to-end-project-a10826 adresinde bulabilirsiniz.

Mevcut kodları ve açıklamalarını kısmen Türkçeleştirdim.

Ortam bilgileri

İşletim sistemi: Ubuntu 18.04
Python 3.7
OpenCV: 4.0
Numpy: 1.17.2
PIL (Pillow): 6.2.1

1- Verilerin elde edilmesi : 01_yuz_veriseti.py

# Original code from https://www.hackster.io/mjrobot/real-time-face-recognition-an-end-to-end-project-a10826

import cv2

kamera = cv2.VideoCapture(0)
kamera.set(3, 640) # video genişliğini belirle
kamera.set(4, 480) # video yüksekliğini belirle
face_detector = cv2.CascadeClassifier('Cascades/haarcascade_frontalface_default.xml')
# Her farklı kişi için farklı bir yüz tamsayısı ata
# face_id = input('\n enter user id end press <return> ==>  ')
MAXFOTOSAY = 50 # Her bir yüz için kullanılacak imaj sayısı
face_id = 1
print("\n [INFO] Kayıtlar başlıyor. Kameraya bak ve bekle ...")

say = 0

while(True):
    ret, img = kamera.read()
    # img = cv2.flip(img, -1) # gerekiyorsa kullan
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    yuzler = face_detector.detectMultiScale(gray, 1.3, 5)
    for (x,y,w,h) in yuzler:
        cv2.rectangle(img, (x,y), (x+w,y+h), (255,0,0), 2)
        say += 1
        # Yakalanan imajı veriseti klasörüne kaydet
        cv2.imwrite("veriseti/" + str(face_id) + '.' + str(say) + ".jpg", gray[y:y+h,x:x+w])
        cv2.imshow('imaj', img)
        print("Kayıt no: ",say)
    k = cv2.waitKey(100) & 0xff
    if k == 27:
        break
    elif say >= MAXFOTOSAY:
         break
# Belleği temizle
print("\n [INFO] Program sonlanıyor ve bellek temizleniyor.")
kamera.release()
cv2.destroyAllWindows()

# Original code from https://www.hackster.io/mjrobot/real-time-face-recognition-an-end-to-end-project-a10826

import cv2

kamera = cv2.VideoCapture(0)

kamera.set(3, 640) # video genişliğini belirle

kamera.set(4, 480) # video yüksekliğini belirle

face_detector = cv2.CascadeClassifier('Cascades/haarcascade_frontalface_default.xml')

# Her farklı kişi için farklı bir yüz tamsayısı ata

# face_id = input('\n enter user id end press <return> ==> ')

MAXFOTOSAY = 50 # Her bir yüz için kullanılacak imaj sayısı

face_id = 1

print("\n [INFO] Kayıtlar başlıyor. Kameraya bak ve bekle ...")

say = 0

while(True):

ret, img = kamera.read()

# img = cv2.flip(img, -1) # gerekiyorsa kullan

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

yuzler = face_detector.detectMultiScale(gray, 1.3, 5)

for (x,y,w,h) in yuzler:

cv2.rectangle(img, (x,y), (x+w,y+h), (255,0,0), 2)

say += 1

# Yakalanan imajı veriseti klasörüne kaydet

cv2.imwrite("veriseti/" + str(face_id) + '.' + str(say) + ".jpg", gray[y:y+h,x:x+w])

cv2.imshow('imaj', img)

print("Kayıt no: ",say)

k = cv2.waitKey(100) & 0xff

if k == 27:

break

elif say >= MAXFOTOSAY:

break

# Belleği temizle

print("\n [INFO] Program sonlanıyor ve bellek temizleniyor.")

kamera.release()

cv2.destroyAllWindows()

2- Veritabanının Eğitilmesi: 02_yuz_egitimi.py

# Original code from https://www.hackster.io/mjrobot/real-time-face-recognition-an-end-to-end-project-a10826

import cv2
import numpy as np
from PIL import Image
import os

# Verilerin yolu
path = 'veriseti'
recognizer = cv2.face.LBPHFaceRecognizer_create()
detector = cv2.CascadeClassifier("Cascades/haarcascade_frontalface_default.xml")

# imajların alınması ve etiketlenmesi için fonksiyon
def getImagesAndLabels(path):
    imagePaths = [os.path.join(path,f) for f in os.listdir(path)]
    ornekler=[]
    ids = []
    for imagePath in imagePaths:
        PIL_img = Image.open(imagePath).convert('L')    # gri
        img_numpy = np.array(PIL_img,'uint8')
        id = int(os.path.split(imagePath)[-1].split(".")[0])
        # print("id= ",id)
        yuzler = detector.detectMultiScale(img_numpy)
        for (x,y,w,h) in yuzler:
            ornekler.append(img_numpy[y:y+h,x:x+w])
            ids.append(id)
    return ornekler,ids
print ("\n [INFO] yuzler eğitiliyor. Birkaç saniye bekleyin ...")
yuzler,ids = getImagesAndLabels(path)
recognizer.train(yuzler, np.array(ids))
# Modeli egitim/egitim.yml dosyasına kaydet
recognizer.write('egitim/egitim.yml') # Dikkat! recognizer.save() Raspberry Pi üzerinde çalışmıyor
# Eğitilen yüz sayısını göster ve kodu sonlandır
print(f"\n [INFO] {len(np.unique(ids))} yüz eğitildi. Betik sonlandırılıyor.")

# print(yuzler)

# Original code from https://www.hackster.io/mjrobot/real-time-face-recognition-an-end-to-end-project-a10826

import cv2

import numpy as np

from PIL import Image

import os

# Verilerin yolu

path = 'veriseti'

recognizer = cv2.face.LBPHFaceRecognizer_create()

detector = cv2.CascadeClassifier("Cascades/haarcascade_frontalface_default.xml")

# imajların alınması ve etiketlenmesi için fonksiyon

def getImagesAndLabels(path):

imagePaths = [os.path.join(path,f) for f in os.listdir(path)]

ornekler=[]

ids = []

for imagePath in imagePaths:

PIL_img = Image.open(imagePath).convert('L') # gri

img_numpy = np.array(PIL_img,'uint8')

id = int(os.path.split(imagePath)[-1].split(".")[0])

# print("id= ",id)

yuzler = detector.detectMultiScale(img_numpy)

for (x,y,w,h) in yuzler:

ornekler.append(img_numpy[y:y+h,x:x+w])

ids.append(id)

return ornekler,ids

print ("\n [INFO] yuzler eğitiliyor. Birkaç saniye bekleyin ...")

yuzler,ids = getImagesAndLabels(path)

recognizer.train(yuzler, np.array(ids))

# Modeli egitim/egitim.yml dosyasına kaydet

recognizer.write('egitim/egitim.yml') # Dikkat! recognizer.save() Raspberry Pi üzerinde çalışmıyor

# Eğitilen yüz sayısını göster ve kodu sonlandır

print(f"\n [INFO] {len(np.unique(ids))} yüz eğitildi. Betik sonlandırılıyor.")

# print(yuzler)

3- Yüz tanıma işlemleri: 03-yuz_tanima.py

# Original code from https://www.hackster.io/mjrobot/real-time-face-recognition-an-end-to-end-project-a10826

import cv2
import numpy as np
from PIL import Image, ImageDraw, ImageFont

def print_utf8_text(image, xy, text, color):  # utf-8 karakterleri
    fontName = 'FreeSerif.ttf'  # 'FreeSansBold.ttf' # 'FreeMono.ttf' 'FreeSerifBold.ttf'
    font = ImageFont.truetype(fontName, 24)  # font seçimi
    img_pil = Image.fromarray(image)  # imajı pillow moduna dönüştür
    draw = ImageDraw.Draw(img_pil)  # imajı hazırla
    draw.text((xy[0],xy[1]), text, font=font,
              fill=(color[0], color[1], color[2], 0))  # b,g,r,a
    image = np.array(img_pil)  # imajı cv2 moduna çevir (numpy.array())
    return image

recognizer = cv2.face.LBPHFaceRecognizer_create()
recognizer.read('egitim/egitim.yml')
cascadePath = "Cascades/haarcascade_frontalface_default.xml"
faceCascade = cv2.CascadeClassifier(cascadePath);
font = cv2.FONT_HERSHEY_SIMPLEX
# id sayacını başlat
id = 0
names = ['None', 'Ahmet','Toygar']

# Canlı video yakalamayı başlat
kamera = cv2.VideoCapture(0)
kamera.set(3, 1000)  # video genişliğini belirle
kamera.set(4, 800)  # video yüksekliğini belirle
# minimum pencere boyutunu belirle
minW = 0.1 * kamera.get(3)  # genişlik
minH = 0.1 * kamera.get(4)  # yükseklik
while True:
    ret, img = kamera.read()
    gri = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

    yuzler = faceCascade.detectMultiScale(
        gri,
        scaleFactor=1.2,
        minNeighbors=5,
        minSize=(int(minW), int(minH)),
    )
    for (x, y, w, h) in yuzler:
        cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)
        id, uyum = recognizer.predict(gri[y:y + h, x:x + w])

        if (uyum < 100):
            id = names[id]
            uyum = f"Uyum=  {round(uyum,0)}%"
        else:
            id = "bilinmiyor"
            uyum = f"Uyum=  {round(uyum,0)}%"

        color = (255,255,255)
        img=print_utf8_text(img,(x + 5, y - 25),str(id),color) # Türkçe karakterler
        # cv2.putText(img, str(id), (x + 5, y - 5), font, 1, (255, 255, 255), 2)
        cv2.putText(img, str(uyum), (x + 5, y + h + 25), font, 1, (255, 255, 0), 1)

    cv2.imshow('kamera', img)
    k = cv2.waitKey(10) & 0xff  # Çıkış için Esc veya q tuşu
    if k == 27 or k==ord('q'):
        break
# Belleği temizle
print("\n [INFO] Programdan çıkıyor ve ortalığı temizliyorum")
kamera.release()
cv2.destroyAllWindows()

# Original code from https://www.hackster.io/mjrobot/real-time-face-recognition-an-end-to-end-project-a10826

import cv2

import numpy as np

from PIL import Image, ImageDraw, ImageFont

def print_utf8_text(image, xy, text, color): # utf-8 karakterleri

fontName = 'FreeSerif.ttf' # 'FreeSansBold.ttf' # 'FreeMono.ttf' 'FreeSerifBold.ttf'

font = ImageFont.truetype(fontName, 24) # font seçimi

img_pil = Image.fromarray(image) # imajı pillow moduna dönüştür

draw = ImageDraw.Draw(img_pil) # imajı hazırla

draw.text((xy[0],xy[1]), text, font=font,

fill=(color[0], color[1], color[2], 0)) # b,g,r,a

image = np.array(img_pil) # imajı cv2 moduna çevir (numpy.array())

return image

recognizer = cv2.face.LBPHFaceRecognizer_create()

recognizer.read('egitim/egitim.yml')

cascadePath = "Cascades/haarcascade_frontalface_default.xml"

faceCascade = cv2.CascadeClassifier(cascadePath);

font = cv2.FONT_HERSHEY_SIMPLEX

# id sayacını başlat

id = 0

names = ['None', 'Ahmet','Toygar']

# Canlı video yakalamayı başlat

kamera = cv2.VideoCapture(0)

kamera.set(3, 1000) # video genişliğini belirle

kamera.set(4, 800) # video yüksekliğini belirle

# minimum pencere boyutunu belirle

minW = 0.1 * kamera.get(3) # genişlik

minH = 0.1 * kamera.get(4) # yükseklik

while True:

ret, img = kamera.read()

gri = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

yuzler = faceCascade.detectMultiScale(

gri,

scaleFactor=1.2,

minNeighbors=5,

minSize=(int(minW), int(minH)),

)

for (x, y, w, h) in yuzler:

cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)

id, uyum = recognizer.predict(gri[y:y + h, x:x + w])

if (uyum < 100):

id = names[id]

uyum = f"Uyum= {round(uyum,0)}%"

else:

id = "bilinmiyor"

uyum = f"Uyum= {round(uyum,0)}%"

color = (255,255,255)

img=print_utf8_text(img,(x + 5, y - 25),str(id),color) # Türkçe karakterler

# cv2.putText(img, str(id), (x + 5, y - 5), font, 1, (255, 255, 255), 2)

cv2.putText(img, str(uyum), (x + 5, y + h + 25), font, 1, (255, 255, 0), 1)

cv2.imshow('kamera', img)

k = cv2.waitKey(10) & 0xff # Çıkış için Esc veya q tuşu

if k == 27 or k==ord('q'):

break

# Belleği temizle

print("\n [INFO] Programdan çıkıyor ve ortalığı temizliyorum")

kamera.release()

cv2.destroyAllWindows()

Kamera ve görüntü kontrolü – simpleCamTest.py

# https://www.hackster.io/mjrobot/real-time-face-recognition-an-end-to-end-project-a10826

import numpy as np
import cv2

cap = cv2.VideoCapture(1)
cv2.namedWindow('frame')
cv2.moveWindow('frame',10,10)
cv2.namedWindow('gray')
cv2.moveWindow('gray',690,10)
cap.set(3, 640)  # set Width
cap.set(4, 480)  # set Height
while (True):
    ret, frame = cap.read()
    # frame = cv2.flip(frame, -1)  # Flip camera vertically
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    cv2.imshow('frame', frame)
    cv2.imshow('gray', gray)

    k = cv2.waitKey(30) & 0xff
    if k == 27 or k==ord('q'):  # press 'ESC' or 'q' to quit
        break
cap.release()
cv2.destroyAllWindows()

# https://www.hackster.io/mjrobot/real-time-face-recognition-an-end-to-end-project-a10826

import numpy as np

import cv2

cap = cv2.VideoCapture(1)

cv2.namedWindow('frame')

cv2.moveWindow('frame',10,10)

cv2.namedWindow('gray')

cv2.moveWindow('gray',690,10)

cap.set(3, 640) # set Width

cap.set(4, 480) # set Height

while (True):

ret, frame = cap.read()

# frame = cv2.flip(frame, -1) # Flip camera vertically

gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

cv2.imshow('frame', frame)

cv2.imshow('gray', gray)

k = cv2.waitKey(30) & 0xff

if k == 27 or k==ord('q'): # press 'ESC' or 'q' to quit

break

cap.release()

cv2.destroyAllWindows()

Soru ve önerilerinizi lütfen yorum alanından paylaşın.

Ahmet Aksoy

ML002 Pythonla Stil Transferi

derin öğrenme, makine öğrenmesi, python, tensorflow, türkçe Yanıt yok »

Oca 302020

ML002 Pythonla Stil Transferi

Her hangi bir görseli, bir başka görseli temel alarak stilize etmek artık hiç de zor değil. Bu videoda, Pythonla Stil Transferi konusunu işledim. İncelediğim kod Jupyter Notebook ile hazırlanmış. Tensorflow kullanıyor. İsterseniz Google Colab veya kendi bilgisayarınızda kolayca çalıştırabiliyorsunuz. İşlemler sırasında VGG19 eğitilmiş veritabanından yararlanıyoruz. Ayrıca bir stil görseli, bir de dönüştürülecek görsel yeterli. Bu kodları kullanarak, siz de istediğiniz stil transferlerini yapabilirsiniz.

Orijinal kodlar: https://medium.com/tensorflow/neural-style-transfer-creating-art-with-deep-learning-using-tf-keras-and-eager-execution-7d541ac31398
İşletim sistemi: 18.04
Video çekim: OBS 24.0.3 (linux)
Video edit: Olive-Editor 2019 April-Alpha
Ses düzenleme: Audacity 2.3.2
Video adı: ML002 Pythonla Stil Transferi
Video linki: https://youtu.be/MmuyibHmavs
Playlist: Machine Learning – Makine Öğrenmesi
Dosya adı: ml002-pythonla-stil-transferi.mp4

Ahmet Aksoy

OpenCV ile Yüz Tanıma Bölüm 3-2

derin öğrenme, makine öğrenmesi, opencv, python 5 Yanıt »

Ara 182018

OpenCV ile Yüz Tanıma Bölüm 3-2

Önceki yazımda veri setimizi nasıl oluşturacağımızı anlatmıştım.

Bu kez veri setimizi Keras kullanarak eğiteceğiz. Sonra da yeni resimleri bu eğitilmiş veri setini kullanarak sınıflandıracağız.

3. ADIM – EĞİTİM

Projemize örnek olarak aldığımız çalışmada Adrian, Keras modellemesi için SmallerVGGNet sınıfını kullanıyor. Ben onun yerine daha basit bir model kullandım (vgg_like). Eğer isterseniz yazının sonundaki Referanslar bölümünde yer alan linkleri kullanarak SmallerVGGNet kodlarına ulaşabilirsiniz.

Lafı uzatmadan eğitim betiğimize geçelim. Betiğimizin adı: train.py

from keras.preprocessing.image import ImageDataGenerator
from keras.optimizers import Adam
from keras.preprocessing.image import img_to_array
from sklearn.preprocessing import LabelBinarizer
from sklearn.model_selection import train_test_split
from smallervggnet import SmallerVGGNet

from imutils import paths
import numpy as np
import random
import pickle
import cv2
import os
import time
from keras.models import Sequential
from keras.layers.normalization import BatchNormalization
from keras.layers.convolutional import Conv2D
from keras.layers.convolutional import MaxPooling2D
from keras.layers.core import Activation
from keras.layers.core import Flatten
from keras.layers.core import Dropout
from keras.layers.core import Dense
from keras.optimizers import SGD

import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt

def vgg_like():
    model = Sequential()
    model.add(Conv2D(32, (3, 3), activation='relu', input_shape=(96, 96, 3)))
    model.add(Conv2D(32, (3, 3), activation='relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Dropout(0.25))

    model.add(Conv2D(64, (3, 3), activation='relu'))
    model.add(Conv2D(64, (3, 3), activation='relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Dropout(0.25))

    model.add(Flatten())
    model.add(Dense(256, activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(3, activation='softmax'))
    return model

t0=time.time()
EPOCHS = 100
INIT_LR = 1e-3
BATCH_SIZE = 32
IMAGE_DIMS = (96, 96, 3)

data = []
labels = []

print("Geçen süre: ",time.time()-t0)
print("İmajlar yükleniyor...")
imagePaths = sorted(list(paths.list_images("data")))
print(imagePaths)
random.seed(42)
random.shuffle(imagePaths)

for imagePath in imagePaths:
    image = cv2.imread(imagePath)
    image = cv2.resize(image, (IMAGE_DIMS[1], IMAGE_DIMS[0]))
    image = img_to_array(image)
    data.append(image)

    # etiketler dosya adından oluşturuluyor
    label = imagePath.split(os.path.sep)[-2]
    labels.append(label)

print(labels)
# piksel değerleri [0, 1] olarak dönüştürülüyor
data = np.array(data, dtype="float") / 255.0
labels = np.array(labels)
print("matrix: {:.2f}MB".format(
    data.nbytes / (1024 * 1000.0)))

# etiketler sayısallaştırılıyor
lb = LabelBinarizer()
labels = lb.fit_transform(labels)

# veri eğitim ve test için ayrıştırılıyor
(trainX, testX, trainY, testY) = train_test_split(data,
                                labels, test_size=0.2, random_state=42)

# veri çoğullama için imaj üreteci oluşturuluyor
aug = ImageDataGenerator(rotation_range=25, width_shift_range=0.1,
                         height_shift_range=0.1, shear_range=0.2, zoom_range=0.2,
                         horizontal_flip=True, fill_mode="nearest")

print("Geçen süre: ",time.time()-t0)
print("Model derleniyor...")
# model = SmallerVGGNet.build(width=IMAGE_DIMS[1], height=IMAGE_DIMS[0],
#                     depth=IMAGE_DIMS[2], classes=len(lb.classes_))

# SmallerVGGNet yerine daha basit bir model kullanıyorum
model = vgg_like()

print("Geçen süre: ",time.time()-t0)
print("Model Özeti")
print(model.summary())
with open("model_ozet.txt","w") as of:
    model.summary(print_fn=lambda x: of.write(x+'\n'))

# opt = Adam(lr=INIT_LR, decay=INIT_LR / EPOCHS)
opt = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)   # daha iyi sonuç veriyor
print("Geçen süre: ",time.time()-t0)
model.compile(loss="categorical_crossentropy", optimizer=opt,
              metrics=["accuracy"])

# train the network
print("Geçen süre: ",time.time()-t0)
print("Ağ eğitiliyor...")
H = model.fit_generator(
    aug.flow(trainX, trainY, batch_size=BATCH_SIZE),
    validation_data=(testX, testY),
    steps_per_epoch=len(trainX) // BATCH_SIZE,
    epochs=EPOCHS, verbose=1)

print("Geçen süre: ",time.time()-t0)
print("Model kaydediliyor...")
model.save("yesilcam.model")

print("Geçen süre: ",time.time()-t0)
print("Etiketler kaydediliyor...")
f = open("etiket.pickle", "wb")
f.write(pickle.dumps(lb))
f.close()

print("Geçen süre: ",time.time()-t0)
print("Kayıp ve doğruluk grafikleri çiziliyor")
# eğitimdeki kayıp ve doğruluğun çizimi
plt.style.use("ggplot")
plt.figure()
N = EPOCHS
plt.plot(np.arange(0, N), H.history["loss"], label="train_loss")
plt.plot(np.arange(0, N), H.history["val_loss"], label="val_loss")
plt.plot(np.arange(0, N), H.history["acc"], label="train_acc")
plt.plot(np.arange(0, N), H.history["val_acc"], label="val_acc")
plt.title("Training Loss and Accuracy")
plt.xlabel("Epoch #")
plt.ylabel("Loss/Accuracy")
plt.legend(loc="upper left")
plt.savefig("plot.png")
print("Toplam süre: ",time.time()-t0)

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

from keras.preprocessing.image import ImageDataGenerator

from keras.optimizers import Adam

from keras.preprocessing.image import img_to_array

from sklearn.preprocessing import LabelBinarizer

from sklearn.model_selection import train_test_split

from smallervggnet import SmallerVGGNet

from imutils import paths

import numpy as np

import random

import pickle

import cv2

import os

import time

from keras.models import Sequential

from keras.layers.normalization import BatchNormalization

from keras.layers.convolutional import Conv2D

from keras.layers.convolutional import MaxPooling2D

from keras.layers.core import Activation

from keras.layers.core import Flatten

from keras.layers.core import Dropout

from keras.layers.core import Dense

from keras.optimizers import SGD

import matplotlib

matplotlib.use("Agg")

import matplotlib.pyplot as plt

def vgg_like():

model = Sequential()

model.add(Conv2D(32, (3, 3), activation='relu', input_shape=(96, 96, 3)))

model.add(Conv2D(32, (3, 3), activation='relu'))

model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Dropout(0.25))

model.add(Conv2D(64, (3, 3), activation='relu'))

model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Dropout(0.25))

model.add(Flatten())

model.add(Dense(256, activation='relu'))

model.add(Dropout(0.5))

model.add(Dense(3, activation='softmax'))

return model

t0=time.time()

EPOCHS = 100

INIT_LR = 1e-3

BATCH_SIZE = 32

IMAGE_DIMS = (96, 96, 3)

data = []

labels = []

print("Geçen süre: ",time.time()-t0)

print("İmajlar yükleniyor...")

imagePaths = sorted(list(paths.list_images("data")))

print(imagePaths)

random.seed(42)

random.shuffle(imagePaths)

for imagePath in imagePaths:

image = cv2.imread(imagePath)

image = cv2.resize(image, (IMAGE_DIMS[1], IMAGE_DIMS[0]))

image = img_to_array(image)

data.append(image)

# etiketler dosya adından oluşturuluyor

label = imagePath.split(os.path.sep)[-2]

labels.append(label)

print(labels)

# piksel değerleri [0, 1] olarak dönüştürülüyor

data = np.array(data, dtype="float") / 255.0

labels = np.array(labels)

print("matrix: {:.2f}MB".format(

data.nbytes / (1024 * 1000.0)))

# etiketler sayısallaştırılıyor

lb = LabelBinarizer()

labels = lb.fit_transform(labels)

# veri eğitim ve test için ayrıştırılıyor

(trainX, testX, trainY, testY) = train_test_split(data,

labels, test_size=0.2, random_state=42)

# veri çoğullama için imaj üreteci oluşturuluyor

aug = ImageDataGenerator(rotation_range=25, width_shift_range=0.1,

height_shift_range=0.1, shear_range=0.2, zoom_range=0.2,

horizontal_flip=True, fill_mode="nearest")

print("Geçen süre: ",time.time()-t0)

print("Model derleniyor...")

# model = SmallerVGGNet.build(width=IMAGE_DIMS[1], height=IMAGE_DIMS[0],

# depth=IMAGE_DIMS[2], classes=len(lb.classes_))

# SmallerVGGNet yerine daha basit bir model kullanıyorum

model = vgg_like()

print("Geçen süre: ",time.time()-t0)

print("Model Özeti")

print(model.summary())

with open("model_ozet.txt","w") as of:

model.summary(print_fn=lambda x: of.write(x+'\n'))

# opt = Adam(lr=INIT_LR, decay=INIT_LR / EPOCHS)

opt = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True) # daha iyi sonuç veriyor

print("Geçen süre: ",time.time()-t0)

model.compile(loss="categorical_crossentropy", optimizer=opt,

metrics=["accuracy"])

# train the network

print("Geçen süre: ",time.time()-t0)

print("Ağ eğitiliyor...")

H = model.fit_generator(

aug.flow(trainX, trainY, batch_size=BATCH_SIZE),

validation_data=(testX, testY),

steps_per_epoch=len(trainX) // BATCH_SIZE,

epochs=EPOCHS, verbose=1)

print("Geçen süre: ",time.time()-t0)

print("Model kaydediliyor...")

model.save("yesilcam.model")

print("Geçen süre: ",time.time()-t0)

print("Etiketler kaydediliyor...")

f = open("etiket.pickle", "wb")

f.write(pickle.dumps(lb))

f.close()

print("Geçen süre: ",time.time()-t0)

print("Kayıp ve doğruluk grafikleri çiziliyor")

# eğitimdeki kayıp ve doğruluğun çizimi

plt.style.use("ggplot")

plt.figure()

N = EPOCHS

plt.plot(np.arange(0, N), H.history["loss"], label="train_loss")

plt.plot(np.arange(0, N), H.history["val_loss"], label="val_loss")

plt.plot(np.arange(0, N), H.history["acc"], label="train_acc")

plt.plot(np.arange(0, N), H.history["val_acc"], label="val_acc")

plt.title("Training Loss and Accuracy")

plt.xlabel("Epoch #")

plt.ylabel("Loss/Accuracy")

plt.legend(loc="upper left")

plt.savefig("plot.png")

print("Toplam süre: ",time.time()-t0)

İşin içine eğitim girince bir sürü kütüphane ve modüle ihtiyaç duyuyoruz. Kullanacağımız kütüphaneler hakkında kabaca da olsa, bilgi sahibi olduğunuzu umuyorum. Yoksa bu yazıyı 1000-1500 kelimelik bir hacme sığdırmak olanaksız hale gelirdi.

İlk 27 satırımızda matplotlib, keras, sklearn, imutils, numpy, random, pickle, cv2 ve os kütüphanelerimizi içe aktarıyoruz. smallervggnet kütüphanesini de belki kullanırsınız diye listeden çıkarmadım.

Modeli daha basit tutmak amacıyla vgg_like() fonksiyonunu tanımladım. (VGGNet, 2014 yılındaki Imagenet Büyük Ölçekli Görsel Tanıma Yarışmasında çok iyi performans gösteren bir yapay sinir ağıdır. VGG (Visual Geometry Group) Oxford Üniversitesi Mühendislik Bilimleri Bölümünün bir alt birimidir.)

Eğitim için Doğrusal(Sequential) bir model kullanıyoruz – satır 30
Görsellerimiz 96×96 boyutlu ve 3 renk kanalına sahip.
Modelimize ilk önce bir Conv2D katmanı uyguluyoruz – satır 31
İkinci katmanımız yine Conv2D – satır 32
Üçüncü katmanda MaxPooling2D var – satır 33
34. satırdaki Dropout ile %25’lik giriş bilgisini devre dışı bırakıyoruz (overfitting engelleme).

Benzer işlemleri bir kez daha tekrarlıyoruz. Ama boyutlamalar biraz farklı. satır 36-39

Son aşamada modelimize önce Flatten(), sonra Dense() uyguluyoruz. satır 41-42
Dropout oranımız %50 satır 43
Son işlemimiz her zamanki gibi ‘softmax’ satır 44
45.satırda modelimizi geri döndürüyoruz.

47. satırda işlem başlangıç zamanını t0 olarak not ediyoruz. Bu değişkeni belirli aşamalarda geçen süreyi belirtmek için kullanacağız.

Satır 48-51’de sabitlerimizi tanımlıyoruz.

data ve labels boş birer listedir. satır 53-54

58. satırda görsel dosya yollarımızı bir listede topluyoruz (imagePaths).

imagePaths listesinin satırlarını karıştırırken, sonraki denemelerde de aynı rasgele değerleri elde edebilmek için seed değerini 42 olarak belirliyoruz. satır 60 (Bu değer herhangi bir başka sayı da olabilir. Önemli olan hep aynı başlatma değerini kullanmak.)

63. satırda görsel dosyalarını işlemeye başlıyoruz.
Dosyayı okuyoruz – satır 64
İmajı 96×96 olarak yeniden boyutlandırıyoruz – satır 65
İmajı bir dizi (array) haline dönüştürüyoruz – satır 66
Ve imaj dizisini data listesine ekliyoruz – satır 67

Dosya yolundan etiket bilgisini (sanatçı_kodu) ayrıştırıyoruz – satır 70
Etiket bilgisini labels listesine ekliyoruz – satır 71

data listesini elemanları 0 veya 1 olacak şekilde bir numpy dizisine çeviriyoruz – satır 75
Aynı şekilde labels listesini de bir numpy dizisi haline getiriyoruz – satır 76

Satır 81-82’de etiketleri sayısallaştırıyoruz.

Satır 85-86: data ve labels dizi elemanlarının %20’sini test, geri kalanını eğitim için ayırıyoruz.

Veri sayımız kısıtlı olduğu için data çoğullama (augmentation) işlemi yaptırıyoruz – satır 89-91 (Çoğullama sırasında döndürme, kaydırma, yükseklik değiştirme, kesme, büyütme ve yatay aynalama (flip) işlemleri yapılacak.)

Modelimizi vgg_like() fonksiyonu ile oluşturuyoruz – satır 99

model.summary(), model katmanlarımızın değişimini ayrıntılı bir şekilde açıklıyor. Bu özeti hem ekrana, hem de dosyaya kaydediyoruz. – satır 102-105

Optimizasyon işlemi için Adam da yaygın bir şekilde kullanılıyor. Benim yaptığım denemelerde SGD daha iyi sonuçlar almamı sağladı. Her ikisini de deneyebilirsiniz. Satır 108

110. satırda modelimizi derliyoruz.

Eğitim işlemleri (satır 116-120) için bir kaç dakika bekliyoruz.

Eğitim tamamlandığında, önce modelimizi (satır 124), sonra da etiketlerimizi (satır 128-130) kaydediyoruz.

Son aşama olarak, eğitim işlemlerimiz sırasında hesaplanan kayıp ve doğruluk değerlerini grafiğe döküyor ve plot.png adıyla kaydediyoruz. – satır 135-146

Artık sınıflandırma işlemlerimize geçebiliriz. Ama daha önce model özetimize kısaca bir göz atsak iyi olacak:

Model Özeti
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_1 (Conv2D)            (None, 94, 94, 32)        896       
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 92, 92, 32)        9248      
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 46, 46, 32)        0         
_________________________________________________________________
dropout_1 (Dropout)          (None, 46, 46, 32)        0         
_________________________________________________________________
conv2d_3 (Conv2D)            (None, 44, 44, 64)        18496     
_________________________________________________________________
conv2d_4 (Conv2D)            (None, 42, 42, 64)        36928     
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 21, 21, 64)        0         
_________________________________________________________________
dropout_2 (Dropout)          (None, 21, 21, 64)        0         
_________________________________________________________________
flatten_1 (Flatten)          (None, 28224)             0         
_________________________________________________________________
dense_1 (Dense)              (None, 256)               7225600   
_________________________________________________________________
dropout_3 (Dropout)          (None, 256)               0         
_________________________________________________________________
dense_2 (Dense)              (None, 3)                 771       
=================================================================
Total params: 7,291,939
Trainable params: 7,291,939
Non-trainable params: 0
_________________________________________________________________

Model Özeti

_________________________________________________________________

Layer (type) Output Shape Param #

=================================================================

conv2d_1 (Conv2D) (None, 94, 94, 32) 896

_________________________________________________________________

conv2d_2 (Conv2D) (None, 92, 92, 32) 9248

_________________________________________________________________

max_pooling2d_1 (MaxPooling2 (None, 46, 46, 32) 0

_________________________________________________________________

dropout_1 (Dropout) (None, 46, 46, 32) 0

_________________________________________________________________

conv2d_3 (Conv2D) (None, 44, 44, 64) 18496

_________________________________________________________________

conv2d_4 (Conv2D) (None, 42, 42, 64) 36928

_________________________________________________________________

max_pooling2d_2 (MaxPooling2 (None, 21, 21, 64) 0

_________________________________________________________________

dropout_2 (Dropout) (None, 21, 21, 64) 0

_________________________________________________________________

flatten_1 (Flatten) (None, 28224) 0

_________________________________________________________________

dense_1 (Dense) (None, 256) 7225600

_________________________________________________________________

dropout_3 (Dropout) (None, 256) 0

_________________________________________________________________

dense_2 (Dense) (None, 3) 771

=================================================================

Total params: 7,291,939

Trainable params: 7,291,939

Non-trainable params: 0

_________________________________________________________________

Conv2D katman çıkış boyutlarında 2 piksellik küçülme yaratıyor.
MaxPooling2D ise (2,2) oranları ile her iki yönde boyutları yarıya indiriyor.
Flatten işlemi katmanı tek boyutlu bir diziye dönüştürür.
Dropout input değerlerinden bir bölümünü işlem dışı bırakır. Böylece overfitting olasılığı azalır.

4. ADIM – SINIFLANDIRMA

from keras.preprocessing.image import img_to_array
from keras.models import load_model
import numpy as np
import imutils
import pickle
import cv2
import os

# imajlar
imajlar = ["c_arkin2.jpg","s_alisik6.jpg","t_soray2.jpg"]

def check_image(image,output,imaj):
    image = cv2.resize(image, (96, 96))
    image = image.astype("float") / 255.0
    image = img_to_array(image)
    image = np.expand_dims(image, axis=0)

    print("Ağ yükleniyor...")
    model = load_model("yesilcam.model")
    lb = pickle.loads(open("etiket.pickle", "rb").read())

    print("İmaj sınıflandırılıyor...")
    proba = model.predict(image)[0]
    idx = np.argmax(proba)
    label = lb.classes_[idx]

    filename = imaj[imaj.rfind(os.path.sep) + 1:]
    correct = "tamam" if filename.rfind(label) != -1 else "hata"

    mesaj = "{}: {:.2f}% ({})".format(label, proba[idx] * 100, correct)
    output = imutils.resize(output, width=400)
    cv2.putText(output, mesaj, (10, 25), cv2.FONT_HERSHEY_SIMPLEX,
                0.7, (0, 255, 0), 2)

    print("{}".format(label))
    cv2.imshow("Sonuç", output)
    cv2.imwrite(imaj,output)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

if __name__ == "__main__":
    for imaj in imajlar:
        image = cv2.imread("kontrol/"+imaj)
        output = image.copy()
        check_image(image,output,imaj)

from keras.preprocessing.image import img_to_array

from keras.models import load_model

import numpy as np

import imutils

import pickle

import cv2

import os

# imajlar

imajlar = ["c_arkin2.jpg","s_alisik6.jpg","t_soray2.jpg"]

def check_image(image,output,imaj):

image = cv2.resize(image, (96, 96))

image = image.astype("float") / 255.0

image = img_to_array(image)

image = np.expand_dims(image, axis=0)

print("Ağ yükleniyor...")

model = load_model("yesilcam.model")

lb = pickle.loads(open("etiket.pickle", "rb").read())

print("İmaj sınıflandırılıyor...")

proba = model.predict(image)[0]

idx = np.argmax(proba)

label = lb.classes_[idx]

filename = imaj[imaj.rfind(os.path.sep) + 1:]

correct = "tamam" if filename.rfind(label) != -1 else "hata"

mesaj = "{}: {:.2f}% ({})".format(label, proba[idx] * 100, correct)

output = imutils.resize(output, width=400)

cv2.putText(output, mesaj, (10, 25), cv2.FONT_HERSHEY_SIMPLEX,

0.7, (0, 255, 0), 2)

print("{}".format(label))

cv2.imshow("Sonuç", output)

cv2.imwrite(imaj,output)

cv2.waitKey(0)

cv2.destroyAllWindows()

if __name__ == "__main__":

for imaj in imajlar:

image = cv2.imread("kontrol/"+imaj)

output = image.copy()

check_image(image,output,imaj)

Sınıflandırma işlemlerinde eğitim aşamasında kullanmadığımız görsellerden yararlanacağız. Her sanatçı için birer görsel seçtik ve bunları kontrol klasörünün altına kopyaladık.

İlk 7 satırda gerekli kütüphaneleri içeri aktarıyoruz.

imajlar listesi sınıflandıracağımız fotoğrafları tutuyor. satır 10

Sınıflandırma işlemlerini check_image() fonksiyonu ile yapacağız (satır 12). Her görsel ayrı ayrı işleme sokulacak.

Satır 13-16’da imajımızı 96×96 piksel boyutlarına küçültüyor ve modelimize uygun bir numpy dizisine dönüştürüyoruz.

Satır 19 ve 20’de eğitim sonunda kaydettiğimiz model ve etiket bilgilerini belleğe alıyoruz.

Modele göre bulunan tahmin ve olası doğruluk derecesini saptıyor; etiket değerini alıyoruz. satır 23-25

Sınıflandırma sonucunu genişliğini 400 pikselle sınırlandırdığımız imajımızın üzerine işliyoruz. satır 28-33

İşlenmiş imajı ekranda gösterip diske kaydettikten sonra bir tuşa basılmasını bekliyoruz. satır 35-38

Tuşa basıldığında belleği temizliyoruz: satır 39

check_image() fonksiyonumuzu her resim için ayrı ayrı çağıran döngümüz satır 42-45 arasında.

Elde ettiğim görüntüler aşağıda:

SmallerVGGNet kullanarak yaptığım denemelerde daha yüksek sayısal doğruluk oranlarına ulaştım ama, yapılan tahminlerin pek çoğu aslında hatalıydı. Bu, veri kümemizin çok dar olmasından kaynaklanmış olabilir.

Aynı eğitim setini yüz saptama fonksiyonlarıyla birlikte kullanarak grup fotoğraflarından çoklu yüz tanıma işlemleri gerçekleştirmek mümkün olabilir.

Açıklamalara böyle bir blog yazısında daha kapsamlı bir şekilde girmek mümkün olmuyor. Sorularınız varsa, yorum alanından iletebilirsiniz.

Bu tür çalışmalar çok geniş bir kapsama alanına sahip. Yapılan işlemler ve elde edilen sonuçlar deneysel nitelikte. Bu yüzden, bu tür konulara ilgi duyuyorsanız, siz de kendi modellerinizi geliştirin. Mümkünse veri kümeleri oluşturun. Deneyin. Yorumlayın.

Elbette hala öğrenecek çok şey var. Ama yapabileceğimiz şeyler de pek çok…

Önemli olan, hangi düzeyde olursak olalım, deneysel bakış açımızı yitirmemek ve hevesimizi kaybetmemek… Hata yapmak bizi korkutmasın. Hatalar, kullanmasını bilenler için en etkin yol göstericilerdir.

Yeni yazılarda buluşmak üzere…

Beni izlemeye devam edin.

Ahmet Aksoy

Referanslar:
https://github.com/kjaisingh/pokemon-classifier/blob/master/pyimagesearch/smallervggnet.py
https://www.pyimagesearch.com/2018/04/16/keras-and-convolutional-neural-networks-cnns/
https://hackernoon.com/learning-keras-by-implementing-vgg16-from-scratch-d036733f2d5
http://www.robots.ox.ac.uk/~vgg/research/very_deep/

OpenCV ile Yüz Tanıma Bölüm 3-1

derin öğrenme, makine öğrenmesi, opencv, python 4 Yanıt »

Ara 172018

OpenCV ile Yüz Tanıma Bölüm 3-1

Bu yazımda 3 Yeşilçam emektarının fotoğraflarını içeren küçük bir veri setini oluşturmak için gerekli işlemleri ele alacağım. Eğitim ve sınıflandırma işlemleri ise bir sonraki yazımın konusu olacak.

Orijinal kodları yine PyimageSearch web sitesinden edinmek mümkün. Adrian, anime karakterleri kullanmış. Ben ise Yeşilçam karakterlerini tercih ettim. Ayrıca kodları biraz daha basitleştirdim ve gerekli yerlerini Türkçeleştirdim.

Veri seti için Google üzerinden ulaşabildiğim fotoğrafların sayısı hiç ummadığım kadar düşük çıktı. Oysa çok fazla fotoğrafa ulaşabileceğimi umuyordum. Bu proje için 3 sanatçımızın toplam 147 farklı fotoğrafına ulaşabildim. Sayının azlığına rağmen sınıflandırma değerleri fena değil.

Projemizde 4 ayrı betiğimiz var:
1- Dosyadaki linklerin okunup, ilgili imaj dosyalarının internetten indirilip kaydedilmesi
2- Kaydedilen dosyaların denetlenerek, içeriği aynı olan dosyaların teke düşürülmesi
3- Veri setinin eğitilmesi
4- Eğitilmiş veri seti bilgilerini kullanarak örnek dosyaların sınıflandırılması

VERİ SETİMİZİ OLUŞTURMAK

Sanatçılarımız: Türkan Şoray, Sadri Alışık ve Cüneyt Arkın. Amacım sadece çalışma yöntemini örneklemek olduğu için sayıyı daha fazla arttırmadım. Belki ileride, bu veri setini genişletip çok daha zengin ve işlevsel bir projeye dönüştürmek mümkün olabilir.

1. ADIM – VERİ SETİNİN OLUŞTURULMASI

İnternet üzerinden ulaştığım görsel linklerini, “linkler.txt” isimli bir metin dosyasına kaydettim. Bu dosyayı linkler.txt adresinden indirebilir veya tamamen kendiniz oluşturabilirsiniz.
Dosya yapısı şöyle:
sanatçı_kodu,link1
sanatçı_kodu,link2
…
Sanatçı kodları aynı zamanda data klasörünün içindeki klasörlerin de adlarıdır. O nedenle kodlarda Türkçe karakter kullanmadım. Kodlar ve klasör isimleri şu şekildedir:
c_arkin
s_alisik
t_soray

Betik kodlarını kısa tutmak için data klasörünü ve onun altındaki klasörleri kendim oluşturdum.

Önce ilk betiğimizi (resim_indir.py) inceleyelim:

import cv2
from skimage import io

filename='linkler.txt'
ok=0
hata=0
kac={}
with open(filename) as f:
    for sat in f.readlines():
        sat = sat.strip()
        if len(sat)>3:
            if sat[0]=='#':continue
            ss=sat.split(',')
            kim=ss[0]
            url=ss[1]
            if len(ss)>2:url+=ss[2]
            try:
                print(kim,url)
                if kim not in kac.keys():
                    kac[kim]=1
                image=io.imread(url)
                image=cv2.cvtColor(image,cv2.COLOR_RGB2BGR)
                cv2.imshow('image',image)
                if cv2.waitKey(1) & 0xff == 27: break
                ok+=1
                # kaydet
                while True:
                    if kac[kim]>100:break
                    try:
                        dosya=f"data/{kim}/{kac[kim]:04}.jpg"
                        cv2.imwrite(dosya,image)
                        kac[kim]+=1
                        break
                    except Exception as e:
                        kac[kim]+=1
                        print(kac[kim])
            except:
                hata+=1
                print("hata: ",hata)

cv2.destroyAllWindows()

import cv2

from skimage import io

filename='linkler.txt'

ok=0

hata=0

kac={}

with open(filename) as f:

for sat in f.readlines():

sat = sat.strip()

if len(sat)>3:

if sat[0]=='#':continue

ss=sat.split(',')

kim=ss[0]

url=ss[1]

if len(ss)>2:url+=ss[2]

try:

print(kim,url)

if kim not in kac.keys():

kac[kim]=1

image=io.imread(url)

image=cv2.cvtColor(image,cv2.COLOR_RGB2BGR)

cv2.imshow('image',image)

if cv2.waitKey(1) & 0xff == 27: break

ok+=1

# kaydet

while True:

if kac[kim]>100:break

try:

dosya=f"data/{kim}/{kac[kim]:04}.jpg"

cv2.imwrite(dosya,image)

kac[kim]+=1

break

except Exception as e:

kac[kim]+=1

print(kac[kim])

except:

hata+=1

print("hata: ",hata)

cv2.destroyAllWindows()

skimage kütüphanesi, imaj dosyalarımızı doğrudan internet üzerinden okuyabilmek için gerekli. Ancak bu kütüphane RGB renk sistemini kullanıyor. Bu yüzden 22 nolu satır ile renk sistemini OpenCV’nin kullandığı BGR sistemine çeviriyoruz.

Linkleri tutan dosyamızın adı “linkler.txt”.

Sorunsuz okunan dosya sayısını tutmak için ok, sorunluları saymak içinse hata değişkenlerini kullanıyoruz.

kac sözlük değişkeni, her sanatçı için dosya isimlerini ayrı ayrı sayılaştırmamızı sağlıyor.

Satırları tek tek okuyoruz. # ile başlayan veya boyu 3 karakterden kısa olan satırları atlıyoruz.

İşlenecek satırları “,” ile parçalıyoruz. İlk parçada sanatçı kodu bulunuyor. Normalde ikinci parçanın link adresini tutması lazım. Ancak, sayıları az olsa da, bazı link adreslerinde “,” işaretinin kullanıldığına rastlayabiliriz. Bu nedenle -eğer varsa- 3. parçayı 2. parçaya ekleyerek doğru adresi elde ediyoruz.

17. satırda başlattığımız try bloğu, hatalı okumalardan kaçınmamızı sağlıyor.

kim değişkeni sanatçı kodunu, url ise imaj adresini saklıyor.

kac anahtarları içinde kim stringi yoksa, ilk kez tanımlanacak demektir. Başlangıç değeri olarak 1 atıyoruz.

21. satırda dosyamızı internet üzerinden okuyor; 2. satırda renk sistemini BGR haline çeviriyor ve 23. satırda okuduğumuz imajı görselleştiriyoruz.

24. satırdaki tuş kontrolü, gerektiğinde, Esc tuşuna basarak döngüyü kırabilmemizi sağlıyor. Bu satır aynı zamanda görselleştirme işlemleri için de gerekli.

27-36 satırlarını kullanarak dosyayı data klasörü altındaki sanatçı klasörüne (kim) kaydediyoruz. Dosya isimlendirmesinde bir çakışma olması ihtimalini dikkate alıyor, ama bu sayının 100’den fazla olmasına izin vermiyoruz. (Dikkat! Eğer kendi veri setinizi oluşturacaksanız, kullanacağınız link sayısını dikkate almak için bu sınırı değiştirmeniz gerekebilir.)

41. satırda son işlem olarak bilgisayar belleğini temizliyoruz.

İmajlar farklı boyutlarda olduğu için işlenmeleri farklı süreler gerektirebiliyor.

(Not: Çalışmalarımı Pycharm üzerinde yapıyor ve çalıştırıyorum. Ancak bu betiği terminal üzerinden çalıştırmak zorunda kaldım. Aynı durum sizin başınıza da gelebilir. Betiği çalıştırmak için Pycharm’ın terminal modunu kullanabilirsiniz.)

2. ADIM – İMAJ TEKRARLARININ ÖNLENMESİ

Bu betiğimizde doğrudan md5 hesaplamak yerine imagehash kütüphanesindeki dhash() metodunu uyguluyoruz. Bu metod hash hesabını imajları belli bir boyuta indirip gri renge çevirdikten sonra yapıyor. Yeniden boyutlandırma biraz zaman alıyor olsa da sonuçlar daha güvenilir.

"""
imaj_dup_check.py
aynı klasördeki aşırı benzer dosyalar temizleniyor
"""

import os
from PIL import Image
import imagehash

def hash(f):
    image = Image.open(f)
    return str(imagehash.dhash(image))

def tekrar_sil(path):
    if not os.path.isdir(path):
        print('Belirtilen klasör mevcut değil!')
    else:
        hash_dict = {}
        for root, dirs, files in os.walk(path):
            for f in files:
                if not hash(os.path.join(root, f)) in hash_dict:
                    hash_dict.update({hash(os.path.join(root, f)): [os.path.join(root, f)]})
                else:
                    hash_dict[hash(os.path.join(root, f))].append(os.path.join(root, f))
        for key in hash_dict:
            while len(hash_dict[key]) > 1:
                for item in hash_dict[key]:
                    print(item," siliniyor...")
                    os.remove(item)
                    hash_dict[key].remove(item)
        print('Tamam!')

if __name__ == '__main__':
    tekrar_sil("data")

"""

imaj_dup_check.py

aynı klasördeki aşırı benzer dosyalar temizleniyor

"""

import os

from PIL import Image

import imagehash

def hash(f):

image = Image.open(f)

return str(imagehash.dhash(image))

def tekrar_sil(path):

if not os.path.isdir(path):

print('Belirtilen klasör mevcut değil!')

else:

hash_dict = {}

for root, dirs, files in os.walk(path):

for f in files:

if not hash(os.path.join(root, f)) in hash_dict:

hash_dict.update({hash(os.path.join(root, f)): [os.path.join(root, f)]})

else:

hash_dict[hash(os.path.join(root, f))].append(os.path.join(root, f))

for key in hash_dict:

while len(hash_dict[key]) > 1:

for item in hash_dict[key]:

print(item," siliniyor...")

os.remove(item)

hash_dict[key].remove(item)

print('Tamam!')

if __name__ == '__main__':

tekrar_sil("data")

İkinci betiğimizde os, PIL ve imagehash kütüphanelerini kullanıyoruz.

hash() fonksiyonumuzda okuma işlemini PIL.Image modülü ile gerçekleştiriyor ve elde edilen imaja imagehash.dhash() işlemini uyguluyoruz. (Doğrudan md5 hesabı yaptığımızda birbirine çok benzer bazı imajlar gözden kaçabiliyor.)

Tekrarlanan imaj dosyaları tekrar_sil() fonksiyonunun içinde temizleniyor.

19. satırda path değişkenimizle aktarılan klasör yolu bir döngü yapısı içinde kök, klasör ve dosya bileşenlerine ayrıştırılıyor ve her bir dosya için hash() değeri hesaplanıp, hash_dict sözlük değişkeninde saklanıyor. Eğer eşdeğer hash değeri (key) bulunursa, aynı anahtarın karşılığına mükerrer dosyanın adı ekleniyor. Böylece len(hash_dict[k]) değeri birden büyük olan kayıtlar, mükerrer dosyaları tutuyor.

25-30 satırları mükerrer dosyaların silinmesini sağlıyor.

34. satırda data klasörünü işleme sokuyoruz. Böylece onun altındaki tüm klasör ve dosyaları taramış oluyoruz.

Sizi daha fazla yormamak ve veri setini hazırlamanız zaman tanımak için bu yazıyı burada kesiyorum. Bir sonraki yazımda, oluşturduğumuz veri setini önce eğiteceğiz, sonra da eğitim setinde yer almayan kontrol görsellerinin kime ait olduğunu sorgulayacağız.

Beni izlemeye devam edin.

Ahmet Aksoy

Referanslar:

https://www.pyimagesearch.com/

OpenCV ile Yüz Tanıma Bölüm 2

makine öğrenmesi, opencv, python 36 Yanıt »

Ara 092018

OpenCV ile Yüz Tanıma Bölüm 2

Bu bölümde 3 ayrı betik kullanıyoruz:
1- veri toplama: 01_face_dataset.py
2- eğitim: 02_face_training.py
3- uygulama: 03_face_recognition.py

Orijinal kodlara https://www.hackster.io/mjrobot/real-time-face-recognition-an-end-to-end-project-a10826 adresinden ulaşabilirsiniz.

Ben veri kümesini yeniden oluşturdum. Türkçe karakterlerin görüntülenebilmesi için gerekli düzenlemeyi yaptım ve bazı mesajları Türkçeleştirdim.

İlk betikte input() komutunu # ile devre dışı bıraktım. Yeni bir yüz tanıtırken face_id sayısını doğrudan tanımladım. Örneğimizde 4 yüz tanımlı. Her yüz için 30 kare dataset klasörüne kaydedildi. Siz de kendi verilerinizi kaydetmeli ve eğitmelisiniz.

# 01_face_dataset.py
import cv2
import os
cam = cv2.VideoCapture(0)
cam.set(3, 640) # set video width
cam.set(4, 480) # set video height
face_detector = cv2.CascadeClassifier('Cascades/haarcascade_frontalface_default.xml')
# For each person, enter one numeric face id
# face_id = input('\n enter user id end press <return> ==>  ')
face_id = 1
print("\n [INFO] Initializing face capture. Look at the camera and wait ...")
# Initialize individual sampling face count
count = 0

while(True):
    ret, img = cam.read()
    # img = cv2.flip(img, -1) # flip video image vertically
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = face_detector.detectMultiScale(gray, 1.3, 5)
    for (x,y,w,h) in faces:
        cv2.rectangle(img, (x,y), (x+w,y+h), (255,0,0), 2)
        count += 1
        # Save the captured image into the datasets folder
        cv2.imwrite("dataset/User." + str(face_id) + '.' + str(count) + ".jpg", gray[y:y+h,x:x+w])
        cv2.imshow('image', img)
    k = cv2.waitKey(100) & 0xff # Press 'ESC' for exiting video
    if k == 27:
        break
    elif count >= 30: # Take 30 face sample and stop video
         break
# Do a bit of cleanup
print("\n [INFO] Exiting Program and cleanup stuff")
cam.release()
cv2.destroyAllWindows()

# 01_face_dataset.py

import cv2

import os

cam = cv2.VideoCapture(0)

cam.set(3, 640) # set video width

cam.set(4, 480) # set video height

face_detector = cv2.CascadeClassifier('Cascades/haarcascade_frontalface_default.xml')

# For each person, enter one numeric face id

# face_id = input('\n enter user id end press <return> ==> ')

face_id = 1

print("\n [INFO] Initializing face capture. Look at the camera and wait ...")

# Initialize individual sampling face count

count = 0

while(True):

ret, img = cam.read()

# img = cv2.flip(img, -1) # flip video image vertically

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

faces = face_detector.detectMultiScale(gray, 1.3, 5)

for (x,y,w,h) in faces:

cv2.rectangle(img, (x,y), (x+w,y+h), (255,0,0), 2)

count += 1

# Save the captured image into the datasets folder

cv2.imwrite("dataset/User." + str(face_id) + '.' + str(count) + ".jpg", gray[y:y+h,x:x+w])

cv2.imshow('image', img)

k = cv2.waitKey(100) & 0xff # Press 'ESC' for exiting video

if k == 27:

break

elif count >= 30: # Take 30 face sample and stop video

break

# Do a bit of cleanup

print("\n [INFO] Exiting Program and cleanup stuff")

cam.release()

cv2.destroyAllWindows()

İlk betiğimizde cv2 ve os kütüphanelerini kullanıyoruz.

Görüntüleri webcam üzerinden elde edeceğiz. Görüntülerimizin eni 640, yüksekliği 480 piksel olarak tanımlandı (satır 5 ve 6).

7 nolu satırda cepheden yüz sınıflandırıcısını tanımlıyoruz.

face_id yüz görüntülerini eğiteceğimiz kullanıcı numarasını belirtiyoruz. Eğer input() satırını kullanmak isterseniz 9.satırın başındaki # işaretini silip, 10. satırın başına # eklemelisiniz.

count değişkenini görüntü sayısını takip etmek için kullanacağız.

Kayıt işlemlerimiz 15. satırdaki sonsuz while döngüsüyle başlıyor.

16. satırda kamera görüntüsünü alıyoruz. ret değişkeni işlevsizdir. Bu değişken video dosyasından okuma yaparken işimize yarıyor.

Görüntü karesini griye çevirip içindeki yüzleri saptıyoruz. (Satır 18 ve 19.)

Aslında her karede sadece 1 kişiye ait tek bir yüz bulunmalı. Yine de burada bir döngü kullanıyoruz. Aslında döngüdeki enbüyük dikdörtgeni seçsek daha doğru olurdu. Ama kodu gereksiz yere uzatmamak için bu tür ayrıntılara girmiyoruz.

Yakalanan her yüz için count değerini 1 arttırıyor (satır 22) ve yüz görüntüsünü dataset klasörüne kaydediyoruz. Kaydedilen görüntünün boyutları yüzün boyutları ile aynı. Yani webcam tarafından yakalanan görüntünün tümünü kullanmıyoruz. (Satır 24)

25.satırda kamera görüntüsünü (tamamını) ekrana yansıtıyoruz.

k değişkeni ile 100 milisaniye içinde bir tuşa basılıp basılmadığını kontrol ediyoruz.

Eğer ‘Esc’ tuşuna basıldıysa (sayısal karşılığı 27 olan tuş) döngüyü kırıyor, basılmadıysa bu kez count değerinin 30’u aşıp aşmadığını denetliyoruz. Sayı 30’u aştıysa döngüyü yine kırıyoruz. Çünkü her kişi için 30 görüntü kaydediyoruz.

Son iki satırda kamerayı serbest bırakıyor ve belleği temizliyoruz.

“dataset” klasörünün içine bakarsanız, verdiğiniz kullanıcı numarasına karşılık gelen 30 adet resim göreceksiniz.

Kullanıcı sayısını (yüz görüntülerini kaydedeceğiniz kişi sayısını) istediğiniz kadar arttırabilirsiniz. (Elbette en az bir kişi olmalı!)

Verilerimizi tamamladığımızda işimiz bitmiyor. Şimdi bu veri kümesini eğitmemiz lazım. İkinci betiğimizin işlevi bu!

import cv2
import numpy as np
from PIL import Image
import os
# Path for face image database
path = 'dataset'
recognizer = cv2.face.LBPHFaceRecognizer_create()
detector = cv2.CascadeClassifier("Cascades/haarcascade_frontalface_default.xml");
# function to get the images and label data
def getImagesAndLabels(path):
    imagePaths = [os.path.join(path,f) for f in os.listdir(path)]
    faceSamples=[]
    ids = []
    for imagePath in imagePaths:
        PIL_img = Image.open(imagePath).convert('L') # convert it to grayscale
        img_numpy = np.array(PIL_img,'uint8')
        id = int(os.path.split(imagePath)[-1].split(".")[1])
        faces = detector.detectMultiScale(img_numpy)
        for (x,y,w,h) in faces:
            faceSamples.append(img_numpy[y:y+h,x:x+w])
            ids.append(id)
    return faceSamples,ids
print ("\n [INFO] Training faces. It will take a few seconds. Wait ...")
faces,ids = getImagesAndLabels(path)
recognizer.train(faces, np.array(ids))
# Save the model into trainer/trainer.yml
recognizer.write('trainer/trainer.yml') # recognizer.save() worked on Mac, but not on Pi
# Print the numer of faces trained and end program
print("\n [INFO] {0} faces trained. Exiting Program".format(len(np.unique(ids))))

import cv2

import numpy as np

from PIL import Image

import os

# Path for face image database

path = 'dataset'

recognizer = cv2.face.LBPHFaceRecognizer_create()

detector = cv2.CascadeClassifier("Cascades/haarcascade_frontalface_default.xml");

# function to get the images and label data

def getImagesAndLabels(path):

imagePaths = [os.path.join(path,f) for f in os.listdir(path)]

faceSamples=[]

ids = []

for imagePath in imagePaths:

PIL_img = Image.open(imagePath).convert('L') # convert it to grayscale

img_numpy = np.array(PIL_img,'uint8')

id = int(os.path.split(imagePath)[-1].split(".")[1])

faces = detector.detectMultiScale(img_numpy)

for (x,y,w,h) in faces:

faceSamples.append(img_numpy[y:y+h,x:x+w])

ids.append(id)

return faceSamples,ids

print ("\n [INFO] Training faces. It will take a few seconds. Wait ...")

faces,ids = getImagesAndLabels(path)

recognizer.train(faces, np.array(ids))

# Save the model into trainer/trainer.yml

recognizer.write('trainer/trainer.yml') # recognizer.save() worked on Mac, but not on Pi

# Print the numer of faces trained and end program

print("\n [INFO] {0} faces trained. Exiting Program".format(len(np.unique(ids))))

İkinci -eğitim- betiğimizde opencv ve os yanısıra numpy ve pillow kütüphanelerini kullanıyoruz.

Veri klasörümüzün adı ‘dataset’. Bu bilgiyi path değişkeninde tutuyoruz.

Veri kümemizin eğitimini cv2.face.LBPHFaceRecognizer_create() komutuyla oluşturduğumuz recognizer (satır 7) üzerinden yapacağız.

Görüntülerdeki yüz alanlarını ayırmak için yine ‘haarcascade_frontalface_default.xml’ filtresinden yararlanacağız. Filtre değişkenimizin adı: detector. (satır 8)

Görüntü etiketlerimizi almak için getImagesAndLabels() fonksiyonunu kullanıyoruz.

ImagePaths listesi, path klasörü içinde yer alan dosyaların listesidir.

faceSamples listesi yüz görüntülerini, ids listesi ise her bir görüntünün etiketini tutacak.

imagePaths listesindeki her bir elemanı (dosya adını) kullanarak ilgili resmi okuyup griye dönüştürüyor ve PIL_img değişkenine atıyoruz (satır 15). Sonra bu görüntüleri 8 bitlik pozitif tamsayılardan oluşan bir numpy dizisi (array) haline dönüştürüyoruz (satır 16).

17 numaralı satırda, dosya adından kişi numarasını ayırıp, bir tam sayı olarak id değişkenine atıyoruz.

img_numpy görüntü numpy dizisinde bulunan yüz alanlarını bulup faces listesine atıyoruz. Yüzleri içeren listeyi döngüye sokup her bir görüntüyü faceSamples, ona karşılık gelen etiketi ise ids listesine ekliyoruz.

Fonksiyonumuz faceSamples ve ids listelerini döndürüyor.

24 numaralı satırda faces ve ids listeleri oluşturuluyor.

25 nolu satırda ise veri kümemizi eğitiyoruz.

Eğitilmiş veriseti bilgileri 27. satırda trainer klasörü içindeki trainer.yml dosyasına kaydediliyor. Bu dosyayı son betiğimizdeki görüntüleri sınıflandırırken kullanacağız.

Son betiğimiz şöyle:

# 03_face_recognition.py

import cv2
import numpy as np
from PIL import Image, ImageDraw, ImageFont

# UTF-8 string printing enabled
def print_utf8_text(image, xy, text, color):  # utf-8 characters
    fontName = 'FreeSerif.ttf'  # 'FreeSansBold.ttf' # 'FreeMono.ttf' 'FreeSerifBold.ttf'
    font = ImageFont.truetype(fontName, 24)  # select font
    img_pil = Image.fromarray(image)  # convert image to pillow mode
    draw = ImageDraw.Draw(img_pil)  # prepare image
    draw.text((xy[0],xy[1]), text, font=font,
              fill=(color[0], color[1], color[2], 0))  # b,g,r,a
    image = np.array(img_pil)  # convert image to cv2 mode (numpy.array())
    return image

recognizer = cv2.face.LBPHFaceRecognizer_create()
recognizer.read('trainer/trainer.yml')
cascadePath = "Cascades/haarcascade_frontalface_default.xml"
faceCascade = cv2.CascadeClassifier(cascadePath);
font = cv2.FONT_HERSHEY_SIMPLEX
# initiate id counter
id = 0
# names related to ids: example ==> Marcelo: id=1,  etc
# names = ['None', 'Marcelo', 'Paula', 'Ilza', 'Z', 'W']
names = ['None', 'Ahmet','Toygar','Nilden','Nilüfer']
# Initialize and start realtime video capture
cam = cv2.VideoCapture(0)
cam.set(3, 1000)  # set video widht
cam.set(4, 800)  # set video height
# Define min window size to be recognized as a face
minW = 0.1 * cam.get(3)
minH = 0.1 * cam.get(4)
while True:
    ret, img = cam.read()
    # img = cv2.flip(img, -1)  # Flip vertically
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

    faces = faceCascade.detectMultiScale(
        gray,
        scaleFactor=1.2,
        minNeighbors=5,
        minSize=(int(minW), int(minH)),
    )
    for (x, y, w, h) in faces:
        cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)
        id, confidence = recognizer.predict(gray[y:y + h, x:x + w])
        # Check if confidence is less them 100 ==> "0" is perfect match
        if (confidence < 100):
            id = names[id]
            confidence = "  {0}%".format(round(100 - confidence))
        else:
            id = "bilinmiyor"
            confidence = "  {0}%".format(round(100 - confidence))

        color = (255,255,255)
        img=print_utf8_text(img,(x + 5, y - 25),str(id),color)
        # cv2.putText(img, str(id), (x + 5, y - 5), font, 1, (255, 255, 255), 2)
        cv2.putText(img, str(confidence), (x + 5, y + h - 5), font, 1, (255, 255, 0), 1)

    cv2.imshow('camera', img)
    k = cv2.waitKey(10) & 0xff  # Press 'ESC' for exiting video
    if k == 27 or k==ord('q'):
        break
# Do a bit of cleanup
print("\n [INFO] Programdan çıkıyor ve ortalığı temizliyorum")
cam.release()
cv2.destroyAllWindows()

# 03_face_recognition.py

import cv2

import numpy as np

from PIL import Image, ImageDraw, ImageFont

# UTF-8 string printing enabled

def print_utf8_text(image, xy, text, color): # utf-8 characters

fontName = 'FreeSerif.ttf' # 'FreeSansBold.ttf' # 'FreeMono.ttf' 'FreeSerifBold.ttf'

font = ImageFont.truetype(fontName, 24) # select font

img_pil = Image.fromarray(image) # convert image to pillow mode

draw = ImageDraw.Draw(img_pil) # prepare image

draw.text((xy[0],xy[1]), text, font=font,

fill=(color[0], color[1], color[2], 0)) # b,g,r,a

image = np.array(img_pil) # convert image to cv2 mode (numpy.array())

return image

recognizer = cv2.face.LBPHFaceRecognizer_create()

recognizer.read('trainer/trainer.yml')

cascadePath = "Cascades/haarcascade_frontalface_default.xml"

faceCascade = cv2.CascadeClassifier(cascadePath);

font = cv2.FONT_HERSHEY_SIMPLEX

# initiate id counter

id = 0

# names related to ids: example ==> Marcelo: id=1, etc

# names = ['None', 'Marcelo', 'Paula', 'Ilza', 'Z', 'W']

names = ['None', 'Ahmet','Toygar','Nilden','Nilüfer']

# Initialize and start realtime video capture

cam = cv2.VideoCapture(0)

cam.set(3, 1000) # set video widht

cam.set(4, 800) # set video height

# Define min window size to be recognized as a face

minW = 0.1 * cam.get(3)

minH = 0.1 * cam.get(4)

while True:

ret, img = cam.read()

# img = cv2.flip(img, -1) # Flip vertically

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

faces = faceCascade.detectMultiScale(

gray,

scaleFactor=1.2,

minNeighbors=5,

minSize=(int(minW), int(minH)),

)

for (x, y, w, h) in faces:

cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)

id, confidence = recognizer.predict(gray[y:y + h, x:x + w])

# Check if confidence is less them 100 ==> "0" is perfect match

if (confidence < 100):

id = names[id]

confidence = " {0}%".format(round(100 - confidence))

else:

id = "bilinmiyor"

confidence = " {0}%".format(round(100 - confidence))

color = (255,255,255)

img=print_utf8_text(img,(x + 5, y - 25),str(id),color)

# cv2.putText(img, str(id), (x + 5, y - 5), font, 1, (255, 255, 255), 2)

cv2.putText(img, str(confidence), (x + 5, y + h - 5), font, 1, (255, 255, 0), 1)

cv2.imshow('camera', img)

k = cv2.waitKey(10) & 0xff # Press 'ESC' for exiting video

if k == 27 or k==ord('q'):

break

# Do a bit of cleanup

print("\n [INFO] Programdan çıkıyor ve ortalığı temizliyorum")

cam.release()

cv2.destroyAllWindows()

Kamera görüntülerindeki yüzleri yakalayıp kime ait olduklarını belirten betiğimiz bu. Kullanacağımız kütüphaneler opencv, numpy ve pillow.

print_utf8_text() fonksiyonunu bir önceki yazımda anlatmıştım. Türkçe karakterleri bu fonksiyon aracılığıyla bastırıyoruz.

Yüz tanıma nesnemiz recognizer‘a trainer.yml dosyası aracılığıyla eğitilmiş verisetimizi yüklüyoruz (satır 18 ve 19).

Canlı kamera görüntülerindeki yüzleri de yine haarcascade_frontalface_default.xml filtresi aracılığıyla yakalayacağız. Filtre değişkenimiz faceCascade (satır 20 ve 21).

22 nolu satırda orijinal betikte kullanılan font tanımlanıyor. Biz bu fontu da kullanacağız.

Kişi numaraları id değikeninde tutulacak. (Satır 24)

Etiketleri (isimleri) ise names listesiyle tanımlıyoruz.

Web kamerasının görüntüsünü cam değişkenine aktarıyoruz ve görüntü boyutlarını 1000 ve 800 piksel olarak ayarlıyoruz. (Bu değerleri 640 ve 480 olarak da bırakabilirdik.)

minW ve minH değişkenleri yakalanan yüz dikdörtgenlerinin boyutu için alt sınır değerleridir (satır 33 ve 34). Bu değerleri kendi ortamınıza göre değiştirebilirsiniz.

35 nolu satırda sonsuz döngümüz başlıyor.

36. satırda kamera görüntüsünü okuyor, 38. satırda bu görüntüyü grileştiriyoruz.

40 nolu satırda görüntü karesindeki tüm yüzleri yakalıyor; 46. satırda ise bu yüz dikdörtgenlerini bir döngü içinde işleme sokuyoruz.

recognizer.predict() metodu id ve confidence değerlerini döndürüyor. id kişi numarası; confidence ise yapılan saptamanın tahmini doğruluk oranıdır (satır 48).

id ve confidence değişkenlerini print için uygun hale getiriyoruz (satır 50-55).

58 nolu satırda kişi ismini UTF-8 kullanarak (Türkçe karakterleri doğru şekilde yansıtarak), 60 nolu satırda ise belirtilen kişinin tahmini doğruluk oranını standart font ile görüntüye işliyoruz.

Görüntünün ekrana yansıtılması 62 nolu satırda.

Döngümüz yine Esc veya q tuşlarından birine basıldığında kırılıyor.

Döngü kırıldığında web kamerayı sonlandıyor ve belleği temizliyoruz (satır 68-69).

Bu betiğin çalışmasını gösteren örnek video aşağıda.

Bu yazı, açıklamaları olabildiğince kısa tutsam da biraz uzunca oldu. Umarım yeterince açıklayıcıdır. Sorularınız için yorum alanını kullanabilirsiniz.

Bir sonraki yazımda yine yüz tanıma olacak. Ancak veri kümemizi oluşturmak ve eğitmek için farklı yöntemler kullanacağız.

Beni izlemeye devam edin.

Ahmet Aksoy

OpenCV ile Dünyayı Yeniden Keşfetmek

makine öğrenmesi, opencv, python, raspberry pi, tensorflow 1 Yanıt »

Kas 272018

OpenCV ile Dünyayı Yeniden Keşfetmek

OpenCV kütüphanesi’ni 1999 yılında Intel’den Gary Bradsky başlattı ve ilk sürümü 2000 yılında yayınlandı. Daha sonra bu çalışmalara Vadim Pisarevsky de katıldı. Halen OpenCV’nin Bilgisayar Görmesi ve Makina Öğrenmesi çalışmalarına yönelik desteği artarak devam etmektedir. (1)

OpenCV kütüphanesi hem C++, Python ve Java gibi dilleri; hem de Linux, Windows, OS X, Android ve iOS gibi platformları desteklemektedir. Kütüphane çalışmaları açık kaynaklıdır ve https://www.opencv.org/ sitesi üzerinden paylaşılmaktadır. Son sürüm OpenCV 4.0, 20 Kasım 2018 tarihinde duyurulmuştur.

Kütüphane ile ilgili daha ayrıntılı bilgilere ulaşmak isterseniz, kendi sitesine bir göz atmanızda yarar görüyorum.

Söz konusu kütüphanenin pratik kullanımına yönelik güzel örnekler paylaşan bir site daha var: https://www.pyimagesearch.com/ Her ne kadar arka planda kitap ve kurs pazarlaması bulunsa da, açık şekilde paylaşılan kod ve açıklamaları mutlaka izlemenizi öneririm. Olanaklarınız elveriyorsa Adrian Rosebrock’un kitaplarını almayı, ya da online kurslarına katılmayı düşünebilirsiniz. Elbette bunun için yeterli düzeyde İngilizce bilgisine ihtiyacınız olacak.

Bu ve izleyen bazı yazılarımda PyImageSearch veya benzer siteler tarafından paylaşılan kimi kodları temel alan bazı çalışmalar yayınlamayı düşünüyorum. Bu çalışmaları test ettiğim bilgisayarımda Ubuntu 18.04 işletim sistemi yüklü. Python sürümü 3.6. GPU destekli Tensorflow kurulumundaki sorunları aşmak için gerektiğinde Anaconda da kullanıyorum. IDE sistemim: güncel Pycharm Community sürümü. Örneklerde kullandığım OpenCV sürümü 3.4.3.

Adrian Rosebrock, betiklerinde komut modunu kullanmayı seviyor. Bense parametreleri dışarıdan vermek yerine betiğin içine gömmeyi daha fazla tercih ediyorum. Ayrıca, çok mecbur kalmadıkça ekrana print ettirdiğim ifadelerde geçen Türkçe karakterlerin “olması gerektiği gibi” görünmesini de önemsiyorum.

Lafı daha fazla uzatmadan ilk örneğimizi kodlayalım. Bu örnek bir başka siteden: https://www.hackster.io/mjrobot/real-time-face-recognition-an-end-to-end-project-a10826

import cv2
cap = cv2.VideoCapture(0)
cap.set(3 ,640) # set Width
cap.set(4 ,480) # set Height
while(True):
    ret, frame = cap.read()
    # frame = cv2.flip(frame, -1) # Flip camera vertically
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    cv2.imshow('frame', frame)
    cv2.imshow('gray', gray)

    k = cv2.waitKey(30) & 0xff
    if k == 27 or k==ord('q'): # press 'ESC' or 'q' to quit
        break
cap.release()
cv2.destroyAllWindows()

import cv2

cap = cv2.VideoCapture(0)

cap.set(3 ,640) # set Width

cap.set(4 ,480) # set Height

while(True):

ret, frame = cap.read()

# frame = cv2.flip(frame, -1) # Flip camera vertically

gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

cv2.imshow('frame', frame)

cv2.imshow('gray', gray)

k = cv2.waitKey(30) & 0xff

if k == 27 or k==ord('q'): # press 'ESC' or 'q' to quit

break

cap.release()

cv2.destroyAllWindows()

Betiğimiz webcam görüntülerini tarayıp ekrana yansıtmaktadır.

cap = cv2.VideoCapture(0) satırı, varsayılan webcam cihazını aktif hale getirerek, görüntüleri yakalamasını sağlamaktadır.

cap.set() metodu ile görüntünün en ve yükseklik değerleri belirleniyor.

Sonsuz while döngümüzün içinde görüntü yakalama işlemi cap.read() metodu tarafından gerçekleştirilmekte ve “frame” değişkenine aktarılmaktadır. “ret” değeri okuma işleminin başarılı olup olmadığını saptamaktadır.

cv2.flip() metodu, webcam görüntünüz tepetaklak ise işe yarayacaktır. Eğer webcam görüntünüz normalse, bu satırı -benim yaptığım gibi- devre dışı bırakmanız gerekir.

gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) satırı ile “frame” görüntüsünü “GRİ” renge çeviriyoruz.

cv2.COLOR_BGRGRAY parametresindeki “BGR” harfleri (B)lue-(G)reen-(R)ed (mavi-yeşil-kırmızı) kelimelerinden türetilmiştir. OpenCV RGB yerine BGR renk sistemini kullanmaktadır.

cv2.imshow() metodu imajları görünür hale getirmek için kullanılır. “frame” ve “gray” imajlarını ayrı ayrı görselleştiriyoruz.

OpenCV sisteminde olay yakalama mekanizması cv2.waitkey() metodu ile başlatılır. Bu metod kullanılmazsa ne görüntüleme, ne de tuş yakalama olayları gerçekleşebilir.

Döngüyü kırmak için ‘Esc’ veya ‘q’ tuşlarını tanımlıyoruz. Bu tuşlardan herhangi biri tıklandığında döngümüz kırılıyor; cap nesnesi sebest bırakılıyor ve oluşturulan tüm pencereler bellekten temizleniyor.

Eğer istersek görüntü karelerini webcam cihazımız yerine herhangi bir video dosyasından da aynı şekilde okuyabiliriz. Sonraki yazılarımda bu tür örnekleri de ele alacağım.

Örnek betiğimizden gördüğümüz gibi, OpenCV işlerimizi olağanüstü derecede kolaylaştırmaktadır.

Bu kütüphaneyi bir PC veya dizüstü üzerinde olduğu gibi, Raspberry Pi gibi mikro bilgisayarlar üzerinde de çalıştırabilmekteyiz. Bu konuyu da daha sonra ele alacağım.

Eğer bilgisayarınızda OpenCV zaten kuruluysa, örneğimizi de kolayca çalıştırmış olmalısınız.

Ama bu kütüphaneyi ilk kez kuracaksanız, işiniz o kadar kolay olmayabilir. Çünkü bu kütüphane çok geniş bir alana el attığı için pek çok başka kütüphanenin varlığına ihtiyaç duyar. Öncelikle bu kütüphanelerin kurulup hazır hale getirilmesi gerekiyor.

Bu yazıyı daha fazla uzatmamak için OpenCV kurulumunu bir sonraki yazımda ele alacağım.

Beni izlemeye devam edin.

Ahmet Aksoy

(1) – https://docs.opencv.org/3.4/d0/de3/tutorial_py_intro.html

Pösteki Saymak

makine öğrenmesi, python 2 Yanıt »

Eyl 162018

Pösteki Saymak

Sizce, tek bir Türkçe kelime kökünden yapım ve çekim ekleri kullanarak en fazla kaç kelime türetilebilir?

Tam 5081 kelime. Bu kelimelerin türetildiği kök: et.

Bu sayının büyüklüğünde aynı kökün hem yüklem hem de isim olması elbette etkilidir.

Yazının sonunda “et” kökünden türemiş sözcüklerin bazılarını vereceğim.(Hepsini vermek yazıyı gereksiz yere uzatacaktır.)

İkinci sıradaki çok kullanılan kökümüz “ol” yüklemidir. Ondan türeyen kelime sayısı: 3536.

Aşağıdaki grafikte en verimli 20 Türkçe kökü görüyorsunuz.

Sözcük türetmede kullanılan ekleri de benzer şekilde ayrıştırıp, frekanslarını buldum. En fazla kullanılan ilk iki ek “ler” ve “leri” ekleri. Onları “ları” ve “lar” izliyor. Onların peşinden gelenlerin çoğunluğunu yine çoğul eklerinin çeşitlemeleri oluşturuyor.

Sözcük türetiminde en fazla kullanılan ilk 20 eki de aşağıdaki grafikte görebilirsiniz:

Sözkonusu sayıları elde ederken bir milyon altı yüz altı bin yedi yüz yirmi iki (1,606,722) kelime içeren, kısmen denetlenmiş bir listeden yararlandım. Bu listeden çıkan tekil kök sayısı 20910. Tekil ek sayısı ise 77815.

Son günlerde Türkçe sözcüklerin kök ve eklerine ayrılması çalışmalarına yeniden yoğunlaştım. Bunda Yavuz Kömeçoğlu ve Birol Kuyumcu’nun yayınladığı örnek kodun büyük etkisi oldu: https://github.com/deeplearningturkiye/kelime_kok_ayirici
Seq2seq yöntemiyle çalışan bu kodlar 5572 kelime ve kökünü içeren bir verisetini eğitiyor ve test ediyor. Başarı oranı %97.

Aynı sistemi, kelime sayısını 42600 civarına çıkararak tekrarladım. Bu kez başarı oranı 93.6 oldu.

Parametrelerle oynayarak başarı oranı biraz daha yükseltilebilir sanırım. Ama her bir deneme GPU’lu bir makinede bile bazen saatler sürüyor.

Türkçe Doğal Dil İşleme (NLP) çalışmalarında kök ayırıcı olarak bu sistemden yararlanmak mümkün. Küçük hatalar bu tür çalışmalarda kolaylıkla hoş görülebilir.

Ancak, bu başarı düzeyleri beni bir türlü tatmin etmiyor. Çünkü ben, aslında, yazım hatalarını otomatik olarak -dışarıdan- denetleyen bir sistem geliştirme peşindeyim. Hedefim “SIFIR HATA”!

İşte burada yeni -ve çok daha basit- bir yöntem kullanmanın çok daha verimli olacağına inanıyorum: denetimden geçmiş, doğru ve güvenilir bir kelime listesi kullanmak.

Elimde iki milyona yakın sözcük barındıran ve kısmen denetlenmiş bir liste var. Bu haliyle bile oldukça iyi sonuçlar veriyor. (https://drive.google.com/drive/folders/0B_iRLUok9_qqOFozeHNFMjRHTVk adresinde paylaştığım derlem dosyalarından siz de böyle bir liste oluşturabilirsiniz.)

Aynı listeyi kök ayrımında kullanılacak şekilde geliştirmek de mümkün.

İşte bu tür çalışmaların hemen hepsi, “pösteki saymak” kavramıyla örtüşebilecek nitelikte… Çok fazla emek, sabır ve dikkat gerektiriyor. Üstelik bu çabanın “Türkçe dilgisi” ile de yoğrulmuş olması şart. Türkçe bilgime her ne kadar güveniyor olsam da, bu konunun akademik uzmanı değilim. Umuyorum ki, bir gün “bu işlerin uzmanları” da taşın altına elini koyar.

Çalışmalarımı -şimdilik- kendi kişisel emek ve bilgilerimi kullanarak gerçekleştiriyorum. “SIFIR HATA” hedefime ulaşana kadar da sürdüreceğim.

Liste (aslında sözlük) yöntemini kullanarak çözümlemeye çalıştığım kaynakların pek çoğu aşırı derecede kirli. Bu kaynakların pek çoğu tarayıcı kullanılarak sayısallaştırılmış. Bu sırada, uygulamalardaki Türkçe uyum sorunları nedeniyle pek çok yazım hatası oluşmuş. İnsan beyni bu tür hataları kolaylıkla tolere edebilse de, temiz ve güvenilir bilgi derleme açısından işler büyük ölçüde zorlaşıyor.

Bir kaç kez gönüllü ekip oluşturmayı denedik, ama sonuç alamadık.

Şimdi, yaptığım çalışmalardan elde ettiğim sonuçları -veya bir kısmını- kaynaklara ekleyerek – bir tür forward propagation ve backward propagation yöntemiyle- daha sağlıklı sonuçlar elde etmeye çalışıyorum. İşin içine insan emeği girince, çalışmalar yavaşlıyor ister istemez. Ama sonuçtan memnunum.

Kelimeleri ayrıştırıp görselleştirdiğim Python kodları şöyle:

"""
Kod: Ahmet Aksoy
Tarih: 15.09.2018
Python: 3.6.6

"""
import locale
import matplotlib.pyplot as plt

print(locale.getlocale())
locale.setlocale(locale.LC_ALL, "tr_TR.UTF-8")

kokler=[]
ekler=[]
klmsoz=dict()
# YYKOKBULTEST.txt dosyasındaki satırlar
# kelime, kök
# şeklinde
with open("veri/YYKOKBULTEST.txt") as f:
    for s in f.readlines():
        ss=s.strip().split(',')
        klmsoz[ss[0]]=ss[1]
        kokler.append(ss[1])
        if (ss[0] != ss[1]):
            ek =ss[0][len(ss[1]):]
            ekler.append(ek)

lst = sorted(klmsoz.items(),key=lambda x:x[1], reverse=False)
# lst = sorted(lst,key=locale.strxfrm)

def ekcoz(kok):
    ekler=[]
    sozcukler=[]
    for k in klmsoz.keys():
        if klmsoz[k] != kok: continue
        sozcukler.append(k)
        ek = k[len(kok):]
        if ek not in ekler:
            ekler.append(ek)
    ekler = sorted(ekler)
    sozcukler = sorted(sozcukler)
    return kok,ekler, sozcukler

print("Kelime sayısı =",len(lst))

# Ekler
from collections import Counter
cek = Counter(ekler)
print("Ek sayısı =",len(set(cek.elements())))
say=1
x=[]
y=[]
m=1
xticks=[]
for s,n in cek.most_common(20):
    print(f"{n:06} {s}")
    x.append(m);m+=1
    xticks.append(s)
    y.append(n)

plt.figure(figsize=(10,6))
plt.bar(x,y)
plt.xticks(x,xticks,rotation='vertical')
plt.title("En çok kullanılan 20 ek")
plt.ylabel("Türetilen kelime sayısı")
plt.xlabel("Ekler")
for i in range(20):
    plt.text(x=i+1,y=y[i]+250,s=y[i],rotation=45,color='r')
plt.show()

# Kökler
ckok = Counter(kokler)
print("Kök sayısı= ",len(set(ckok.elements())))
say=1
x=[]
y=[]
m=1
xticks=[]
for s,n in ckok.most_common(1):
    print(f"{n:06} {s}")
    x.append(m);m+=1
    xticks.append(s)
    y.append(n)

    kkok,kekler,ksozcukler = ekcoz(s)
    print(kkok)
    # for kek in kekler: print(kek,end=' ')
    # print(f"({len(ekler)})")
    for ksozcuk in ksozcukler:
        print(ksozcuk)
    print(f"({len(ksozcukler)})")

plt.figure(figsize=(10,6))
plt.bar(x,y)
plt.xticks(x,xticks,rotation='vertical')
plt.title("Kendisinden en fazla kelime türetilen 20 kök")
plt.ylabel("Türetilen kelime sayısı")
plt.xlabel("Kökler")
for i in range(20):
    plt.text(x=i+1,y=y[i]+250,s=y[i],rotation=45,color='r')
plt.show()

100

101

"""

Kod: Ahmet Aksoy

Tarih: 15.09.2018

Python: 3.6.6

"""

import locale

import matplotlib.pyplot as plt

print(locale.getlocale())

locale.setlocale(locale.LC_ALL, "tr_TR.UTF-8")

kokler=[]

ekler=[]

klmsoz=dict()

# YYKOKBULTEST.txt dosyasındaki satırlar

# kelime, kök

# şeklinde

with open("veri/YYKOKBULTEST.txt") as f:

for s in f.readlines():

ss=s.strip().split(',')

klmsoz[ss[0]]=ss[1]

kokler.append(ss[1])

if (ss[0] != ss[1]):

ek =ss[0][len(ss[1]):]

ekler.append(ek)

lst = sorted(klmsoz.items(),key=lambda x:x[1], reverse=False)

# lst = sorted(lst,key=locale.strxfrm)

def ekcoz(kok):

ekler=[]

sozcukler=[]

for k in klmsoz.keys():

if klmsoz[k] != kok: continue

sozcukler.append(k)

ek = k[len(kok):]

if ek not in ekler:

ekler.append(ek)

ekler = sorted(ekler)

sozcukler = sorted(sozcukler)

return kok,ekler, sozcukler

print("Kelime sayısı =",len(lst))

# Ekler

from collections import Counter

cek = Counter(ekler)

print("Ek sayısı =",len(set(cek.elements())))

say=1

x=[]

y=[]

m=1

xticks=[]

for s,n in cek.most_common(20):

print(f"{n:06} {s}")

x.append(m);m+=1

xticks.append(s)

y.append(n)

plt.figure(figsize=(10,6))

plt.bar(x,y)

plt.xticks(x,xticks,rotation='vertical')

plt.title("En çok kullanılan 20 ek")

plt.ylabel("Türetilen kelime sayısı")

plt.xlabel("Ekler")

for i in range(20):

plt.text(x=i+1,y=y[i]+250,s=y[i],rotation=45,color='r')

plt.show()

# Kökler

ckok = Counter(kokler)

print("Kök sayısı= ",len(set(ckok.elements())))

say=1

x=[]

y=[]

m=1

xticks=[]

for s,n in ckok.most_common(1):

print(f"{n:06} {s}")

x.append(m);m+=1

xticks.append(s)

y.append(n)

kkok,kekler,ksozcukler = ekcoz(s)

print(kkok)

# for kek in kekler: print(kek,end=' ')

# print(f"({len(ekler)})")

for ksozcuk in ksozcukler:

print(ksozcuk)

print(f"({len(ksozcukler)})")

plt.figure(figsize=(10,6))

plt.bar(x,y)

plt.xticks(x,xticks,rotation='vertical')

plt.title("Kendisinden en fazla kelime türetilen 20 kök")

plt.ylabel("Türetilen kelime sayısı")

plt.xlabel("Kökler")

for i in range(20):

plt.text(x=i+1,y=y[i]+250,s=y[i],rotation=45,color='r')

plt.show()

Bunlar da “et” sözcüğünden türetme yapan eklerden bazıları:
et
edebildi
edebildik
edebildikleri
edebildikleridir
edebildiklerim
edebildiklerimden
edebildiklerime
edebildiklerimi
edebildiklerimiz
edebildiklerimizden
edebildiklerimizdi
edebildiklerimize
edebildiklerimizi
edebildiklerimizin
edebildiklerince
edebildiklerinde
edebildiklerinden
edebildiklerine
edebildiklerini
edebildiklerinin
edebildikleriydi
edebildikleriyle
edebildikse
edebildikten
edebildiler
edebildilerse
edebildim
edebildin
edebildiniz
edebildiydi
edebildiyse
edebildiysek
edebildiysem
edebildiysen
edebildiyseniz
…
Liste uzayıp gidiyor…

Çalışmalarımın gelişimini ve aldığım sonuçları bu sayfalarda yeri geldikçe paylaşmaya devam edeceğim.
Yeni yazılarımdan haberdar olmak istiyorsanız, Sayfanın en altındaki “Beni yeni yazılarda e-posta ile bilgilendir” seçeneğini işaretleyin.

Ahmet Aksoy

Doların Falına Bakmak

derin öğrenme, makine öğrenmesi, python 3 Yanıt »

Ağu 272018

Doların Falına Bakmak

Son günlerin en çok merak uyandıran konularından biri, elbette “dolardaki yükseliş” konusudur. En can alıcı soru: “Acaba dolar kaç liraya kadar yükselecek?”

Bu konuya bir nebze olsun katkıda bulunmak için, ben de doların falına bakayım dedim!…

Aslında faldan falan anlamasam da, elimde güzel bir fal bakma sistemi var. Facebook tarafından geliştirilmiş: fbprophet. Kullanımı olağanüstü kolay. Pandas ve numpy ile entegre edebiliyor; matplotlib ile sonuçları görselleştirebiliyorsunuz. Zaman serileri için çok pratik bir araç. Python 3.6.5 ile sorunsuz çalışıyor.

USDTRY günlük tarihsel verisini https://tr.investing.com sitesinden indirdim.
İndirdiğim verisetinde “Tarih”,”Şimdi”,”Açılış”,”Yüksek”,”Düşük”,”Fark %” kolonları var. Ben sadece “Tarih” ve “Şimdi” kolonlarını kullandım.

Grafikleri anlamlı bir şekilde yorumlayabilmek için elbette yeterli ekonomi bilgisine sahip olmak gerekiyor. Ben, böyle bir birikime sahip değilim. Yine de, ekonomi bilgisinden bağımsız olarak, ilginç birkaç bilgiye erişebildim:
1. Tarihsel bilgi aralığını çok geniş veya çok dar tutunca sonuçlar anlamsızlaşıyor.
2. 2 ila 5 yıllık dönemlerin eksterpolasyonu daha anlamlı görünüyor.
3. Doların ne yapacağını sadece eldeki tarihsel veriyi kullanarak kestirmek mümkün değil. (Bu işi ekonomistlere bırakmak yerinde olacak.)

Projede 3 ayrı dönemi inceledim: 2012, 2014 ve 2016 yılından günümüze kadarki dönemler.

1. dönem: 01.01.2016 – 24.08.2018 arası. Bu döneme göre 2019 yıl başında oluşacak dolar değeri yaklaşık 9.00 TL.

2016-2018 dönemi

2. dönem: 01.01.2014 – 24.08.2018 arası. Bu döneme göre 2019 yıl başında oluşacak dolar değeri yaklaşık 6.50 TL.

2014-2018 dönemi

3. dönem: 01.01.2012 – 24.08.2018 arası. Bu döneme göre 2019 yıl başında oluşacak dolar değeri yaklaşık 5.20 TL.

2012-2018 dönemi

Hangi senaryoyu seçeceğiniz, tamamen size kalmış.

Ben falda çıkanı söyledim sadece.

Bunlar da kodlarımız:

"""
Program: Ahmet Aksoy
Yazım tarihi: 26.04.2018
Python: 3.6.5
pandas: 0.23.4
matplotlib: 2.2.3
fbprophet: 0.3.post2
conda: 4.5.10
"""
import pandas as pd
import matplotlib.pyplot as plt
import fbprophet

df1 = pd.read_csv('USD_TRY.csv',decimal=',')

# Kullanılacak kolonları seç
df = df1[['Tarih','Şimdi']]

# Prophet  için ds (Tarih) and y (Değer) kolonları gerekiyor
df = df.rename(columns={'Tarih': 'ds', 'Şimdi': 'y'})

# Tarih formatını düzenle
df['ds'] = pd.to_datetime(df['ds'], format='%d.%m.%Y')

# Satırlarımız sadece 2014'ten sonrasını içersin
df = df[(df['ds']>='2012-01-01')&(df['ds']<='2018-08-25')]

df = df.sort_values(by=['ds'],ascending=True)

plt.plot(df['ds'], df['y'],'r')
plt.title('Gerçek USDTRY Fiyat Değişimi')
plt.ylabel('Fiyat (TRY)')
plt.draw()

# prophet modelini hazırla ve fit metodunu uygula
df_prophet = fbprophet.Prophet(changepoint_prior_scale=0.15)
df_prophet.fit(df)

# 12 aylık gelecek tahmini yap
tahmin_suresi=365
df_forecast = df_prophet.make_future_dataframe(periods= tahmin_suresi, freq='D')

# Tahminleri gerçekleştir
df_forecast = df_prophet.predict(df_forecast)

# Sonuçları görselleştir
df_prophet.plot(df_forecast, xlabel = 'Tarih', ylabel = '1 $ karşılığı TRY değeri')
plt.title(f'{tahmin_suresi} günlük USDTRY Tahmin')
plt.title('USDTRY Fiyat Değişimi')
plt.ylabel('Fiyat (TRY)')

plt.show()

"""

Program: Ahmet Aksoy

Yazım tarihi: 26.04.2018

Python: 3.6.5

pandas: 0.23.4

matplotlib: 2.2.3

fbprophet: 0.3.post2

conda: 4.5.10

"""

import pandas as pd

import matplotlib.pyplot as plt

import fbprophet

df1 = pd.read_csv('USD_TRY.csv',decimal=',')

# Kullanılacak kolonları seç

df = df1[['Tarih','Şimdi']]

# Prophet için ds (Tarih) and y (Değer) kolonları gerekiyor

df = df.rename(columns={'Tarih': 'ds', 'Şimdi': 'y'})

# Tarih formatını düzenle

df['ds'] = pd.to_datetime(df['ds'], format='%d.%m.%Y')

# Satırlarımız sadece 2014'ten sonrasını içersin

df = df[(df['ds']>='2012-01-01')&(df['ds']<='2018-08-25')]

df = df.sort_values(by=['ds'],ascending=True)

plt.plot(df['ds'], df['y'],'r')

plt.title('Gerçek USDTRY Fiyat Değişimi')

plt.ylabel('Fiyat (TRY)')

plt.draw()

# prophet modelini hazırla ve fit metodunu uygula

df_prophet = fbprophet.Prophet(changepoint_prior_scale=0.15)

df_prophet.fit(df)

# 12 aylık gelecek tahmini yap

tahmin_suresi=365

df_forecast = df_prophet.make_future_dataframe(periods= tahmin_suresi, freq='D')

# Tahminleri gerçekleştir

df_forecast = df_prophet.predict(df_forecast)

# Sonuçları görselleştir

df_prophet.plot(df_forecast, xlabel = 'Tarih', ylabel = '1 $ karşılığı TRY değeri')

plt.title(f'{tahmin_suresi} günlük USDTRY Tahmin')

plt.title('USDTRY Fiyat Değişimi')

plt.ylabel('Fiyat (TRY)')

plt.show()

Ahmet Aksoy

Kaçıncı Yeni

derin öğrenme, makine öğrenmesi, python, tensorflow Yanıt yok »

Ağu 102018

Kaçıncı Yeni

1950’li yıllarda edebiyat sahnesine giren “2. Yeni” şiir akımı, bir tepkiyi dile getiriyordu. Bu tepki, Varlık Dergisi etrafında Orhan Veli ve arkadaşlarının başlattığı Garip akımına karşıydı. Eş zamanlı olarak, 2. Dünya Savaşının tetiklediği bunalım ortamlarından filizlenen dadaizm ve varoluşçuluk gibi akımlardan esinlendi.

Bu akımın önde gelen isimleri Cemal Süreya, İlhan Berk, Edip Cansever, Ece Ayhan, Turgut Uyar, Ülkü Tamer ve Sezai Karakoç gibi isimlerdi.

İkinci yenicilerin sloganı “şiir için şiir”dir. Onlar için söz sanatları, kelime oyunları ve hayal dünyası ön plandadır. Bu yüzden mesajlarını doğrudan doğruya vermek yerine imgeleri ve metaforları kullanmayı tercih ettiler.

Bazı 2. yeni şiirleri peşpeşe dizilmiş, ilgisiz sözcüklerden oluşan anlamsız bir biçim gibi görünür. Cümleler belirsiz veya devriktir. Hatta hiç cümle yoktur.

İşte Ece Ayhan’dan birkaç dize:
…
geçer sokaktan bakışsız bir
Kedi Kara.
Çuvalında yeni ölmüş bir çocuk.
Kanatları sığmamış.
Bağırır Eskici Dede.
Bir korsan gemisi! girmiş körfeze
…
Biraz kargalarlı, aykırı düşüncelerdir.
…

Peki bunları niye anlatıyorum?

Çünkü, Tensorflow ile “Char-RNN” yöntemini kullanarak oluşturduğum örnekler bir bakıma bu “2. Yeni” şiirlerine benziyor.
Ancak bu sonucu yaratan baş etmen, sistemi eğitmek amacıyla kullandığım veri kümesinin yeterli büyüklüğe sahip olmayışıdır.
Bir diğer etken ise verilerin içinde yer alan dizim hatalarıdır. Bu durumu ne yazık ki sonradan farkettim. Bütün dizeleri tek tek gözden geçirip düzeltmeye çalışmak, olağanüstü bir çaba ve zaman gerektiriyor.

Yine de, durumu biraz olsun hafifletmek amacıyla “geçersiz sözcük barındıran dizeleri” silen bir süzgeç kullandım. Bu sayede elde ettiğim tüm dizeler, tamamiyle geçerli Türkçe sözcüklerden oluşmaktadır.

İşte benim haylaz öğrencinin dile getirdiği bazı dizeler:
…
Ne herşey evleri
kağıttan görüyorum
Mutlaka kalacaktı bana inat
İstememiş, sokaklarımız
…
Kan deniz öyle biri
Anlama gittiğimiz yok
Ben ayı açık sızlar,
umuttan ömrümüz
…
Kaygılar her şeyleri yerinde
…
Yağmurları sis böyle düştüm
perde, ilk zamanmış bütün
Ve bu zaman bir güllerden
Aşktı
Acısıyla kaybettiğim karanlıkta
…

Sonuçların ileride daha fazla anlamsal bütünlük kazanacağını umuyorum. Bunu sağlamak için, öncelikle eğittiğim veri kümesini daha büyük boyutlu ve sorunsuz dizelerden oluşan bir yapıya kavuşturmam gerek. Bu da uzunca bir zamana ihtiyaç duyacak.
Şimdilik, geçici bir yöntem olarak, elde ettiğim ayıklanmış dizeleri mevcut veri kümesine ekleyip, yeniden eğitiyorum. Bu tekrarların ne kadar yarar sağlayacağını zaman gösterecek. Sonuçları yine burada, sizlerle paylaşacağım.

Veri kümesini eğitmek için kullandığım Python kodlarını daha önce paylaşmıştım: http://python.gurmezin.com/tensorflow-ile-acemi-siirler/. Orijinal kodlara, https://github.com/sherjilozair/char-rnn-tensorflow adresinden ulaşabilirsiniz.

Bu çalışmada Python 3.6.5 kullandım. Tensorflow sürümü 1.5.0. 6GB belleği olan GPU ile eğitim işlemi yaklaşık 15 dakika sürüyor.

Veri kümesini internet üzerinden rasgele derlediğim için, şimdilik paylaşmam mümkün değil. İleride, paylaşılabilecek bir veri kümesi oluşturma şansı elde edersem, elbette o veri kümesini sizlerle de paylaşacağım.

Soru, öneri ve eleştirileriniz için yorum alanını kullanabilirsiniz.

Tekrar görüşmek üzere,

Ahmet Aksoy

OpenCV ile Yüz Tanıma

makine öğrenmesi, python 8 Yanıt »

Oca 212018

OpenCV ile Yüz Tanıma

OpenCV kütüphanesi BSD lisansı ile yayınlanan bir kütüphane. Hem akademik, hem de ticari kullanıma açık. Kütüphanenin asıl odaklandığı konu gerçek zamanlı uygulamalar için hızlı ve etkin hesaplama araç ve yöntemlerinin geliştirilmesi.

En son sürümü OpenCV 3.4, 23 Aralık 2017 tarihinde duyurulan kütüphane, bugüne kadar yaklaşık 11 milyon kez indirilmiş. Github üzerinde 25,988 opencv projesi mevcut. Bunlardan 6193 adedi Python ile yapılmış.

Bu yazımda size bir github projesini tanıtacağım: https://github.com/ageitgey/face_recognition/

İnsan yüzlerini tanımak amacıyla geliştirilmiş bir proje bu. MIT lisansıyla paylaşılıyor. Güncel.

Bu projeyi Ubuntu 16.04 üzerinde, Python 3.5.2 ile test ettim.

Tek resim üzerinde olduğu gibi, video kareleri ve webcam görüntüleri üzerinde de verimli bir şekilde çalışıyor.

Yüz tanıma kodlarını çalıştırmak için gereken kurulumların nasıl yapılacağı proje sayfasında ayrıntılı bir şekilde anlatılmış. Ben tekrarlamayacağım.

Proje sayfasında verilen örnek kodların hepsini tek tek test ettim. Hepsi çalışır durumda. Sadece webcam ile görüntü tarama kodlarında küçük bir değişiklik yapmam gerekti. Çünkü benim bilgisayarımın webcam kamerası görüntüleri tepetaklak gösteriyor. Sizin bilgisayarınızda benimki gibi bir sorun yoksa, eklediğim düzeltme işlemine de gerek duymayacaksınız.

Önce kodları paylaşayım (Bu kodlar, kendisine bir resim dosyasıyla tanıtılan yüzü, gerçek zamanlı webcam görüntülerinde yakalayıp işaretliyor. Orijinal kodlarda ‘obama.jpg’ kullanılmakta. Aynı kodların başka görseller üzerinde de etkin bir şekilde çalıştığını göstermek amacıyla kendi resmimi tanıttım.) :

import face_recognition
import cv2

# This is a demo of running face recognition on live video from your webcam. It's a little more complicated than the
# other example, but it includes some basic performance tweaks to make things run a lot faster:
#   1. Process each video frame at 1/4 resolution (though still display it at full resolution)
#   2. Only detect faces in every other frame of video.

# PLEASE NOTE: This example requires OpenCV (the `cv2` library) to be installed only to read from your webcam.
# OpenCV is *not* required to use the face_recognition library. It's only required if you want to run this
# specific demo. If you have trouble installing it, try any of the other demos that don't require it instead.

# Get a reference to webcam #0 (the default one)
video_capture = cv2.VideoCapture(0)

# Load a sample picture and learn how to recognize it.
#obama_image = face_recognition.load_image_file("obama.jpg")
obama_image = face_recognition.load_image_file("ahmet.jpg")
obama_face_encoding = face_recognition.face_encodings(obama_image)[0]

# Initialize some variables
face_locations = []
face_encodings = []
face_names = []
process_this_frame = True

while True:
    # Grab a single frame of video
    ret, frame = video_capture.read()
    frame=cv2.flip(frame,0)  # ters gösteren kamera için ben ekledim

    # Resize frame of video to 1/4 size for faster face recognition processing
    small_frame = cv2.resize(frame, (0, 0), fx=0.25, fy=0.25)

    # Convert the image from BGR color (which OpenCV uses) to RGB color (which face_recognition uses)
    rgb_small_frame = small_frame[:, :, ::-1]

    # Only process every other frame of video to save time
    if process_this_frame:
        # Find all the faces and face encodings in the current frame of video
        face_locations = face_recognition.face_locations(rgb_small_frame)
        face_encodings = face_recognition.face_encodings(rgb_small_frame, face_locations)

        face_names = []
        for face_encoding in face_encodings:
            # See if the face is a match for the known face(s)
            match = face_recognition.compare_faces([obama_face_encoding], face_encoding)
            name = "Unknown"

            if match[0]:
                #name = "Barack"
                name = "Ahmet"

            face_names.append(name)

    process_this_frame = not process_this_frame


    # Display the results
    for (top, right, bottom, left), name in zip(face_locations, face_names):
        # Scale back up face locations since the frame we detected in was scaled to 1/4 size
        top *= 4
        right *= 4
        bottom *= 4
        left *= 4

        # Draw a box around the face
        cv2.rectangle(frame, (left, top), (right, bottom), (0, 0, 255), 2)

        # Draw a label with a name below the face
        cv2.rectangle(frame, (left, bottom - 35), (right, bottom), (0, 0, 255), cv2.FILLED)
        font = cv2.FONT_HERSHEY_DUPLEX
        cv2.putText(frame, name, (left + 6, bottom - 6), font, 1.0, (255, 255, 255), 1)

    # Display the resulting image
    cv2.imshow('Video', frame)

    # Hit 'q' on the keyboard to quit!
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# Release handle to the webcam
video_capture.release()
cv2.destroyAllWindows()

import face_recognition

import cv2

# This is a demo of running face recognition on live video from your webcam. It's a little more complicated than the

# other example, but it includes some basic performance tweaks to make things run a lot faster:

# 1. Process each video frame at 1/4 resolution (though still display it at full resolution)

# 2. Only detect faces in every other frame of video.

# PLEASE NOTE: This example requires OpenCV (the `cv2` library) to be installed only to read from your webcam.

# OpenCV is *not* required to use the face_recognition library. It's only required if you want to run this

# specific demo. If you have trouble installing it, try any of the other demos that don't require it instead.

# Get a reference to webcam #0 (the default one)

video_capture = cv2.VideoCapture(0)

# Load a sample picture and learn how to recognize it.

#obama_image = face_recognition.load_image_file("obama.jpg")

obama_image = face_recognition.load_image_file("ahmet.jpg")

obama_face_encoding = face_recognition.face_encodings(obama_image)[0]

# Initialize some variables

face_locations = []

face_encodings = []

face_names = []

process_this_frame = True

while True:

# Grab a single frame of video

ret, frame = video_capture.read()

frame=cv2.flip(frame,0) # ters gösteren kamera için ben ekledim

# Resize frame of video to 1/4 size for faster face recognition processing

small_frame = cv2.resize(frame, (0, 0), fx=0.25, fy=0.25)

# Convert the image from BGR color (which OpenCV uses) to RGB color (which face_recognition uses)

rgb_small_frame = small_frame[:, :, ::-1]

# Only process every other frame of video to save time

if process_this_frame:

# Find all the faces and face encodings in the current frame of video

face_locations = face_recognition.face_locations(rgb_small_frame)

face_encodings = face_recognition.face_encodings(rgb_small_frame, face_locations)

face_names = []

for face_encoding in face_encodings:

# See if the face is a match for the known face(s)

match = face_recognition.compare_faces([obama_face_encoding], face_encoding)

name = "Unknown"

if match[0]:

#name = "Barack"

name = "Ahmet"

face_names.append(name)

process_this_frame = not process_this_frame

# Display the results

for (top, right, bottom, left), name in zip(face_locations, face_names):

# Scale back up face locations since the frame we detected in was scaled to 1/4 size

top *= 4

right *= 4

bottom *= 4

left *= 4

# Draw a box around the face

cv2.rectangle(frame, (left, top), (right, bottom), (0, 0, 255), 2)

# Draw a label with a name below the face

cv2.rectangle(frame, (left, bottom - 35), (right, bottom), (0, 0, 255), cv2.FILLED)

font = cv2.FONT_HERSHEY_DUPLEX

cv2.putText(frame, name, (left + 6, bottom - 6), font, 1.0, (255, 255, 255), 1)

# Display the resulting image

cv2.imshow('Video', frame)

# Hit 'q' on the keyboard to quit!

if cv2.waitKey(1) & 0xFF == ord('q'):

break

# Release handle to the webcam

video_capture.release()

cv2.destroyAllWindows()

Kodları test ettiğim bilgisayardaki sistem ve kütüphaneler şöyle:
Ubuntu 16.04
Python 3.5.2
OpenCV 3.2.0
face-recognition 1.0.0

Kodlar çok açık ve anlaşılır şekilde yazılmış. Ayrıntıya girmeyeceğim. Betiği durdurmak istediğinizde ‘q’ butonuna basmanız yeterli.

Aynı kodları test etmek için siz de kendi fotoğrafınızı kullanabilirsiniz.

Videoda betiğin nasıl çalıştığını görmek mümkün. Tanıtım fotoğrafımda gözlük yok. Ama gözlük taktığımda bile tanıma sorunu olmuyor. Yüzün orta bölümünde büyükçe bir bölüm kapatılırsa, tanıma ancak o zaman engelleniyor.

Şu anda elimde Raspberry Pi için kamera olmadığından testlerimi sadece dizüstü bilgisayarımda yaptım. Uygun bir zamanda aynı işlemleri Raspberry Pi üzerinde de tekrarlayacağım.

Beni izlemeye devam edin.

Ahmet Aksoy

Referanslar:

Daha eski girişler

Ortam bilgileri

1- Verilerin elde edilmesi : 01_yuz_veriseti.py

2- Veritabanının Eğitilmesi: 02_yuz_egitimi.py

3- Yüz tanıma işlemleri: 03-yuz_tanima.py

Kamera ve görüntü kontrolü – simpleCamTest.py

ML002 Pythonla Stil Transferi

OpenCV ile Yüz Tanıma Bölüm 3-2

3. ADIM – EĞİTİM

4. ADIM – SINIFLANDIRMA

OpenCV ile Yüz Tanıma Bölüm 3-1

VERİ SETİMİZİ OLUŞTURMAK

1. ADIM – VERİ SETİNİN OLUŞTURULMASI

2. ADIM – İMAJ TEKRARLARININ ÖNLENMESİ

OpenCV ile Yüz Tanıma Bölüm 2

OpenCV ile Dünyayı Yeniden Keşfetmek

﻿Pösteki Saymak

Doların Falına Bakmak

Kaçıncı Yeni

OpenCV ile Yüz Tanıma

Pösteki Saymak