Makine Öğrenimi Birden Fazla Adım Gerektirir

giriiş

Makine öğrenimini (ML) dağıtmak çok adımlı bir süreçtir.Bir model seçmeyi, belirli bir görev için eğitmeyi, test verileriyle doğrulamayı ve ardından modeli üretimde dağıtmayı ve izlemeyi içerir.Burada, bu adımları tartışacağız ve sizi ML ile tanıştırmak için bunları parçalayacağız.ML, açık bir talimat olmadan öğrenme ve iyileştirme yeteneğine sahip sistemleri ifade eder.Bu sistemler, belirli bir görevi veya işlevi gerçekleştirmek için verilerden öğrenir.Bazı durumlarda, öğrenme.veya daha spesifik eğitim, hatalı çıktıların modeli doğru çıktıya yönlendirmek için ayarlanmasıyla sonuçlandığı denetimli bir şekilde gerçekleşir.Diğer durumlarda, denetimsiz öğrenme, sistemin önceden bilinmeyen kalıpları ortaya çıkarmak için verileri düzenlediği yerde gerçekleşir.Çoğu ML modeli bu iki paradigmayı takip eder (denetimli ve denetimsiz öğrenme).Şimdi bir modelin ne anlama geldiğini inceleyelim ve ardından verilerin makine öğrenimi için nasıl yakıt haline geldiğini keşfedelim.Makine Öğrenimi Modeli Model, makine öğrenimi için bir çözümün soyut halidir.Model, bir kez eğitildikten sonra bir uygulama haline gelen mimariyi tanımlar.Bu nedenle, modelleri dağıtmıyoruz.Verilerden eğitilmiş modellerin uygulamalarını dağıtıyoruz (bir sonraki bölümde bu konuda daha fazlası).Yani modeller artı veri artı ML çözümlerinin eşit örneklerini eğitin (Şekil1).çeviri gereklidir.Örneğin, bir derin öğrenme ağına metin verilerini beslemek, sözcüklerin, kullanılabilecek çeşitli sözcüklerin verildiği, yaygın olarak yüksek boyutlu bir vektör olan sayısal bir biçime kodlanmasını gerektirir.Benzer şekilde, çıktılar sayısal bir biçimden tekrar metinsel bir biçime çevrilmesini gerektirebilir.ML modelleri, sinir ağı modelleri, Bayes modelleri, regresyon modelleri, kümeleme modelleri ve daha fazlası dahil olmak üzere birçok türde gelir.Seçtiğiniz model, eldeki probleme dayanmaktadır.Sinir ağları bağlamında modeller, sığ çok katmanlı ağlardan, birçok katmanı içeren derin sinir ağlarına kadar uzanır.

özelleşmiş nöronlar (işleme birimleri).Derin sinir ağları, hedef uygulamanıza bağlı olarak bir dizi modele de sahiptir.

Örneğin:

●Uygulamanız görüntüler içindeki nesneleri tanımlamaya odaklanmışsa, Evrişimli Sinir Ağı (CNN) ideal bir modeldir.CNN'ler cilt kanseri tespiti için uygulandı ve ortalama dermatologdan daha iyi performans gösterdi.

●Uygulamanız karmaşık diziler (insan dili cümleleri gibi) tahmin etmeyi veya üretmeyi içeriyorsa, Tekrarlayan Sinir Ağları (RNN) veya Uzun Kısa Süreli Bellek ağları (LSTM) ideal modellerdir.LSTM'ler ayrıca insan dillerinin makine çevirisine de uygulanmıştır.

●Uygulamanız bir görüntünün içeriğini insan dilinde açıklamayı içeriyorsa, o zaman bir CNN ve bir LSTM kombinasyonu kullanılabilir (görüntünün CNN'ye beslendiği ve CNN'nin çıktısının LSTM'ye girişi temsil ettiği yerde). kelime dizilerini yayar).

●Uygulamanız gerçekçi görüntüler (manzaralar veya yüzler gibi) oluşturmayı içeriyorsa, o zaman Üretken Çatışma Ağı (GAN) mevcut en son modeli temsil eder.Bu modeller, günümüzde kullanılan daha popüler derin sinir ağı mimarilerinden bazılarını temsil etmektedir.Derin sinir ağları, görüntü, video veya ses bilgisi gibi yapılandırılmamış verileri kabul edebildikleri için popülerdir.Ağ içindeki katmanlar, çok karmaşık bilgileri sınıflandırmalarına izin veren bir özellikler hiyerarşisi oluşturur.Derin sinir ağları, çok sayıda sorun alanı üzerinde son teknoloji ürünü performans göstermiştir.Ancak diğer ML modelleri gibi, doğrulukları da verilere bağlıdır.Şimdi bu yönü inceleyelim.

Veri ve eğitim

Veriler, yalnızca operasyonda değil, aynı zamanda model eğitimi yoluyla bir makine öğrenimi çözümü oluştururken makine öğrenimini yönlendiren yakıttır.Derin sinir ağları için eğitim verileri bağlamında, gerekli verileri nicelik ve nitelik bağlamında keşfetmek önemlidir.Derin sinir ağları, eğitim için büyük miktarda veri gerektirir.Görüntü tabanlı sınıflandırma için bir temel kural 1000 görüntüdür

sınıf başına.Ancak cevap, modelin karmaşıklığına ve hata toleransına bağlıdır.Üretim ML çözümlerinden bazı örnekler, bir dizi veri kümesi boyutu sağlar.Bir yüz algılama ve tanıma sistemi 450.000 görüntü gerektiriyordu ve bir soru-cevap sohbet robotu 200.000 soru ve 2 milyon yanıtla eğitildi.Çözülmekte olan probleme bağlı olarak daha küçük veri kümeleri de yeterli olabilir.Yazılı metinden görüşlerin kutupsallığını belirleyen bir duygu analizi çözümü sadece on binlerce örnek gerektiriyordu.Veri kalitesi, nicelik kadar önemlidir.Eğitim için gereken büyük veri kümeleri göz önüne alındığında, küçük miktarlarda hatalı eğitim verileri bile kötü bir çözüme yol açabilir.Gerekli veri türüne bağlı olarak verileriniz bir temizleme sürecinden geçebilir.Bu, veri kümesinin tutarlı olmasını, mükerrer veriler içermemesini, doğru ve eksiksiz olmasını (geçersiz veya eksik verilerden yoksun) sağlar.Bu süreci desteklemek için araçlar mevcuttur.Verilerin önyargı için doğrulanması, verilerin taraflı bir ML çözümüne yol açmamasını sağlamak için de önemlidir.Makine öğrenimi eğitimi sayısal veriler üzerinde çalışır, bu nedenle çözümünüze bağlı olarak bir ön işleme adımı gerekebilir.Örneğin, verileriniz insan diliyse, işlenmesi için önce sayısal bir forma çevrilmesi gerekir.Görüntüler tutarlılık için önceden işlenebilir.Örneğin, derin bir sinir ağına beslenen görüntüler, gürültüyü gidermek için yeniden boyutlandırılır ve düzeltilir (diğer işlemlerin yanı sıra).Makine öğrenimindeki en büyük sorunlardan biri, makine öğrenimi çözümünüzü eğitmek için bir veri kümesi edinmektir.Bu, probleminize bağlı olarak en büyük çaba olabilir çünkü mevcut olmayabilir ve ayrı bir çaba gerektirebilir.

yakalamak.Son olarak, veri seti eğitim verileri ve test verileri arasında bölümlere ayrılmalıdır.Eğitim kısmı modeli eğitmek için kullanılır ve eğitildikten sonra test verileri çözümün doğruluğunu doğrulamak için kullanılır.