ing. yüksek hacimli veri.

internet ve sensor teknolojilerindeki cok hizli gelismenin akabinde orta cikan yuksek hacimli veri ve bu verinin nasil saklanacagi, korunacagi, icindeki bilgiye nasil ulasilacagi, nasil islenip karar ve ogrenme mekanizmalarina entegre hala getirilecegi muammasi. yuksek hacimli veriyi etkili ve hizli bir sekilde kullanmayi ogrenmemiz, saglik sektorunden kisiye yonelik pazarlama stratejilerine, astronomiden guvenlige pek cok alanda cigir acabilecek gelismeleri beraberinde getirebilir ki bu nedenle bu alandaki calismalara buyuk capli yatirimlar yapilmaktadir su gunlerde.

(bkz: bigtable) (bkz: hadoop) (bkz: map reduce) (bkz: java)

(bkz: iş zekası)^*

diğer adı büyük veri. giderek önemini artıran bir kavram. bu yıl olimpiyatlarda çok faydalanmışlar örneğin. ama yine de 2015'ten önce çok yaygınlaşmasını beklemeyin diyorlar.

(bkz: mahout)

ing. iri veri.

şu noktada endüstrilere ayırmaksızın, ne yapıyorsanız yapın işinize yarayacak veri olduğunu düşünüyorum bunun. bazılarına çok, bazılarına daha az olsa da big data kullanmasını bilen ve gerekli vizyon/çalışan gücüne sahip olan herkesin faydasınadır.

"data scientist"'ligin gelecegin meslegi oldugu sözü doğrudur, en azından gelecekte data scientist'lere ciddi bir gereksinim duyulacağı muhakkaktır.

peki iyi bir data scientist, big data 'yı yönetebilmek için yeterli midir? hayır, kesinlikle hayır.

öncelikle aktif olduğunan iş alanına ve hedefe uygun verinin, havuzdan çıkarılıp gerekli bölümlere aktarılması ve burada derinlemesine analiz edilmesi gerekecektir.

sonra bu verinin gerekli kişilere anlatılması ve dağıtılması vardır. dağıtılan yerlerin dilinde, anlamlı bir şekle sokulması veriyi toplamaktan çok daha önemlidir kanımca. bu konuda şunu unutmamak gerekir, bir proje müdürünün gerekli departmandan "şunu şunu istiyorum" diyerek bu veriden faydalanmadigi bir ortamda, ulaşılması gerekilen etkinlik seviyesine ulaşılamayacaktır.

süreç içerisinde herkes ne kadar bilgili olursa konuda bu o kadar etkili işleyecektir. önümüzdeki senelerde herkesin en azından temel veri bilgisine sahip olması gerekeceğinden şüphem yok. "big data" koca bir metal ve benzeri materyallerin toplamı ise, ondan bir boeing 777, curiosity de yaratabilirsiniz, geçtiğimiz yüzyılın başarısız, yerden 1 metre yükselip çakılan hoover tabanlı araçlarını da.

big data'nin etkin kullanımı işe bir "it'ci" atamanin cok otesindedir.

'dot.com', 'social' ve 'cloud''dan sonra yeni içi boş kelimelerimiz. aslında epeydir bu anlatılan şeyi havalı bir ismi olmadığı halde yapıyoruz çoğu yerde, mesela alışveriş sitelerinin 'bunu beğenenler bunu da beğendi' uygulaması bir big data analizi. ya da facebook'un bunları tanıyo musun aracı. ama işte konferanslarda falan konuşmak için böyle havalı şekil kelimelere ihtiyaç var.

hayret dedim ne zamandır aklımda ama bir şey yazmamışım buraya bu konuda. bi iki karalayayım.

hacım, şimdi her yerde güvenlik kamerası falan var di mi mesela? yüz binlerce saat kamera kaydı var, ama şehirde bi adam arıyorsan bir sürü insanı kamera monitörleri önüne dikip, görüntüleri izletmek dışında bir çaren yok. insanlar izleyecek, o adamı görünce haber verecek, falan filan.

big data yaklaşımıyla bakıldığında bu analizin tamamını belirli algoritma ve yazılımlarla bilgisayara yaptırıyorsun. böylece sonuca çabucak ucuz ve hızlı bi biçimde ulaşıyorsun. bir nevi bi dünya veri üzerinden bilgisayarla anlam çıkarma.

mesela ekşi sözlük veritabanı bende olsa, yazarlar songül karlı sütyensiz başlığından hemen önce hangi başlığa bakmışlar diye hızla bir analiz yapar, böylece insanların gerçekten de hagi'nin mençıstıra attığı golü ararken mi oraya geldiklerini, yoksa hakikaten de songül karlı'nın o videosunu mu aradıklarını öğrenmiş, ciddi bir yalanı ortaya çıkarmış olurum. ne oldu, elimdeki 'yazarlar hangi başlıkları okuyor' verileri üzerinden bir çıkarım yapmış oldum. vs.

esasında big data uygulamalarını geliştirmek veri bilimcisi / madencisi denen epey zor bir uzmanlık dalı üzerinden ilerliyor. türkiye'de bu konuda bir eğitim / yaklaşım olduğunu sanmıyorum, belki sabancı cs'de falan ilgili dersler veriliyordur. onun dışında evet, ben geleceğe yatırım yapacağım, işim gücüm garanti olsun diyen arkadaşlar bilgisayar bilimleri okuyup master'da veri madenciliği / veri analizi / büyük veri üzerine çalışırlarsa işleri garanti, yok yine iş bulamazlarsa bana gelsinler. garantisi benim.

edit: bana gelmeyin artık.

big data yani türkçe anlamıyla "büyük veri" sadece diskte çok fazla yer kaplayan veri anlamında değildir. big data bizim geleneksel yöntemle işleyemeyeceğimiz kadar büyük veriye denir aslında.

dünya üzerinde yaşayan 6-7 milyar insan var aşağı yukarı. bunların da yarısı internet denen şeye bulaşmış durumda. 1.1 milyar facebook kullanıcısı,500 milyon twitter kullanıcısı var. dünya'da 60 saniyede ne veri akışları oluyor şaşarsınız sayın ekşiciler. 98bin tivit mi diyeyim 2100 check-in mi diyeyim yoksa 695bin facebook statüsü mü diyeyim? daha nice nice örnekler verebiliriz. işte böyle böyle bir günde 2.5 zettabyte veri girişi olduğunu düşünülüyor. hal böyle olunca sanki internet bizim saf ve temiz duygularla bir şeyler arama yeri değil de bir bilgi çöplüğü gibi görünüyor.

peki bu big data ne zaman big oluyor? 1gb mı big, 1tb yoksa 1zb? işte bu soruya da şöyle bir cevap verebiliriz: big data bizim sistemimizin yeterliliğine, kapasitesine bağlıdır. örneğin hadi bakalım sıkıyorsa bölmeden 100 mb döküman gönderin gmailde veya 1gblık resim açın bilgisayarınızda. işte bunları yapamadığımız için onlar bile big data diye adlandırılabilir bizim için aslında. bun big data işine şirketler bakımından bakarsak da artık o da şirketlerin organizasyonlarının yeteneğine kalmış diyebiliriz.

bu big datayı tanımlamak, özelliklerini anlatmak için 5v diye bir olay çıkartmışlar. kimi yerde 3 kimi yerde 4 ama bence 5 en mantıklısı olduğu için buraya öyle yazıyorum ben. bunları şöyle sıralayabiliriz:
- variety(çeşitlilik) : verinin yapılandırılmış veya yapılandırılmamış olması olayı. yapılandırılmamışsa saklama işleme işi sıkıntıya gidiyor.
-velocity(hız) : biraz önce belirttiğim gibi verinin akış hızı çok yüksek.
-volume(veri büyüklüğü) : verinin zaten büyük olduğunu biliyoruz.
-verification(doğrulama) : veri akışının güvenli olması.
-value(değer): bu büyük veriden işimize yarar şeyler çıkartıp değer yaratma kısmı.

kısaca big datayı böyle tanımlayabiliriz. big datayı saklayıp işlemek için bir sürü yeni teknoloji bulunmakta. benim şu aralar ilgimi çeken, facebook twitter gibi devlerin de kendi bünyelerinde geliştirdiği, google'ın öncüsü olduğu bir teknoloji olan hadoop.