Genel olarak düzensiz bir yapıya sahip, küçük veri setlerinden oluşan (yüzlerce terabayt hatta petabayt düzeyinde) “büyük miktarda veri” ve bu verinin analiziyle görünürde belirgin olmayan anlamlar çıkarma işlemi olarak tanımlanabilir. Günümüzde büyük veri (big data), araştırma ve uygulama açısından farklı şekillerde tanımlanan, işletmeler, diğer örgütler, toplum ve bireyler açısından gittikçe önem kazanan bir olgudur.

Metin, ses, video, resim gibi çok farklı formatlarda olabilen büyük verilerin depolanması, düzenlenmesi, yönetilmesi, işletilebilmesi ve analiz edilebilmesi için çeşitli teknolojik yazılım ve mekanizmalara ihtiyaç vardır. Büyük verileri depolayabilmek ve işletebilmek için yaygın olarak kullanılan geleneksel yazılım ve donanım araçlarının yetersiz kalabilmesi, sürekli olarak gelişen ve güncellenen büyük veri teknolojilerinin kullanılmasını da gerekli kılmaktadır. Büyük veri teknolojilerinin büyük bir kısmı arama motoru şirketleri sayesinde ortaya çıkmıştır. Günümüzün yükselen ve gelişen bulut bilişim teknolojisi (cloud information technology) söz konusu teknolojilere bir örnektir.

Günümüzde birçok işletme, büyük ölçekli veri kümelerini saklama, işleme ve analiz etme ihtiyaçlarını karşılamada yaşanan teknik zorluklar ve yüksek maliyetler nedeni ile zengin altyapı, depolama ve analiz seçenekleri sunan “bulut bilişim” hizmetlerini tercih etmektedir. İnternet bağlantısı olan her yerden bulut hizmetlerine erişilebilmesi sayesinde ucuz, güvenli ve ölçeklendirilebilir veri depolama, analiz etme ve yönetme özellikleri sunan bulut hizmetleri işletmelere otomasyon, bilgisayarlaştırma ve altyapı bakım maliyetleri açısından büyük avantajlar sağlamaktadır. Söz konusu avantajların bir sonucu olarak bireylerin, işletme ve kurumların özel ihtiyaçlarına göre her geçen gün çeşitli bulut hizmetleri ve uygulamaları geliştirilmektedir. Geliştirilen teknolojik hizmet ve uygulamalar, üretilen ve tüketilen (kullanılan) veri miktarında büyük bir artışa neden olmaktadır.

Dünya çapında bilgisayarların giderek yaygınlaşması, internet bağlantılarında üstel artış yaşanması, sosyal medya kullanımı, nesnelerin interneti (internet of things, IoT) dediğimiz canlı ve cansız birçok fiziksel nesnenin sensörlerle internete bağlanması ve şirketlerin her geçen gün daha fazla veri üretmesi büyük veri miktarında ciddi artış yaşanmasına sebep olmaktadır. 2017 senesinde ABD merkezli IDC (International Data Corporation) tarafından yayınlanan bir rapora göre 2025 yılında küresel çapta dijital veri büyüklüğü 163 zetabayt seviyesine ulaşacaktır.

Büyük verinin “hacim” (volume), “hız” (velocity) ve “çeşitlilik” (variety) olmak üzere (3V olarak da bilinen) üç temel boyutu vardır. Hacim veri miktarını, hız veri işleme hızını, çeşitlilik ise veri türü sayısını ifade etmektedir. Kimi kaynaklarda “doğruluk” (veracity) ve “değer” de (value) eklenerek büyük veri beş boyutlu (5V) olarak da ele alınır. Doğruluk veri güvenilirliği ve tutarlılığı, değer ise verinin yaratacağı değer olarak tanımlanır.

Büyük veri teknolojilerinin ve uygulamalarının geliştirilmesi, bilişim teknolojileri ve endüstriyi bir araya getirerek yarı otomatik veya tam otomatik akıllı fabrika vizyonunu hedefleyen ve dördüncü sanayi devrimi “Sanayi/endüstri 4.0” (industry 4.0) diye adlandırılan köklü değişime de destek vermektedir.

Günümüzde iş dünyası, büyük veri analizleri ve teknolojilerinden yararlanıp veride saklı bulunan zekânın kilidini açarak kârlılık, yenilik, risk yönetimi, verimlilik, hizmet ve ürün kalitesini arttırma ve maliyetleri düşürme açısından rekabet avantajı yakalamaya çalışmaktadır. Büyük ve orta ölçekli işletmelerin yanı sıra küçük ölçekli birçok işletme üretim, finans, pazarlama, yönetim ve organizasyon, insan kaynakları gibi çeşitli fonksiyonlarındaki stratejik ve operasyonel faaliyetlerinde hızlı ve doğru karar verebilmek için büyük veriden yararlanmaktadır.

Büyük veri devrimi, bilim ve teknolojinin yanı sıra sosyo-teknik bir olgu olarak ele alındığında, kimi zaman eleştirel olarak da sorgulanmaktadır. Kişisel bilgilerin, sosyal medya ve sağlık verilerinin, telefon kayıtlarının, hükûmet bilgi ve belgelerinin, canlı ve cansız varlıkların bırakacağı diğer tüm dijital izlerin ne şekilde saklanabileceği ve kullanılabileceği konusu, yaratabileceği potansiyel sakıncalar açısından önemli güvenlik, etik ve hukukî soru(n)ları da ortaya çıkarmaktadır.

Gelecekte insan iletişimini, kültürünü hatta çalışma şekillerini değiştirebileceği tahmin edilen büyük veri teknolojilerinin sağlık, eğitim, devlet, haberleşme, ulaşım, çevre, şehircilik, tarım, enerji, hukuk, güvenlik gibi hayatın her alanında kullanılması ile önümüzdeki yüzyılda dünyanın en önemli konuları ve kaynakları arasında yer alması beklenmektedir.

Seyhan Nişel