Category: NoSql


What is Map Reduce in Plain English?

September 23rd, 2011 — 4:23am

First of all it is not a new thing.
It is a design pattern from 60s.
It is a little surprising me that another popular talk of nowadays, MVC is from 70s…
What is going on? :)

Nearly every company’s data is increasing speedy.
Doing aggregations, sorts, searches on big data needs some specialized algorithms and platforms.
Certanly you need paralel processing for quicker results.

Map/Reduce is an efficent way of doing paralel calculations
and it is a developer friendly functional programming approach.

You have just two functions.
One snipet to map, one snipet to reduce…

Google has the most famous distributed implementation of mapreduce.
And after that obvious success, others would also like to implement similar platforms… (Hbase, Hypertable … )

These solutions can make a difference when you need scalability,
if you are just playing at home (like me :) ) or with your small community,
probably you will not see the big difference…
but you must understand the passion behind learning big things :)

I want to show it with this easy schema…

map reduce example schema

Map finds what you are looking for…
Reduce consolidates the data at the end.
Removes duplicates, sorts and aggreagates (sums, gets average etc..)
You can have multiple reduces for more scalibility.

Please read these artciles for more detail information;
ayende.com/blog/4436/what-is-map-reduce-for-anyway
ayende.com/blog/4435/map-reduce-a-visual-explanation
nosqltapes.com/video/understanding-mapreduce-with-mike-miller
mongodb.org/display/DOCS/MapReduce
cookbook.mongodb.org/patterns/unique_items_map_reduce/

Comments Off | NoSql

Map Reduce Nedir?

September 22nd, 2011 — 5:59am

Herşeyden öne yeni bir şey olmadığını söyleyelim.
60′lı yıllardan kalma bir tasarım kalıbı.
Bugünlerde çokça popüler diğer bir konu olan
MVC’nin de 70′lerden kalma bir tasarım kalıbı olması
beni biraz şaşırtmakta, Nereye gidiyoruz acaba? :)

Son yıllarda neredeyse tüm şirketlerin verileri oldukça fazla arttı.
Bu büyük veritabanları üzerinde hesaplamalar, sıralamalar ve aramalar yapmak
bazı özel algoritmalar belkide özel plaatformlar istiyor.
Büyük boyutlu datalarla çalıştığımız durumlarda
işlemleri paralelleştirmek bariz bir şekilde istediğimiz bir durum.

Map/Reduce paralel hesaplamalar yapmak için ideal yollardan biri.
Geliştirici için nispeten basit bir fonksiyonel programlama uygulaması.

Sadece 2 fonksiyon var…
Bir “map” fonksiyon betiği, bir “reduce” fonksiyon betiği…

Google uygulamaları, en popüler dağıtık mapreduce uygulaması örneği.
Bu bariz başarı, herkesi buna benzer yapılar implemente etmeye teşvik ediyor… (Hbase, Hypertable … )

Bu tarz çözümler “scalability” söz konusu olduğunda fark yaratıyor.
sadece evde oynuyorsak :)
ya da fazla yüklü olmayan bir sistemden bahsediyorsak, faydasını göremeyebiliriz.

Ama yeni şeyler (biz daha doğmadan önce konuşuluyor olsa bile) öğrenmek her zaman güzeldir.

Şu şemaya bakarak basitçe yorumlayabiliriz…

map reduce

Map anahtar kelimemizle aradığımız verilere ulaşıyor.
Reduce veriyi consolide ediyor,
tekrar edenleri siliyor, sıralıyor ve hesaplıyor (sums, average etc..)
“Scalibility” sebebiyle birden çok reduce uygulamamız gereken durumlarımız olabilir.

Daha fazlası için şu yazıları okumanızı tavsiye ederim;
ayende.com/blog/4436/what-is-map-reduce-for-anyway
ayende.com/blog/4435/map-reduce-a-visual-explanation
nosqltapes.com/video/understanding-mapreduce-with-mike-miller
mongodb.org/display/DOCS/MapReduce
cookbook.mongodb.org/patterns/unique_items_map_reduce/

1 comment » | NoSql


Back to top