Alkatrészek

Adatbázis-szolgáltatók hozzáadása Google MapReduce

Kenneth Cukier: Big data is better data

Kenneth Cukier: Big data is better data
Anonim

Greenplum és Aster Data Systems, adatgyűjtés, a héten bejelentette, hogy termékei támogatni fogják a MapReduce-t, egy olyan programozási technikát, amelyet eredetileg a Google dolgozott ki a nagy adatkészletek párhuzamos feldolgozására a nyersanyag hardvereken keresztül.

A szoftverfejlesztők hajlamosak a Java és a C ++ nyelvekkel adatbázis nyelv SQL, mondta Mayank Bawa, az Aster társalapítója és vezérigazgatója, egy fürt adatbázis-rendszer készítője, amely a munkaterheléseket több diszkrét szintre osztja.

"A legtöbb fejlesztő küzd az árnyalatokkal, írta egy blogbejegyzést. "Valójában egy SQL maestro szükséges ahhoz, hogy érdekes lekérdezéseket hajtson végre az adatátalakítások során (ETL feldolgozás vagy Extract-Load-Transform feldolgozás alatt) vagy az adatbányászat során (analitika alatt)."

Adja meg a MapReduce-ot, amelynek célja "a triviálisan párhuzamosítható keretrendszer, hogy még a kezdő fejlesztők (más néven gyakornokok is) különböző nyelveken (Java / C / C ++ / Perl / Python) írhassanak programokat a méretaránytól független adatok elemzésére" - írta Bawa.

Közben a Greenplum, egy adatbázis létrehozója azt állítja, hogy tudna léptetni egy petabyte információra, azt mondta ezen a héten, hogy egy MapReduce keretrendszer szeptemberi adatfolyam-motorjának részévé válik.

Az iker bejelentések egy jóváhagyást bocsátottak az adatbázis egyik közeli megfigyelőjéből "A MapReduce önmagában számos fontos munkát végezhet az adatok manipulálásában és elemzésében, az SQL-hez való integrálás csak növeli alkalmazhatóságát és hatékonyságát" - írta Curt Monash a Monash Research-ről a DBMS2 blogján.

"A MapuReduce nincs szükség tabu-ra adatkezelést. Más módszerekkel hatékonyan párhuzamosan működik - tette hozzá -, de ha nem olyan táblázatos struktúrákat akarsz létrehozni, mint például szöveges indexek vagy grafikonok, a MapReduce nagy segítségnek bizonyulhat. "