Windows

A Facebook nagy adattárai magukban foglalják a raktárakat, gyorsabb analitikát

A Facebook nagy úr | Halálos Iramban.

A Facebook nagy úr | Halálos Iramban.
Anonim

A Facebook kincstetheti az egy milliárd felhasználóval rendelkező adatait, a számítástechnikai weboldalon végzett elemzések várhatóan továbbra is számos kihívást jelentenek majd a következő évben, a mérnök azt mondta:

A problémák, amelyekkel a Facebookot "sokkal előbb, mint a szélesebb iparágnál" kényszerítették, hatékonyabb módszerek a felhasználói viselkedés feldolgozására a webhelyen, hogyan lehet jobb hozzáférést elérni és megszilárdítani a különböző típusú adatokat a Facebook több adatközpontjában, és új nyílt forráskódú szoftvereket dolgozhat ki az adatok feldolgozásához, Ra "A Facebook egy adatszolgáltató, és a legnyilvánvalóbb dolog, amit az emberek gondolnak ezen a fronton, a hirdetések célzása" - mondta egy San Franciscóban tartott iparági konferencia alkalmával. beszéljen a Facebook back-end infrastruktúráján, az adatelemzésen és a nyílt forráskódú projekteken.

[További olvasmány: A legjobb TV-streaming szolgáltatás]

"De ez mélyebbre emelkedik." A mögött folyó munka a Facebook elemzési infrastruktúrájához kapcsolódik, amelynek célja a termékfejlesztés felgyorsítása és a felhasználói élmény javítása az összes rendelkezésre álló adat mélyreható elemzésével, függetlenül attól, hogy a felhasználók milyen lépéseket tesznek a webhelyen, mint például a státusz frissítések közzététele vagy amelyek alkalmazások, amelyeket a Facebookon különböző eszközökön használnak.

A Facebook jelenleg több különböző nyílt forráskódú szoftverrendszert használ, mint például a Hadoop, a Corona és a Prism, hogy feldolgozza és elemezze az adatokat. gyorsabb és hatékonyabb a következő hat-tizenkét hónapban, Murthy elmondta:

A vállalat számos kihívása összefügg azzal, amit a Facebook az adattárházaként említ, amely több forrásból származó adatokat egy olyan adatbázisba ötvözi, ahol a felhasználói tevékenység elemezhető összességében, például napi jelentést készít az adott országban címkézett fotók számáról, illetve arról, hogy egy adott területen hány felhasználó vett részt az általuk ajánlott oldalakon.

Az elemzés úgy tervezték, hogy optimalizálja a felhasználói élményeket, és megtudja, milyen felhasználók szeretik és nem szeretik, de egyre inkább adóztatja, mivel a Facebook képes egyre több adatot szerezni a felhasználókról, mondta Murthy. Jelenleg a Facebook raktár naponta 500 terabájt új adatot vesz fel, vagy 500 000 gigabájt. A raktár az elmúlt négy évben közel 4000-szeresére nőtt, "messze megelőzve a Facebook felhasználói növekedését" - mondta Murthy.

Ezen problémák kezelésére a Facebook kifejlesztette a Prism szoftverrendszert, kulcsfontosságú elemzési feladatokat lát el a vállalat adatközpontjaiban világszerte, és az elemzéseket "darabokra" bontja "- mondta Murthy. Így például a felhasználó hírcsatornáihoz kapcsolódó bizonyos mutatók elemzése nem fogja elzárni a raktárt általánosabban.

"Mindig egyre inkább arra gondolunk, hogyan rögzítjük ezeket az adatokat."

A vállalat egy olyan rendszeren dolgozik, amely teljesen más megközelítést követel a raktár lekérdezésére, hogy válaszokat adjon másodpercek alatt.

Egy másik terület A Facebook folyamatosan vizsgálja a javítást a "tranzakciós infrastruktúrája, ", Amely kezeli az egyszerűbb, napi szintű adatfeldolgozást, mondja, szereti, megjegyzéseket és állapotfrissítéseket nyújt a közösségi hálózat zökkenőmentes működéséhez. Néhány kérdés a cég mérnökei és elemzői között arra is rámutat, hogy hogyan lehet előrejelezni a tényleges növekedést az ilyen típusú adatokban, és hogy mekkora számítástechnikát kell a Facebooknak tulajdonítania, Murthy szerint.

"Meg tudjuk jósolni, hogy mi lesz hat hónap múlva mostantól?" - mondta.

Eközben a Facebook hosszú távú erőfeszítéssel is foglalkozott, hogy fizikai kiszolgálásait hatékonyabbá tegye. A cég 2011-ben elkezdte a nyílt számítástechnikai projektet, azzal a céllal, hogy olyan modularizált szervereket tervezzen, amelyek nagyobb felügyeletet biztosítanak az ügyfeleknek a kiszolgálóik hálózatába, memóriájába, tápegységeibe és egyéb komponenseikbe. Az ARM processzorokat januárban bővítették be.