Weboldalak

A Yahoo segíti az indiai Institute of Technology Bombay-t, hogy hozzon létre egy Hadoop cluster laboratóriumot.

How Evolution works

How Evolution works
Anonim

Az Apache Hadoop egy nyílt forráskódú, elosztott számítástechnikai projekt. Apache Software Foundation, amelyet a Yahoo támogat.

A Yahoo számos kritikus műveletet hajt végre a Hadoop használatával, és nem tudja elvégezni a Hadoop-nál a kutatás során szükséges összes kutatást, mondta Prabhakar Raghavan, a Yahoo Labs alelnöke és vezetője egy telefonos interjú csütörtökön.

A Yahoo tavaly júniusban saját Hadoop terjesztését jelentette be, és felhívta az Apache Hadoop közösség érdeklődését, hogy közzéteszi a Hadoop verzióját, és teszteli és telepíti saját nagy klaszterjeit.

A klaszter laboratórium M Az umbai az intézet kutatóinak olyan kutatási területeit támogatja, mint a keresési és rangsorolási technikák, az információnyújtás és a természetes nyelvű feldolgozás.

A webes témákkal kapcsolatos kutatásokat kereső tudományos kutatók általában nem tudtak hozzáférni a számítási erőforrásokhoz és a terabájtokhoz "A webes skála problémáinak kutatásához szükséges adatok", Raghavan azt mondta:

A Hadoop kutatói a Carnegie Mellon Egyetemen 4 000 processzoros szuperszámítógép segítségével 2007-ben a Yahoo segített más egyetemeknek az USA-ban létrehozni a Hadoopot

Raghavan nem adta meg részletesebben az IIT-ben telepített fürtöt, csak azt mondta, hogy a több száz processzorral rendelkező és a terabájt adatkezelésre képes kiszolgálókat ott telepítették.

Az IIT Bombay, Yahoo segít abban, hogy hasonló csoportokat hozzon létre a németországi és szingapúri akadémiai intézetekben, mondta Raghavan. Ezek az első három egyetemi intézmény az Egyesült Államokon kívül, ahol a Yahoo segíti az ilyen klasztereket, hozzátette:

A Yahoo azt tervezi, hogy később hálózatot hoz létre a klaszterek világszerte, hogy "nagyobb segédprogramot" hozzon létre. Ezt megelőzően a Hadoop rendszerigazgatási képességeit meg kell erősíteni annak megakadályozása érdekében, hogy egy intézményben lévő diák egy másik intézményben összeomoljon egy másik intézményt. "

A Yahoo 2008-ban csatlakozott a Computational Research Laboratories (CRL) A Tata Group, hogy szuperszámítógépeket kínáljon az indiai felsőoktatási intézmények számára, amelyek nagyméretű számítástechnikát keresnek, különösen a Hadoop környékén. Ez az együttműködés továbbra is folytatódik, de a nagy teljesítményű szuperszámítógépekre összpontosított, Raghavan elmondta:

A Hadoop-szal való egyetemekkel való partneri kapcsolat a Yahoo-t a Raghavan szerint a Hadoop platformon ismerő mérnökök felépítését segíti elő. Néhányan közülük még a Yahoo is bérelt, hozzátette:

A Yahoo is profitált olyan ötletektől, amelyek a Hadoop használatával végzett kutatóintézetekből jöttek létre, mondta Raghavan. Nem adott azonban olyan konkrét példákat, amelyek az egyetemekkel való együttműködésen alapulnak.