Карталоочу же карта тапшырмасынын чыгышы (ачкыч-маани жуптары) Редужерге киргизилет Редуктор бир нече карта тапшырмаларынан ачкыч-маани жуптарын алат. Андан кийин, редуктор ошол аралык маалымат кортеждерин (аралык ачкыч-маани жуптары) кичирээк кортеждерге же ачкыч-маани жуптарына бириктирет, бул акыркы жыйынтык болуп саналат.
Мастерлер жана редукторлор эмне кылат?
Hadoop Mapper бул функция же тапшырма, ал файлдан бардык киргизилген жазууларды иштеп чыгуу жана Reducer үчүн киргизүү катары иштеген чыгарууну түзүү үчүн колдонулат ачкыч-маани жуптары. … Карталоочу киргизилген жазууларды ачкыч-маани жуптары катары иштеп чыгууда айрым майда маалымат блокторун да жаратат.
Маппер менен редуктордун ортосунда кандай айырма бар?
Маппер менен редуктордун негизги айырмасы эмнеде? Картачынын милдети - бул ар бир киргизилген жазууну иштеткен (RecordReaderден) жана ортодогу ачкыч-маани жуптарын түзүүчү иштетүүнүн биринчи фазасы. Кыскартуу ыкмасы ар бир ачкыч/маанилердин тизмеси жуптары үчүн өзүнчө чакырылат.
Сиз картачылардын жана редукторлордун санын кантип эсептейсиз?
Бул ар бир кулда канча өзөккө жана канча эстутумуңузга жараша болот. Жалпысынан, бир карталоочу 1ден 1,5ке чейин процессорлорду алышы керек Демек, сизде 15 өзөк болсо, анда ар бир түйүнгө 10 Мапперди иштете алат. Демек, эгер сизде Hadoop кластеринде 100 маалымат түйүндөрү болсо, анда бир Кластерде 1000 Мапперди иштетсе болот.
Mapper функциясы кантип иштейт?
Маппер – бул киргизилген берилиштерди иштеткен функция Картачы берилиштерди иштетип, бир нече кичинекей маалымат бөлүктөрүн түзөт. MapReduce программасына киргизүү файл же каталог (HDFSде сакталган) болсо да, карталоочу функцияга киргизүү (ачкыч, маани) жуптар түрүндө болот.
