Газрын зурагчин эсвэл газрын зургийн ажлын гаралт (түлхүүр-утга хос) Бууруулагчийн оролт байна Бууруулагч нь олон газрын зургийн ажлын түлхүүр-утгийн хосыг хүлээн авдаг. Дараа нь бууруулагч нь тэдгээр завсрын өгөгдлийн багцуудыг (завсрын түлхүүр-утга хос) эцсийн гаралт болох жижиг багц эсвэл түлхүүр-утга хос болгон нэгтгэдэг.
Зурагчлагч болон бууруулагч юу хийдэг вэ?
Hadoop Mapper нь файл дахь бүх оролтын бичлэгийг боловсруулж, Reducer-д оролтын үүрэг гүйцэтгэдэг гаралтыг үүсгэхэд ашиглагддаг функц юмуу даалгавар юм Энэ нь шинийг буцаах замаар гаралтыг гаргадаг. түлхүүр-утга хосууд. … Маппер нь оролтын бүртгэлийг түлхүүр-утга хос болгон боловсруулах явцад зарим жижиг өгөгдлийн блокуудыг үүсгэдэг.
Зурагч ба бууруулагч хоёрын ялгаа юу вэ?
Маппер ба бууруулагч хоёрын гол ялгаа нь юу вэ? Газрын зургийн ажил нь оролтын бичлэг бүрийг боловсруулдаг (RecordReader-аас) болон завсрын түлхүүр-утга хос үүсгэдэг боловсруулалтын эхний үе шат юм. Бууруулах аргыг түлхүүр/утга жагсаалтын хос болгонд тусад нь дууддаг.
Та зураглагч болон бууруулагчийн тоог хэрхэн тооцоолох вэ?
Та боол тус бүр дээр хичнээн цөм, хэр их санах ой байгаагаас хамаарна. Ерөнхийдөө нэг зураглагч 1-ээс 1.5 цөмтэй процессор авах ёстой Тиймээс хэрэв танд 15 цөм байгаа бол нэг зангилаа тутамд 10 Mapper ажиллуулах боломжтой. Хэрэв танд Hadoop Cluster-д 100 өгөгдлийн зангилаа байгаа бол нэг нь Cluster-д 1000 Mapper ажиллуулах боломжтой.
Mapper функц хэрхэн ажилладаг вэ?
Mapper нь оролтын өгөгдлийг боловсруулдаг функц юм Зураглагч нь өгөгдлийг боловсруулж, хэд хэдэн жижиг хэсгүүдийг үүсгэдэг. MapReduce программын оролт нь файл эсвэл лавлах (HDFS-д хадгалагддаг) хэдий ч mapper функцийн оролт нь (түлхүүр, утга) хос хэлбэртэй байна.
