أپاتشي هادوپ
أپاتشي هادوپ Apache Hadoop، هو هيكل برنامج مفتوح المصدر للتخزين والمعالجة الموزعة للبيانات الضخمة على عناقيد أجهزة السلع. يفصل نظام هادوپ للملفات الموزعة الملفات إلى كتل ضخمة (الافتراضي 64 م.ب أو 128 م.ب) ويوزع الكتب على العقد الموجوة في العنقود. لمعالجة البيانات، ينقل هادوپ ميپ/رديوس الرمز (خاصة ملفات الجار) إلى العقد التي لديها المعلومات المطلوبة، وبعدها تقوم العقد بمعالجة البيانات بالتوازي. يستفيد هذا النهج من موضع البيانات،[3] على خلاف عمارة الحاسوب الفائق التقليدية والتي تعتمد عادة على نظام الملفات المتوازية (حوسبة وفصل البيانات، لكنها تكون متصلة بتشبيك عالي السرعة).[4]
 | |
| المطوّر | مؤسسة أپاتشي للبرمجيات |
|---|---|
| الإطلاق المبدئي | 10 ديسمبر 2011[1] |
| الإصدار المستقر | |
| المستودع | git-wip-us |
| وضع التطوير | Active |
| مكتوب بلغة | جاڤا |
| نظام التشغيل | متعدد المنصات |
| النوع | نظام الملفات الموزعة |
| الرخصة | رخصة أپاتشي 2.0 |
| الموقع الإلكتروني | hadoop |
منذ 2012،[5] في كثير من الأحيان لا يشير مصطلح "هادوپ" إلى مجرد قاعدة حزمة هادوپ وإنما يشير إلى منظومة هادوپ البيئية، والتي تشمل جميع مجموعات البرمجيات الإضافية التي يمكن حميلها على رأس أو جنباً إلى جنب مع هادوپ، مثل أپاتشي پيگ، أپاتشي هايڤ، أپاتشي إتش‌بيز، أپاتشي سپارك، وغيرها.[6][7]
يتكون أپاتشي هادوپ من الوحدات التالية:
- هادوپ كومن Hadoop Common – يحتوي على مكتبات ومرافق تحتاجها وحدات هادوپ الأخرى.
- نظام هادوپ للملفات الموزعة (HDFS) – نظام ملفات موزعة يخزن البيانات على أجهزة السلع، يوفر نظام عالي التردد عبر العنقود.
- هادوپ يارن Hadoop YARN – منصة ادارة-مرجعية مسئولة عن ادارة مصادر الحاسوب في العناقيد وتستخدمها لجدولة تطبيقات المستخدمين.
- هادوپ ماپ‌رديوس Hadoop MapReduce– نموذج برمجة لمعالجة البيانات واسعة النطاق.
أپاتشي هادوپ هي علامة تجارية مسجلة لمؤسسة أپاتشي للبرمجيات.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
التاريخ
العمارة
نظام الملفات
نظام هادوپ للملفات الموزعة
أنظمة ملفات أخرى
جوب‌تراكر وتاسك‌تراكر: محرك ميپ‌رديوس
الجدولة
المجدول العادل
مجدول السعة
تطبيقات أخرى
أشهر المستخدمين
ياهو!
فيسبوك
مستخدمون آخرون
استضافة هادوپ في السحاب
هادوپ في ميكروسوفت أزور
هادوپ على خدمات أمازون EC2/S3
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
أمازون إلاستك ماپ‌رديوسر
الدعم الصناعي للتجمعات الأكاديمية
استخدام هادوپ في حساب البيئات الزراعية
تكامل كوندور
الدعم التجاري
رأي ASF في استخدم "هادوپ" في أسماء المنتجات
أوراق بحثية
انظر أيضاً
- أپاتشي أكومولو – Secure BigTable[8]
- Apache Bigtop - Packaging and interoperability testing of Hadoop-related projects
- Apache Cassandra – A column-oriented database that supports access from Hadoop
- Apache CouchDB is a database that uses JSON for documents, JavaScript for MapReduce queries, and regular HTTP for an API
- أپاتشي ماهوت – آلة تعلم اللوغاريتمات المنفذة على هادوپ
- بيانات ضخمة
- كاسك (شركة)
- حوسبة سحابي
- Data Intensive Computing
- دتامير للحلول التحليلية (DAS) – data source integration, storage, analytics engine and visualization
- Druid (open-source data store) - Provides a native indexing service for ingesting from HDFS.
- HBase – BigTable-model database
- HPCC – LexisNexis Risk Solutions High Performance Computing Cluster
- Hortonworks - Open source, Hortonworks Data Platform (HDP) provides Hadoop designed for enterprise data processing
- Hypertable – HBase alternative
- MapReduce – Hadoop's fundamental data filtering algorithm
- Nutch – An effort to build an open source search engine based on Lucene and Hadoop, also created by Doug Cutting
- Pentaho – Open source data integration (Kettle), analytics, reporting, visualization and predictive analytics directly from Hadoop nodes
- Pivotal HD - Apache Hadoop distribution enhanced to support enterprise Big Data analytics. Industry’s first native massively parallel processing (MPP) SQL database on Hadoop.
- Qubole - a cloud-based Big Data as a service developer
- RapidMiner Radoop – In-Hadoop big data analytics providing a set of algorithms for doing scalable data transformations, advanced analytics, and predictive modeling
- Sector/Sphere – Open source distributed storage and processing
- Simple Linux Utility for Resource Management
- تالند – مصدر مفتوح للبرمجيات المتكاملة
المصادر
- ^ "Hadoop Releases". apache.org. Apache Software Foundation. Retrieved 2014-12-06.
- ^ "Hadoop Releases". Hadoop.apache.org. Retrieved 2014-12-01.
- ^ "What is the Hadoop Distributed File System (HDFS)?". ibm.com. IBM. Retrieved 2014-10-30.
- ^ Malak, Michael (2014-09-19). "Data Locality: HPC vs. Hadoop vs. Spark". datascienceassn.org. Data Science Association. Retrieved 2014-10-30.
- ^ قالب:Ci web
- ^ "Hadoop-related projects at". Hadoop.apache.org. Retrieved 2013-10-17.
- ^ Roman, Javi. "The Hadoop Ecosystem Table". github.com. Retrieved 2014-12-06.
- ^ "Apache Accumulo User Manual: Security". apache.org. Apache Software Foundation. Retrieved 2014-12-03.
المراجع
- Lam, Chuck (July 28, 2010). Hadoop in Action (1st ed.). Manning Publications. p. 325. ISBN 1-935182-19-6.
- Venner, Jason (June 22, 2009). Pro Hadoop (1st ed.). Apress. p. 440. ISBN 1-4302-1942-4.
- White, Tom (June 16, 2009). Hadoop: The Definitive Guide (1st ed.). O'Reilly Media. p. 524. ISBN 0-596-52197-9.
وصلات خارجية
- Official الصفحة الرئيسية لهادوپ
- Official Hadoop Wiki
- Introducing Apache Hadoop: The Modern Data Operating System — lecture given at Stanford University by Co-Founder and CTO of Cloudera, Amr Awadallah (video archive) (YouTube).