Рубрики
Разработчикам

Введение в Apache Pig #Hadoop Apache Pig…

Введение в Apache Pig
#Hadoop
Apache Pig — это высокоуровневая платформа или инструмент, который используется для обработки больших наборов данных. Он обеспечивает высокий уровень абстракции для обработки поверх MapReduce. Он предоставляет язык сценариев высокого уровня, известный как Pig Latin, который используется для разработки кодов анализа данных. Во-первых, для обработки данных, которые хранятся в HDFS, программисты напишут сценарии на языке Pig Latin. Внутренне Pig Engine (компонент Apache Pig) преобразовал все эти сценарии в конкретную карту и сократил задачу. Но они не видны программистам для обеспечения высокого уровня абстракции. Pig Latin и Pig Engine — это два основных компонента инструмента Apache Pig. Результат Pig всегда хранится в HDFS.