Hadoop Kurulumu

Merhaba arkadaşlar bugünkü yazımızda Mac için Hadoop'u nasıl kuracağınız anlatacağım. Şu anda benim kullandığım sürüm macOS Sierra 10.12.3 fakat eski sürümlerde de herhangi bir farkı olacağının zannetmiyorum.

Gereksinimler : 

Bilgisayarınızda Java kurulu olmalıdır. Hadoop'un yüklenmesinde gerekli olan Java sürümlerini buradan kontrol edebilirsiniz. Ayrıca her türlü sorun ve dökümantasyon için Hadoop'un kendi websitesi ni ziyaret edebilirsiniz.

Birinci Adım : İlk olarak HomeBrew'i bilgisayarınıza kurun ya da http://brew.sh linkten indirebilirsiniz.

• $ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

komutuyla HomeBrew'i bilgisayarınıza kurabilirsiniz.

İkinci Adım : Şimdi Hadoop kurulumunu yapacağız.

• brew search hadoop
• brew install hadoop

Üçüncü Adım :  Sıra geldi Hadoop konfigürasyonuna

İlk olarak /usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/ dizini altında bulunan hadoop-env.sh dosyasını vi kullanarak açın. Daha sonra aşağıdaki satırı bulup

• export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

Aşağıdaki gibi aynen değiştirin.

• export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

Dördüncü Adım :

Yine aynı dizinde (/usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/) yer alan core-site.xml dosyasını vi ile açıp 

1) Boş olan <configuration> </configuration> arasına aşağıdaki kısmı ekleyin.

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/Cellar/hadoop/hdfs/tmp</value>

<description>A base for other temporary directories.</description>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

























core-site.xml dosyanız yukarıda resimde gösterildiği gibi olmalıdır.

2) Yine aynı dizinde yer alan mapred-site.xml vi ile açıp aşağıdaki satırları ekleyiniz.

<configuration>

 <property>

  <name>mapred.job.tracker</name>

  <value>localhost:9010</value>

 </property>

</configuration>










mapred-site.xml dosyanız yukarıdaki gibi gözükmelidir. Ayrıca eğer dosyanın adı mapred-site.xml.template olarak gözüküyorsa

mv mapred-site.xml.template mapred-site.xml

komutuyla dosyanın adını değiştirebilirsiniz.




3) Aynı dizinde yer alan hdfs-site.xml dosyasını vi ile açarak aşağıdaki komutu yazabilirsiniz.




 <property>

  <name>dfs.replication</name>

  <value></value>

 </property>









Beşinci Adım :  Bu adımda işlerimizi kolaylaştırmak adına hadoop başlatmak ve sonlandırmak adına alias tanımlayacağız. Alias bildiğiniz üzere en basit tanımıyla bir komutun kısayolunu oluşturmak için kullanılır.

• İlk olarak vi ile ~/.profile dosyasını oluşturup içine 

alias hstart="/usr/local/Cellar/hadoop/2.7.3/sbin/start-dfs.sh;/usr/local/Cellar/hadoop/2.7.3/sbin/start-yarn.sh"
alias hstop="/usr/local/Cellar/hadoop/2.7.3/sbin/stop-yarn.sh;/usr/local/Cellar/hadoop/2.7.3/sbin/stop-dfs.sh"

komutlarını uyguluyoruz. Burada dikkat etmeniz gereken nokta benim 2.7.3 yazdığım yere sizin dizininizde yüklü olan sürümü yazmanız gerekiyor. Yoksa hstart komutunu yazdığınızda herhangi bir geri dönüş alamazsınız.

• Yukarıdaki işlemi tamamladıktan sonra terminalinizde bu komutu çalıştırmak adına

 source ~/.profile

komutunu çalıştırmalısınız.










Altıncı Adım :  Sırada HDFS i formatlamak için aşağıdaki komutu yazıyoruz.




 hdfs namenode -format

Yedinci Adım :  Sırada SSH bağlantımızı oluşturmak için gereken komutlarımızı yazacağız. Hadoop aslında bir işlemi birden çok bilgisayarda yapmamızı sağlayan bir yapı olduğundan biz de kendi bilgisayarımıza SSH ile localhosttan bağlanıp işlemlerimizi yapacağız. Bunun için ilk olarak 

$ ssh-keygen -t rsa

komutuyla rsa ile şifrelenmiş bir keygen oluşturuyoruz. Burada çıkan şifrenin hangi dizine oluşturulacağı sorularını entera basarak default konumu ayarlı olarak geçebilirsiniz.




Daha sonra bilgisayarımızda sistem tercihleri-paylaşma seçeneğinden uzak bağlantı seçeneğini resimdeki gibi aktif hale getiriyoruz.

Ardından sisteme biraz önce oluşturduğumuz girişi verdiğimiz key ile yapacağımızı göstermek için

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

komutunu giriyoruz.

• ssh localhost 

komutunu terminal'e yazarak bağlantının kurulup kurulmadığını test edebilirsiniz.

Sekizinci Adım :  Hadoop kurulumumuz tamamlandı. Komut satırınıza

• hstart

Komutunu yazarak çalışıp çalışmadığını test edebilirsiniz. 

Ayrıca bu linkten örnek çalışmayı indirip sonuçları görebilirsiniz.

İndirdikten sonra dosyayı hangi dizine attıysanız o dizine gidip aşağıdaki komutu çalıştırdığınız takdirde size sonucu getirecektir.

yarn jar hadoop-mapreduce-examples-2.6.0.jar pi 100 100

Yukarıdaki kod parçacığı pi sayısını bulmak için kullanılmaktadır.

• hstop

komutu ile Hadoop'u durdurabilirsiniz.