mazeltov7のweb断片

備忘録的なテキトーなことを書きます。(技術記事はQiitaに移行しました http://qiita.com/mazeltov7 )

CentOSにElasticsearch, kibana, sense, embulkを入れる

elasticsearch

バージョン

  • CentOS: 6.8
  • ES: 2.4
  • Kibana: 4.6

Elasticserachを入れる

ここに書いてる感じのことをやる。
Installation | Elasticsearch Reference [2.4] | Elastic

java入ってることを確認

$ java -version

yumでインストール

$ yum install elasticsearch
-> No package elasticsearch available.

こちらにyumで入れる場合が書いてある。
https://www.elastic.co/guide/en/elasticsearch/reference/current/setup-repositories.html

$ rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
$ vim /etc/yum.repos.d/elasticsearch.repo

[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

$ yum install elasticsearch
// chkconfigでよろしくやるように登録
$ chkconfig --add elasticsearch
// もしくは随時起動は
$ service elasticsearch start
// 確認
$ curl 'localhost:9200/_cat/health?v'
// 設定ファイル
$ less /etc/elasticsearch/elasticsearch.yml

ログなどはデフォルトで以下。

path.home=/usr/share/elasticsearch
default.path.logs=/var/log/elasticsearch
default.path.data=/var/lib/elasticsearch
default.path.conf=/etc/elasticsearch

Kibanaを入れる

これもyumで入れる。
https://www.elastic.co/guide/en/kibana/current/setup-repositories.html

// これはさっき入れたのでやらなくてOK
$ rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
// ファイル作る
$vim /etc/yum.repos.d/kibana.repo
[kibana-4.6]
name=Kibana repository for 4.6.x packages
baseurl=https://packages.elastic.co/kibana/4.6/centos
gpgcheck=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
// インストール
$ yum install kibana
// 自動起動追加
$ chkconfig --add kibana

senseプラグインを入れる

Installing Sense | Sense Documentation | Elastic
senseはkibanaのプラグイン。kibanaのディレクトリで$ ./bin/kibana plugin --install elastic/senseな感じでやると入る。そいえば、kibanaどこいるかなと思って、起動service kibana startして、ps aux | grep kibanaで確認すると/opt/kibanaにあった。
てことで、

$ /opt/kibana/bin/kibana plugin --install elastic/sense

embulkを入れる

GitHub - embulk/embulk: Embulk: Pluggable Bulk Data Loader. http://www.embulk.org

$ curl --create-dirs -o ~/.embulk/bin/embulk -L "http://dl.embulk.org/embulk-latest.jar"
$ chmod +x ~/.embulk/bin/embulk
$ echo 'export PATH="$HOME/.embulk/bin:$PATH"' >> ~/.bashrc
$ embulk --version

あと、elasticsearchにデータ入れたり、mysqlからデータ取得したりの場合、gemをインストールする必要がある。

$ embulk gem install embulk-input-mysql
$ embulk gem install embulk-output-elasticsearch

適宜必要なgemをインストールする。

kibanaのドメインセットアップ

// kibana.ymlに使うipアドレスを記載する
$ vim /opt/kibana/config/kibana.yml
# The host to bind the server to.
 server.host: "123.456.789.123"
$ service kibana restart
// firewallでkibanaのポート5601からのアクセスを許可する
$ vim /etc/sysconfig/iptables
-A INPUT -i eth0 -p tcp -m tcp --dport 5601 -j ACCEPT
$ service iptables restart

http://ドメイン:5601アクセスしてみてkibana画面出たらOK