mazeltov7のweb断片

備忘録的なテキトーなことを書きます。(技術記事はQiitaに移行しました http://qiita.com/mazeltov7 )

elasticsearch

elasticsearchで、marvel, shield, licenseをremoveする

入れていたmarvel, shieldなどの有料プラグインを外す。(有料プラン1node辺りめちゃ高かったw) $ /usr/share/elasticsearch/bin/plugin remove shiled $ /usr/share/elasticsearch/bin/plugin remove marvel $ /usr/share/elasticsearch/bin/plugin remov…

Elasticsearch、KibanaにShieldプラグインを入れる

ES、Kibanaを本番で使うために、認証を入れられるようにShieldプラグインを入れる。 Shield: Enterprise Security for Elasticsearch | Elastic 環境 CentOS 6.8 Elasticsearch 2.4.1 Kibana 4.6.1 Shield 2.4 ESとKibanaは入ってるものとする。 Shield入れ…

CentOSにElasticsearch, kibana, sense, embulkを入れる

バージョン CentOS: 6.8 ES: 2.4 Kibana: 4.6 Elasticserachを入れる ここに書いてる感じのことをやる。 Installation | Elasticsearch Reference [2.4] | Elastic java入ってることを確認 $ java -version yumでインストール $ yum install elasticsearch -…

AndroidストアのデータをElasticsearchに入れてkibanaで表示

データ入れる ストア管理画面から、アプリデータのcsvファイルを取得して、./app_data/csv/に入れる。 簡単なconfigurationをseed.ymlに書く。 in: type: file path_prefix: ./app_data/csv/ out: type: elasticsearch index: app_data index_type: android …

Elasticsearchで大量データ挿入でのエラー(queueのcapacity)

これはなに 前回のMysqlからESにデータを200万件くらい入れるとエラー出て5000件くらい喪失してた件。 MysqlからElasticsearchにデータを入れる - mazeltov7のweb断片 ログをチェックすると、esrejectedexecutionexception queue capacity 50とか出てて、こ…

MysqlからElasticsearchにデータを入れる

embulkを入れる GitHub - embulk/embulk: Embulk: Pluggable Bulk Data Loader. http://www.embulk.org $ brew install embulk ドキュメントのGetting Startedやって雰囲気をつかむ。 embulkのpluginのembulk-input-mysql, embulk-output-elasticsearchを入…

Elasticsearch + kibanaのセットアップ

検索とかメインじゃなくて、データ表示がメインです。 Elasticsearchをダウンロード 公式サイトからzipをダウンロードする。 (brewで入れてもいいんだけど、plugin使うならpathが微妙だったので、そのまま入れる) Download Elasticsearch Free • Get Started…