mazeltov7のweb断片

備忘録的なテキトーなことを書きます。(技術記事はQiitaに移行しました http://qiita.com/mazeltov7 )

2016-01-01から1年間の記事一覧

NSCodingでIntをdecodeする際にdecodeObjectじゃなくてdecodeIntegerを使う

// MARK: Properties var hoge: String var piyo: Int // MARK: Types struct PropertyKey { static let hogeKey = "hoge" static let piyoKey = "piyo" } // MARK: Initialization init?(hoge: String, piyo: Int) { self.hoge = hoge self.piyo = piyo sup…

elasticsearchで、marvel, shield, licenseをremoveする

入れていたmarvel, shieldなどの有料プラグインを外す。(有料プラン1node辺りめちゃ高かったw) $ /usr/share/elasticsearch/bin/plugin remove shiled $ /usr/share/elasticsearch/bin/plugin remove marvel $ /usr/share/elasticsearch/bin/plugin remov…

アクセスをオフィスのwifiに限定して、外からはVPNでアクセスできるようにする

オフィスのwifiに接続した状態で、 // 今接続してるグローバルIPを確認 $ curl httpbin.org/ip サーバーのiptablesの設定を変更して、オフィスwifiのアクセスだけアクセスを許可する。適当にIP=123.456.789.12とする。 // iptablesの設定を編集する $ vim /e…

Elasticsearch、KibanaにShieldプラグインを入れる

ES、Kibanaを本番で使うために、認証を入れられるようにShieldプラグインを入れる。 Shield: Enterprise Security for Elasticsearch | Elastic 環境 CentOS 6.8 Elasticsearch 2.4.1 Kibana 4.6.1 Shield 2.4 ESとKibanaは入ってるものとする。 Shield入れ…

centosにjava入れる

環境 CentOS 6.8 Apache 2.2.15 入れる 参考: JDK 8 and JRE 8 Installation Start Here 確認 // 何も出ない $ java -version $ echo $JAVA_HOME // yumパッケージ確認 $ yum list installed | grep java $ yum list | grep java $ yum list | grep jdk // …

サイトをSSL化する(VPS, CentOS6 + Apache)

ssl化の必要できたので、さっとやってみた。大体以下な流れ 1. SSL用の鍵作成とCSRの作成 2. 証明書を申し込みと支払い 3. 証明書等をセット 4. OK 環境: CentOS6 Apache: Apache/2.2.15 (CentOS6の標準そのまま) まず、どこで証明書を買うかを決める AWSな…

CentOSにElasticsearch, kibana, sense, embulkを入れる

バージョン CentOS: 6.8 ES: 2.4 Kibana: 4.6 Elasticserachを入れる ここに書いてる感じのことをやる。 Installation | Elasticsearch Reference [2.4] | Elastic java入ってることを確認 $ java -version yumでインストール $ yum install elasticsearch -…

Autoingestionを使って、Appストアの月次・日時データを取得する。

プログラムでAppストアの月次・日時のインストールデータとかを取りたい場合、Appleが用意したAutoingestionというツールを使うと便利。ドキュメントは以下のあたり。 https://www.apple.com/itunesnews/docs/AppStoreReportingInstructions.pdf http://www.…

PlayストアとAppストアのインストールデータのタイムゾーン

Playストア アプリのパフォーマンスの統計情報を表示する - Android - Google Play デベロッパー ヘルプ google developer consoleでは、表示した端末のタイムゾーン(ローカルタイム)になるけど、csvに落とした時のDateのデータはPSTになってる、ってこと…

dateコマンドでdate: illegal time formatエラー

OSXで、 $ date +"%Y-%m-%d" -d '1 day ago' > usage: date [-jnu] [-d dst] [-r seconds] [-t west] [-v[+|-]val[ymwdHMS]] ... [-f fmt date | [[[mm]dd]HH]MM[[cc]yy][.ss]] [+format] とか出てしまったりorz waaaaatと思ってたら完全にこれだった。。 OS…

gsutilを使ってplayストアのデータを取得する

クリーンインストールしたからか、ローカルにgsutilコマンド無くなってたので、入れ直してみた。 前回はgsutilだけをインストールして使ってたけど、ドキュメントによるとGoogle Cloud SDK入れてその中のgsutilコンポーネント使ってね、って感じに変わってた…

AndroidストアのデータをElasticsearchに入れてkibanaで表示

データ入れる ストア管理画面から、アプリデータのcsvファイルを取得して、./app_data/csv/に入れる。 簡単なconfigurationをseed.ymlに書く。 in: type: file path_prefix: ./app_data/csv/ out: type: elasticsearch index: app_data index_type: android …

Elasticsearchで大量データ挿入でのエラー(queueのcapacity)

これはなに 前回のMysqlからESにデータを200万件くらい入れるとエラー出て5000件くらい喪失してた件。 MysqlからElasticsearchにデータを入れる - mazeltov7のweb断片 ログをチェックすると、esrejectedexecutionexception queue capacity 50とか出てて、こ…

MysqlからElasticsearchにデータを入れる

embulkを入れる GitHub - embulk/embulk: Embulk: Pluggable Bulk Data Loader. http://www.embulk.org $ brew install embulk ドキュメントのGetting Startedやって雰囲気をつかむ。 embulkのpluginのembulk-input-mysql, embulk-output-elasticsearchを入…

node, nvm, npmセッティング(OSX)

node入れようとする brewで入れると最新バージョン取ってくるので、今だと以下の6.5.0を取ってくる。 まぁ、いいけどメジャーなrecommendedの方が良さそうな気がするので、バージョン切り替えしやすいようにしておくためにnvmを入れる。 (brewで入れたnode…

Elasticsearch + kibanaのセットアップ

検索とかメインじゃなくて、データ表示がメインです。 Elasticsearchをダウンロード 公式サイトからzipをダウンロードする。 (brewで入れてもいいんだけど、plugin使うならpathが微妙だったので、そのまま入れる) Download Elasticsearch Free • Get Started…

oculus製品版をセットアップして、遊んだ

新Win機を開封 なんだか久々のwindowsよろしく。結構本気構成 [スペック] OS:Windows10 64bit CPU:Intel Core i7-6700CPU @ 3.40GHz GPU:GeForce GTX 1070 HDD:ST2000DM001 [2TB SATA600 7200] SSD:BX200 CT480BX200SSD1 [480GB] メモリ:16G RAM Oculu…

session_set_cookie_paramsとかセッション

PHP

これはなに 適当にsession_set_cookie_params付けてたけど、よくわかってなかった。el capitanにして、localhostの環境がlocalhost/~username/appnameみたいな感じでやるようになって、セッション消えたり、他アプリと共通化されたりおかしくなったので、調…

MBPでel capitanクリーンインストール

1. ファイル・写真etcを同期する これを機にファイル・写真は全てDropboxに同期するようにしました。Dropbox内にフォルダ作って、ローカルからそこにリンク貼る形にして、自動同期。 あと、brewで入れてるやつとかもさっと同期するために、brew bundle dump…

vagrantにchainer入れて、chainer-goghを試す

what is this chainer-goghで良い感じに画像つくりたい! (ってしてる間にprismaがリリースされたけど) How I did 1. vagrantにchainer入れる chainer自体は、 $ pip install chainer で入るはずだけど、これやるのに必要なライブラリとかあったりするので…

vagrantにdockerでdeepdream入れて、deepdreamを試してみる。

what is this 何やらcaffeは入れるのめんどそう、ということで、vagrantにcaffe含むdeepdream環境全部入りのdockerを立ち上げて試した。 How I did vagrant入れるところはここで。 vagrantにdockerでtensorflow入れて、jupyterでhello world - mazeltov7のwe…

vagrantにdockerでtensorflow入れて、jupyterでhello world

what is this tensorflow入れて、hello worldするまで 1. virtualenvで入れようとするが、activateされない 2. anacondaで入れようとするが、pyenvと衝突するから?か、activateしようとするとbashが落ちる 3. anacondaで、フルパスでactivateしようとするが…

サーバー間でmysqlデータをバックアップ・更新する

this is what サーバーAにあるデータベース1を、サーバーBに持っていて同期(更新)する、というのをしたい。 定期的にするようにcronに登録する。 this is how *今回はexpectコマンドを使った。expect入れてない場合はyum install expectで入れる。 まずDB…

centos7, apacheでSymlink使う場合

これのCentOS7バージョン CentOS, ApacheでSymlinkを使う場合の設定 - mazeltov7のweb断片 *参考 apacheのDocumentRootをユーザディレクトリのシンボリックリンクに - Qiita #現在の設定確認 root> getsebool -a | grep "httpd_enable_homedirs\|httpd_read_…

さくらVPSにCentOS7入れたらすること(ssh)

ssh

概ねここに則る感じで大丈夫(centos6の時のメモ) さくらVPSにCentOS入れたらすること - mazeltov7のweb断片 なんだけど、sshログインのportのところでcentosの場合はしなきゃな部分がある。 *参考 - CentOS 7 で ssh のポート番号を変更する | Balun Softw…

apacheでwebとcliでphpのバージョンが違った件

これはなに memcachedを使おうとしたら、コマンドラインでは動くのに、web(localhost)で動かなった話。なんかphpバージョンも違ってなんやこれと思った どうやった まず、memcachedを起動する部分と別にphpで使うライブラリを入れる。(この辺はメモ) ちなみ…

jqueryでコロン含むセレクタを使う場合

これなに jqueryではコロンはセレクタで特別な意味を持つのでエスケープしないといけない。んだけど、\:て感じで書いてもうまく動かなくてハマりかけた。 解決 $('#hoge\:wowo')な感じで、\\スラッシュを二回入れるとエスケープできる。 参考: - ARKの技術メ…

mysqlでUTCのepoch timeをintで入れようとしてエラー出た件

これはなに UTCのepoch timeをintでmysqlに突っ込もうとしたら、怒られたって話。 mysqlの最大値は決まってて、2,100,000,000くらいまで。 で、今回入れようとしてたのは1453101209560( = 1,453,101,209,560)(てか、ミリ秒やんこれorz)で、余裕アウトw まぁ…

csv(utf-16le)のファイルから良い感じに情報を取得する

PHP

これはなに google play storeのレビューをslackにポストする、ってのをしようとして、データを良い感じにとるところで、文字化けとかデータにゴミが入ったりなどでつらみあったので、メモ。 やったこと まずレビューcsvを取得するところは、提供されてるgsu…

mysqlでテーブル内の同一カラムで引き算した結果出す

やったこと mysqlのテーブルで、同一カラムを引き算して結果出したい場合、それぞれテーブルを名前付けて引くと良い こんなテーブルがあるとして、 +---------------+--------------+------+-----+---------+----------------+ | Field | Type | Null | Key …