Koji Noshita – Blog

Ghostty + zellijのターミナル設定

Tue, 14 Oct 2025 00:00:00 +0000

これまで

macOSでは，端末エミュレータとしてデフォルトのターミナル.appを，ターミナルマルチプレクサとしてtmuxを使っていた．

特に大きな不満はなかったけれど，異なるプラットフォームでの使い心地を近付けたい，（設定はできるが）あまり設定をいじりまくりたくない，といった気持ちから別の環境に移行することにした．

Ghostty

端末エミュレータはGhosttyにした．軽快に使えて，設定も最小限で良く，インスペクタで挙動も確認しやすい．

Zero Configuration Philosophyを掲げており，そのままでも良い感じに使える．

現在は，以下の項目のみカスタマイズしている．

# $HOME/Library/Application\ Support/com.mitchellh.ghostty/config
theme = Dracula+
window-height = 40
window-width = 120
window-padding-x = 5
background-opacity = 0.9
background-blur = true
font-family = UDEV Gothic 35NF
font-feature = -dlig
macos-option-as-alt = left

現状ではmacOSとLinuxのみ提供だが，いずれWindowsにも対応することが予定はされている．

ほかの候補としてはWezTermがあり，（PowerShellの代替として）Windowsではこちらを利用することにした．

zellij

ターミナルマルチプレクサはzellijにした．

Rust製で軽快に動き，キーバインドを覚えてなくても常にキーバインドや状態が“見えている”のでライトユーザーに優しい．

それほどガッツリ使っているわけでもない自分としてはとてもありがたいインタフェース．

この辺のブログを見てみると使い勝手の良さがイメージできるかも．

参考：初心者にこそ使ってほしいRust製Terminal MultiplexerであるところのZellij

macOSで使う際に単語先頭へのジャンプのショートカットがzellijの新しいfloating paneの作成と干渉していたので，それのみカスタマイズしている．

# $HOME/.config/zellij/config.kdl
keybinds {
normal {
unbind "Alt f"
bind "Alt F" { ToggleFloatingPanes; }
}
}

参考：Alt right and Alt f behave identically on macOS, Alt left does nothing

GitHub Classroomでの課題設定

Mon, 02 Jun 2025 00:00:00 +0000

前提

講義や演習での課題の提出をGitHub Classroomで管理したい．

課題配布用リポジトリの作成

課題リポジトリを，Classroom用組織アカウント内に作成する．

Classroom用組織アカウントとは別に，課題用の組織アカウントを作成する方が良さそう．

課題用はClassroomとは紐づけず，年度を問わず利用する．
Classroom用組織アカウントは年度ごとに新たに作成する．課題の提出先はこちら．

現状では分離できていないのでいずれ別に作成する．

（課題用組織アカウント内の）課題用リポジトリはprivate templateとする．

たとえば，assignment-XXXのような名前で作成する．

課題の作成

GitHub Classroomにて，クラスを選択し，New assignmentから新たな課題を作成する．

たとえば，assignment-01のような名前で作成する．

必要に応じて締め切りを設定する．

課題のテンプレート

先ほど作成したテンプレートリポジトリをスターターコードとして設定する．

visibilityはprivate．

Copy the default branch onlyにチェックを入れる．

自動採点など

自動採点やPRによるフィードバックはいったんオフ．

数理生物学演習向けPython環境 2025年度版

Sat, 26 Apr 2025 00:00:00 +0000

概要

数理生物学演習 2025年度向けのローカルPython環境を構築するための手順を説明する．

uv

Pythonのプロジェクト管理ツールのuvを使って環境構築する．

まずは，uvをインストールする．既に導入済みであればスキップしてOK．

以下では，パッケージマネージャー経由でのuvのインストール方法を示す．

公式マニュアルInstalling uv | uvに，その他のインストール方法についても詳しい説明がある．好きな方法でインストールして良い．

Windows

scoopのインストール

Windowsではscoopを使ってuvをインストールする．scoopがインストール済みであればスキップしてOK．

PowerShellを開いて，以下のコマンドを打ち込む．

Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser
Invoke-RestMethod -Uri https://get.scoop.sh | Invoke-Expression

scoopがインストールできたら，uvをインストールしよう．

scoopによるuvのインストール

PowerShellから以下のコマンドを実行しよう． scoopのコマンドの詳細については公式リポジトリのWikiを参照．

scoop install main/uv

インストールできたか確認しよう．

uv

uvのコマンドの説明が表示されれば，無事インストールできている．

macOS/Linux

homebrewのインストール

macOS（もしくはLinux）ではhomebrewを使ってuvをインストールする．homebrewがインストール済みであればスキップしてOK．

ターミナルを開いて，以下のコマンドを打ち込む．

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

homebrewがインストールできたら，uvをインストールしよう．

homebrewによるuvのインストール

ターミナルから以下のコマンドを実行しよう． homebrewのコマンドの詳細については公式コマンドドキュメントを参照．

brew install uv

インストールできたか確認しよう．

uv

uvのコマンドの説明が表示されれば，無事インストールできている．

数理生物学演習向けPythonプロジェクト

数理生物学演習向けのPythonプロジェクトを作っていく．

Pythonのインストール

Pythonをインストールしよう．uvは既にインストールされているPythonを検出するが，それ以外のバージョンをインストールしたいときがよくある．

ここではColabと同じバージョンのPythonをインストールしよう．

2025.04.26現在，ColabにはPythonの3.11.12がインストールされている． 3.11系をインストールしよう．

uv python install 3.11

プロジェクトの作成

プロジェクトはcompbio2025というディレクトリの中に作成する．

ここでは自身のホームディレクトリ下の作業ディレクトリ（WindowsだとC:\Users\XXX\working_dir\，macOSだと/Users/XXX/working_dir/）の内部に，compbio2025を作成する．他の場所でも構わない．

XXXはユーザーアカウント．

以下では，コマンドはWindowsではPowerShell，macOSではターミナルで実行していると想定する．

# working_dirへ移動
cd working_dir

# プロジェクトの作成（Pythonのバージョン指定オプション -p）
uv init compbio2025 -p 3.11

# プロジェクト内部へ移動
cd compbio2025

以下のようなファイルとディレクトリが作成された（.からはじまるものは隠しファイル/ディレクトリなので，エクスプローラーやFinderでは表示されていないはず）．

.
├── .git
├── .gitignore
├── .python-version
├── main.py
├── pyproject.toml
└── README.md

main.pyはサンプルとして作成されているスクリプトファイル（実行するとHello from compbio2025!と表示される）．
pyproject.tomlはプロジェクトの設定ファイル．
README.mdはプロジェクトの説明を記述するファイル．

必要なパッケージの導入

このプロジェクト内に演習で必要なパッケージをインストールする．

uv add numpy scipy matplotlib plotly jupyter jupyterlab

JupyterLabの起動

ノートブック環境で進めるためにJupyterLabを利用する．

プロジェクトディレクトリ内で以下のコマンドを実行すると，JupyterLabがブラウザで立ち上がる．

uv run jupyter lab

あとは，Colabと同様に適切な場所にノートブックを作成して，プログラミングを進める．

おまけ：VSCodeからの利用

Visual Studio Code（VSCode）からも利用できる．

ipykernelの導入

プロジェクトにIPython Kernelを導入しよう．

uv add ipykernel

Jupyter拡張の導入

VSCodeにJupyter拡張を導入する．

新しいノートブックファイルを作成し，カーネルを選択する

新しいノートブック（例えば，01/01.ipynb）を作成し，開く．

「カーネルの選択」をクリックし，.venvを選択すると，作成したプロジェクトの仮想環境で解析ができる．

論文が出版されました Noshita et al. 2025 J. R. Soc. Interface

Sun, 23 Feb 2025 00:00:00 +0000

論文が出版されました．

Noshita, K., Nakagawa, T., Kaneda, A., Tamura, K., Nakao, H., 2025. The cultural transmission of Ongagawa style pottery in the prehistoric Japan: quantitative analysis on three-dimensional data of archaeological pottery in the early Yayoi period. J. R. Soc. Interface 22, 20240889. https://doi.org/10.1098/rsif.2024.0889

本研究は新学術領域出ユーラシアの統合的人類史学 - 文明創出メカニズムの解明 -の成果です．

プレスリリースもして頂きました．

弥生時代前期土器の拡散過程を定量的に検証

内容紹介

弥生時代の遠賀川式土器の二次元/三次元の形態解析により，伝播ルートに関する従来の仮説を定量的に裏付けた研究です．

考古遺物の分析は類型学的分類に基づくことが多く，連続的な「かたち」の変化を定量的に扱うことはあまりされてきませんでした．特に三次元形態データの解析ではその傾向は顕著です．

近年の三次元計測技術の発展に伴い，三次元データの取得自体はそれほど困難ではなくなりました．また幾何学的形態測定学的な手法は比較的確立しています．しかし，具体的に三次元データにおいて幾何学的形態測定学，例えば球面調和関数解析，を適用した事例は多くありません．

考古遺物の三次元形態の定量的な評価ができれば，農耕の伝播などの文化進化との関連の解析などが可能になると考えられます．

そこで，弥生時代前期の西日本を中心に広く出土する遠賀川式土器を対象に，二次元/三次元の定量的な形態解析をおこない，その伝播ルートの仮説との整合性を確かめました．遠賀川式土器は，農耕と連動して北部九州から東海地方まで伝播していったと考えられています．

本研究では，これまでに報告書などに記載されている実測図として蓄積された二次元データ，三次元スキャナや写真測量により新規に取得した三次元データ，それぞれ約500資料からなるデータセットを構築しました．

このデータセットに基づき，幾何学的形態測定学的手法（二次元データには楕円フーリエ解析，三次元データには球面調和関数解析）を適用し，定量化をおこないました．

さらに，主成分分析に基づき遠賀川式土器の実測形態空間を構築し，遠賀川式土器がもつ形態的なばらつきを可視化しました．この上に出土した地域や時代をマッピングすることで，地域差や時代差，あるいはその両方を捉えました．

最終的に，地域差と時代差のパタンから遠賀川式土器が，日本海側と瀬戸内側の２つルートを経由して伝播した可能性が高いことを土器形態の定量的な変遷からも支持されることを示しました．

本研究を実施するうえで，多くの埋蔵文化財センターや博物館，研究機関にて資料の計測をさせていただきました．こうした蓄積なく，大規模なデータに基づく研究は不可能です．改めて感謝いたします．

余談

球面調和関数解析のコードなどはGitHubにて公開しています（Noshita-2025-Ongagawa）．考古遺物への適用例としては割と珍しいと思いますので参考になれば幸いです．基本的には球と位相的に同一視できる対象の解析に利用できますので，その他の対象へもぜひ試していただきたいです．

また，解析の流れはカタチの由来、データの未来にて（ざっくりと）日本語で解説したものがありますので，興味ある方はこちらもご覧頂けると嬉しいです．

クライアント認証を利用するサイトのLet's Encrypt発行SSL証明書の更新

Tue, 21 Jan 2025 00:00:00 +0000

やりたいこと

クライアント認証がかけられているサイトのSSL証明書を自動更新する
SSL証明書はLet’s Encryptで発行し，certbotで自動更新する
Webサーバーはnginxを使う

自動更新の失敗

設定からしばらくして自動更新が失敗しているcertificateがあることに気づく．

$ sudo certbot renew
...
Failed to renew certificate XXX with error: Some challenges have failed.
...

XXXは対象ドメイン．

このドメインはクライアント認証を設定し，すべてのhttpアクセスをhttpsへリダイレクトしているそのため，HTTP-01 challengeに失敗していると思われる．

Nginxの設定

HTTP-01 challengeで利用するhttp://XXX/.well-known/acme-challenge/以下のみをhttpsへリダイレクトさせないようにする．

server {
 listen 80;
 server_name XXX;

 location /.well-known/acme-challenge/ {
 alias /PATH/.well-known/acme-challenge/;
 }

 location / {
 return 301 https://$host$request_uri;
 }
}

PATHはルートディレクトリ．

更新の確認

とりあえず--dry-runオプションをつけて更新がうまくいくかを確認する．

うまくいけば実際に更新するか，自動更新を待てばよい．

sudo certbot renew --dry-run

SSLクライアント認証に関係する中間証明局とnginxの設定

Tue, 12 Nov 2024 00:00:00 +0000

やりたいこと

クライアント認証向けに自己CAで署名したクライアント証明書を作成する
nginxでクライアント認証周りの設定をする

自己CAと署名

CAの秘密鍵：ca.key
CA証明書：ca.crt

を作成する．

中間CAの秘密鍵を作成．

openssl genrsa -out ca.key 4096

自己署名中間CA証明書を作成．

openssl req -new -x509 -days 365 -key ca.key -out ca.crt

有効期限を365日としている．関連した情報を聞かれるので回答する．

Country Name (2 letter code) [AU]:JP
State or Province Name (full name) [Some-State]:XXX
Locality Name (eg, city) []:XXX
Organization Name (eg, company) [Internet Widgits Pty Ltd]:XXX
Organizational Unit Name (eg, section) []:
Common Name (e.g. server FQDN or YOUR name) []:xxx.xxx.xxx
Email Address []:xxx@xxx.xxx

クライアント証明書の作成

この辺は以前のポストも参照．

クライアント秘密鍵：client.key
クライアント証明書要求：client.csr
クライアント証明書：client.crt

を作成する．

クライアント秘密鍵を作成する．

openssl genrsa -out client.key 4096

クライアント証明書要求を作成する．

openssl req -new -key client.key -out client.csr

関連した情報を聞かれるので回答する．

Country Name (2 letter code) [AU]:JP
State or Province Name (full name) [Some-State]:Tokyo
Locality Name (eg, city) []:Shibuya
Organization Name (eg, company) [Internet Widgits Pty Ltd]:Example, Inc.
Organizational Unit Name (eg, section) []:Customer Support
Common Name (e.g. server FQDN or YOUR name) []:
Email Address []:

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:
An optional company name []:

クライアント証明書を作成する．

openssl x509 -req -days 365 -in client.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out client.crt

有効期限を365日としている．

ブラウザなどへインポートするために，クライアント証明書とクライアント秘密鍵をPKCS#12ファイルへまとめる．

openssl pkcs12 -export -out client.p12 -inkey client.key -in client.crt -certfile ca.crt

nginxでのクライアント認証の設定

以下での運用を想定．

バーチャルホスト
サーバー証明書はLet’s Encryptで発行
先ほど作成したca.crtは/etc/nginx/client_certificatesに保存

server {
 listen 80;
 server_name xxx.xxx.xxx;
 return 301 https://$host$request_uri;
}
server {
 listen 443 ssl http2;
 ssl_protocols TLSv1.2 TLSv1.3;
 ssl_ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-CHACHA20-POLY1305;

 server_name xxx.xxx.xxx;
 root /var/www/web;
 index index.html index.htm;

 ssl_certificate "/etc/letsencrypt/live/xxx.xxx.xxx/fullchain.pem";
 ssl_certificate_key "/etc/letsencrypt/live/xxx.xxx.xxx/privkey.pem";
 ssl_session_cache shared:SSL:1m;
 ssl_session_timeout 10m;

 ssl_client_certificate "/etc/nginx/client_certificates/ca.crt";
 ssl_verify_client on;
 ssl_verify_depth 2;

 location / {
 try_files $uri $uri/ =404;
 }
}

確認

client.p12をブラウザに読み込み，クライアント認証によりアクセスできることを確認する．

必要に応じて，.mobileconfigを作成してiOSデバイスへの読み込みなどをおこなう（参照：iOS | WebページのためのSSLクライアント認証の設定）．

論文が出版されました Murata and Noshita 2024 Plant Phenomics

Thu, 06 Jun 2024 00:00:00 +0000

村田さんとの共著論文が出版されました！

簡単に内容を紹介します．

内容紹介

２次元と３次元の情報を統合することで３次元的な葉縁を定量化する手法を提案した研究です．

Murata, H., Noshita, K.*, 2024. Three-Dimensional Leaf Edge Reconstruction Combining Two- and Three-Dimensional Approaches. Plant Phenomics 6, 0181. https://doi.org/10.34133/plantphenomics.0181

葉は，植物の最も重要な器官の一つです．そのため生息環境に応じた様々な機能的ニーズを満たす多様な形態学的特性を示します．従来，葉形態は２次元（2D）的に定量化されることが多く，葉の機能の３次元（3D）側面を十分には捉えられていません．

3Dデータ取得が高精度・簡便になってきていますが，葉（薄い構造）の３次元再構築は未だに難しい課題です．例えば，SfM/MVSなどにより対象表面を点の集合（点群）として再構築する方法では，特に葉縁の形態を正確に定量化することは困難です．

本研究では，2D画像でのインスタンスセグメンテーションと曲線ベースの3D再構成を組み合わせた3D葉縁定量化の方法を提案しました．この手法は主に以下の５つの要素からなります．

１．まず，多視点画像のそれぞれに対して葉一枚一枚を個別に認識するモデルをMask R-CNNで作成しました（A）．得られた葉のマスク画像からは簡単にその２次元輪郭が抽出できます（B）．

２．同時に，SfMによりカメラの位置と向きと疎な点群を推定します（C）．

３．画像間での葉のマッチング．１で推定した葉それぞれが多視点画像間でどう対応するのかは自明ではありません．2で推定した疎な点群を３次元的に領域分割し投影行列に基づいて各画像に再投影することで対応関係を導きました（D）．（このステップは今後改良を予定しています）

４．曲線ベースの3D再構成による3D曲線フラグメントの推定．２次元輪郭のペアに対して３次元再構築をおこなうことで小さな曲線片（曲線フラグメント）を多数再構築します．この再構築手法はFabbri and Kimia (2010) で提案された曲線ベース多視点ステレオに相当します．

５．最後に，B スプライン曲線フィッティングにより3D曲線フラグメントを葉縁モデルとして閉曲線に統合します．

結果は以下のようになります．例えば，シミュレーションで作った１枚の葉や個体を想定した複数の葉について再構築できています．

実際の植物の画像データからも再構築できます．これはダイズの例．

もっと複雑な葉形態にも対応できます．例えば切れ込みのある葉や穴が空いている場合などでも再構築できます．ただし，現状ではセレーションのような細かい構造や細長い葉の先端部などの高い曲率を持つ部分などでは精度が下がります．この辺も今後の改善を狙っている部分になります．

本研究では，対象の構造に注目した2D/3Dの解析を組み合わせることで，点ベースのアプローチでは難しかった葉縁を捉えることに成功しました．

本手法は，3D植物フェノタイピングにおける重要なツールになると考えています．今後はさらに様々な解剖学的構造の３次元空間中での統合を進めていきます！

また，今回使ったデータセットはZenodoで公開しています．ご活用頂けると嬉しいです！ Morphometrics Group Dataset Collection

VSCodeのスニペットの設定

Tue, 09 Jan 2024 00:00:00 +0000

やりたいこと

VSCodeでスニペットを登録したい．
Markdownのスニペットを登録したい．

VSCodeのスニペットの設定

Code -> 基本設定 -> ユーザースニペットの構成で作成したいスニペットの言語を選択する．

今回はMarkdownで新規作成したかったので，markdown.jsonを入力して開く．

登録したいスニペットを以下のフォーマットで追記する．

"TITLE": {
 "prefix": "xxx",
 "body": [
 "１行目",
 "２行目",
 ],
 "description": "yyy"
 }

TITLEはスニペット名，xxxには呼び出しに用いるキーワード，yyyはオプションで説明を記入する．

"body"に展開したい内容を書く．

カーソル位置や変数などを利用できる．

参考

Snippets in Visual Studio Code | 公式ドキュメント
- Snippet syntax

Markdown向け追加設定

デフォルトではMarkdownはeditor.quickSuggestionsがすべてfalseになっている．

otherをtrueにすることでスニペットが有効になる．

command ⌘ + shift ⇧ + pでコマンドパレットを開き，settings.jsonを選択して，以下の設定を追記する．

"[markdown]": {
 "editor.quickSuggestions": {
 "other": true
 },
},

参考

Default settings | 公式ページ

TailscaleのmacOSのコマンドラインでの再認証

Thu, 04 Jan 2024 00:00:00 +0000

前提・やりたいこと

Tailscaleのkeyが期限切れ（expired）になったので，再認証したい．
CLIで再認証をおこないたい．
対象のデバイスはmacOS．

Tailscale CLI

/Applications/Tailscale.app/Contents/MacOS/Tailscaleに様々な設定などをおこなうためのCLIがある．

alias tailscale="/Applications/Tailscale.app/Contents/MacOS/Tailscale"

を.zshrcに追加しておくと便利．

参考

Tailscale CLI | 公式ドキュメント

再認証

tailscale up --force-reauth実行の際にはTailscaleの接続が切れるので，直接sshなどで接続した状態で行うべきではない．

もしリモートで行う場合は，何らかの迂回路を用いること．

tailscale up --force-reauth

もし対象がExit nodeの場合は以下の通り．

tailscale up --force-reauth --advertise-exit-node

コマンドが実行できれば以下のように認証のためのページへのURLが表示される．

To authenticate, visit:

 https://login.tailscale.com/a/XXX

XXXは毎回異なる．

URLへアクセスし，Tailscaleへログインして認証を完了させる．

成功すれば，

Success.

と表示される．

参考

Key Expiry - Renewing keys for an expired device | 公式ドキュメント

Python環境構築 2023.10

Tue, 17 Oct 2023 00:00:00 +0000

概要

Pyenv：複数バージョンのPythonの管理する．
poetry：各解析や開発のための個別の仮想環境を管理する．
OSはmacOS, Linuxを想定している．Windowsの場合はWSL2でLinux環境を用意して利用する．

Pythonの環境を構築する方法は他にも選択肢がある．ニーズや好みに合わせて選択してほしい．

インストール

homebrewでインストールする．

brew install pyenv poetry

Pyenv

複数のバージョンのPythonを切り替えて使いたい場合は多い．

そうした際には複数のPython環境を導入し，自身でパスを設定しても良いが面倒である．

そこで通常はPyenvのような複数のPython環境のインストールや切り替えを支援するツールを利用することになる．

依存ライブラリのインストール

公式ドキュメントに従い，自身の環境に合わせて必要なライブラリをインストールしておく．

Suggested build environment

Pythonのインストール

いくつかのPython環境をインストールしてみよう．以下では3.11.6と3.12.0をインストールしているが，使いたいバージョンを設定してほしい．

# インストールできるPython環境の一覧を確認
pyenv install -l

# 3.11.6と3.12.0をインストール
pyenv install 3.11.6 3.12.0

バージョンの切り替え

インストールしたPythonをそれぞれ使ってみよう．

以下では3.11.6をXXXというディレクトリ内で， 3.12.0をYYYというディレクトリ内でそれぞれ利用することを想定している（別バージョンのPythonを別のプロジェクトで使うイメージ）．

# 特定ディレクトリ内で3.11.6を使う
cd XXX
pyenv local 3.11.6
python --version

# 特定ディレクトリ内で3.12.0を使う
cd YYY
pyenv local 3.12.0
python --version

一度，pyenv localコマンドを実行すれば，以降はそのディレクトリ内に移動すれば自動で設定したバージョンが利用される．

# 3.11.6が利用される
cd XXX
python --version

これはpyenv localコマンドの実行時に.python-versionという隠しファイルがディレクトリ内に作成され，そこに設定したバージョンが記載されているためである．

cat .python-version

おまけ

いくつか使うかもしれない機能やTipsを紹介する．最初はとりあえず無視してもらって良い．

`pyenv global`

特定のディレクトリ内だけでなく，デフォルトで使いたいバージョンを指定することもできる． pyenv globalコマンドを使う．

pyenv global XXX

XXXは設定したいバージョン．

ディレクトリ内に.python-versionファイルがある場合は，そちらが優先される．

複数バージョンの指定

pyenv localやpyenv globalでは複数のバージョンを指定することもできる．

例えば3.10.13とminiconda3-latestをグローバルに使うPythonとして設定する場合は以下のようにする．

pyenv global 3.10.13 miniconda3-latest

miniconda3-latestでシェル起動時に自動的にbase環境に入らないようにする

# 仮想環境外に出て（conda deactivate）以下を実行
conda config --set auto_activate_base False

Poetry

プロジェクト毎に使いたいパッケージやそのバージョンは通常異なる．

こうした場合には，他のプロジェクトなどに影響を受けないように切り離されたPython環境（仮想環境）を構築することが一般的である．

例えば，標準ライブラリではvenvが提供されており，異なる解析環境・開発環境を作成することができる．

Poetryは依存管理からパッケージング（Pythonパッケージを開発して配布可能な形式にまとめる）までを支援するツールである．

ここでは，Poetryを使って各解析や開発のための個別の仮想環境を管理する．

Authorの設定

デフォルトでは，.gitconfigのuser情報から名前とメールアドレスを取得してくる．何も設定していない場合は，必須項目になる．

poetry/src/poetry/console/commands/init.py

ここでは.gitconfigに設定をおこなっておこう．

git config --global user.name "XXX XXX"
git config --global user.email xxx@example.com

XXX XXXとxxx@example.comは自身の情報を入力する．

プロジェクトの作成

特定のディレクトリ以下を（同じ仮想環境を使う）一つのプロジェクトとする．

# プロジェクトの作成
cd XXX
poetry init

設定項目についての質問が表示されるので入力していこう．

デフォルトのままで良ければ空欄で良い．

ここではPythonのバージョンだけ3.9以上3.13未満としている．

Poetryにおける（Pythonやパッケージの）バージョン指定方法は公式ドキュメントのDependency specificationを参照してほしい．

This command will guide you through creating your pyproject.toml config.

Package name [XXX]:
Version [0.1.0]:
Description []:
Author [NAME <MAIL>, n to skip]:
License []:
Compatible Python versions [^3.11]: >=3.9,<3.13

Would you like to define your main dependencies interactively? (yes/no) [yes] no
Would you like to define your development dependencies interactively? (yes/no) [yes] no
Generated file

ディレクトリ内に，pyproject.tomlという設定ファイルが生成される．

依存パッケージのインストール

プロジェクト内で使うパッケージをインストールしていく．

以下では，NumPy, SciPy, pandas, matplotlib, JupyterLabをインストールしているが，自身のプロジェクトに必要なものを導入しよう．

poetry add numpy scipy pandas matplotlib jupyterlab

これらのパッケージの情報もpyproject.tomlに記載される．

cat pyproject.toml

`poetry run`

Poetryで作成した仮想環境は自動ではactivateされない．

Poetryで作成した仮想環境上でコマンドを実行したい場合はpoetry runを使う．

poetry run jupyter lab

`poetry shell`

Poetryで作成した仮想環境内でシェルを立ち上げる場合はpoetry shellを使う．

poetry shell

仮想環境内に導入したパッケージなどを利用できる．

jupyter lab

仮想環境でのPythonバージョンの変更

poetry env useにより仮想環境を切り替えることができる．

例えば，異なるバージョンを利用することが可能．

poetry env use 3.12

仮想環境の一覧はpoetry env listで確認できる．

poetry env list

論文が出版されました Iwamasa and Noshita (2023) PLOS Comput. Biol.

Wed, 02 Aug 2023 00:00:00 +0000

岩政さんとの共著論文が出版されました！

Iwamasa, K., Noshita, K.* Network feature-based phenotyping of leaf venation robustly reconstructs the latent space. PLOS Comput. Biol. (2023) 19, e1010581. https://doi.org/10.1371/journal.pcbi.1010581

プレプリント投稿やプレスリリースなど新しい取り組みにもチャレンジし，良い経験になりました．

最後に改めて，データセットを利用させていただいた国立科学博物館葉脈標本データベースに感謝いたします．

Tweetまとめ

岩政さん @colum2131 との共著論文が出版されました 🎉 葉脈ネットワークの定量化とその潜在空間を特定した研究です 🍃

Network feature-based phenotyping of leaf venation robustly reconstructs the latent space https://t.co/VlhUDMxDOa
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

植物の葉脈は水や光合成産物の輸送に関わるネットワーク状の構造です．そのため生理学的には透水性や蒸散効率に関わる重要な形質です．特に，被子植物の葉脈は階層的で複雑な葉脈構造を示し，分類の際にも注目する形質と考えられています．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

こうした葉脈構造の評価は，比較的シンプルな計測値（長さ，直径，分岐角度，areole面積，単位面積あたりの長さなど）でおこなわれるケースがほとんどでした．しかし，本質的には輸送網（ネットワーク構造）として定量化することが望ましいです．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

そこで本研究では，葉脈構造をネットワークとして定量化するための手法を開発し，その有用性を示しました．提案手法は１．画像の取得，２．U-Netによる葉脈の抽出，３．無向グラフへの変換，４．ネットワーク特徴量化，からなります．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

１．画像の取得．葉脈の観察を行う際には，透明化染色標本を用いることがありますが，処理に時間がかかります（~２週間程度）．今後のデータサイズの拡大を狙いハイスループットな手法として，シンプルな透過光による画像撮影方法を採用しました．https://t.co/gcNFbZIeaE
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

２．U-Netによる葉脈の抽出．葉脈だけを抽出するためにセマンティックセグメンテーション向け深層学習モデルであるU-Netをもちいました．このモデルはグレースケール画像を入力にしており，染色標本・非染色標本の両方に適用できます．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

U-Netの訓練のキモとして，”キレイな”画像だけのデータセットに古典的な画像解析を施すことで訓練データを用意した点があります．これによりアノテーションデータの作成の労力を抑えることができました．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

３．無向グラフへの変換．葉脈だけを抜き出した二値画像から細線化により，葉脈のスケルトンを取得し，このスケルトンに基づいて分岐点，端点を探索し，それらを結ぶことで無向グラフを構築しています．ここまでを適用すると以下の通り🙌 https://t.co/mEm8eK68fu
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

４．ネットワーク特徴量化．無向グラフからNetSimileというサイズ不変なベクトル表現を計算し，これを葉脈構造の特徴量としました．この特徴量に基づき様々なデータ解析や可視化をおこなうことになります．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

デモンストレーションとして，まずこの葉脈特徴量だけから伊都キャンパスでサンプリングした５種の葉を見分けることができるかを検討し，その結果およそ90%の精度で見分けることができました．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

つまり，分類群特異的な構造情報をある程度含んでいる特徴量になっているだろうと考えられます（単純なクラス分類の問題を解きたい場合は葉の形状やテクスチャなどを含む画像情報も使ったほうが良いと思います）．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

そして本研究のハイライトは葉脈構造の潜在空間を特定できた点になります．伊都キャンパスでサンプリングした5種479枚の非染色葉標本と国立科学博物館葉脈標本データベース（https://t.co/2wY74R8hE9）に含まれる5属328枚の染色標本の解析しました．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

葉脈構造特徴量の主成分分析の結果，PC1とPC3の空間に１次元的なU字型の分布を見出しました．またこの曲線にそって葉脈の高次構造がツリー状からループ状に遷移していることがわかりました．https://t.co/SOvPyPYxVD
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

この分布パターンはRonellenfitsch and Katifori (2019) https://t.co/16eQswjQnW で理論的に予測された輸送効率，形成効率，損傷に対するロバスト性のパレート最適（いずれかの機能を改善しようと葉脈を変化させるとそれ以外が低下する）に対応する可能性が高いです．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

葉脈構造をネットワーク特徴量として定量的に評価したことで，データ駆動的にその潜在空間を特定し，「かたち」の多様性と制約の理解へつなげることができたと考えています！
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

今回の解析には国立科学博物館葉脈標本データベース（https://t.co/2wY74R8hE9）を利用させて頂きました．こうしたデータセットが整備・公開，そして維持されていることは本当にありがたいです．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

はじめてプレスリリースしてみました．ツッコミどころ有りましたらご指摘いただけると幸いです．今後へ活かしていこうと思います．色々調整をおこなって頂いた広報や編集部などのみなさま，ありがとうございました！

九州大学：https://t.co/KHPb7YWGAD
JST: https://t.co/n9lES0t8EN
— 野下浩司 / Noshita, Koji (@noshitakoji) July 21, 2023

ktch：モデルベース形態測定学向けPythonパッケージ

Fri, 21 Jul 2023 00:00:00 +0000

ktch

さまざまな階層の「かたち」の定量解析をシンプルかつ手軽に実施できる環境の実現を目指し，開発を進めているPythonパッケージ ktch を公開しました．

現時点では，標識点ベース形態測定学の一般化プロクラステス解析，輪郭ベース形態測定学の楕円フーリエ解析（あと球面調和関数解析の係数からの形状再構築部分）を実装しています．今後も開発を進めて，球面調和関数解析，確率分布ベース，deformable shape，パーシステントホモロジー解析を活用した手法，理論形態モデルなどの実装を進め，多様なモダリティの「かたち」の定量解析の実現を目指します．

RのMomocs，geomorph，shapesなど既に幾何学的形態測定学関連の解析ツールは存在していますが，それぞれ独自のデータ構造やインターフェースをベースにしており，データのやり取りが（個人的には）煩雑でした．インタラクティブな解析はPythonでやることが多いという事情もあり，scikit-learn APIを採用して他のツールでの可視化や統計解析，機械学習モデルの開発へ展開し易いようにしました．データもNumPyの多次元配列やPandasのデータフレームを前提としているので，Pythonのデータ解析の基盤の上に「かたち」の数理解析システムを構築するイメージです．

サンプルノートブックも少しづつ増やして解析の流れをカタログ化していこうと思っています．

フィードバック歓迎です！何かお気づきの点があればGitHubでissueを投げて頂けると嬉しいです．

Tweetのまとめ

形態測定学向けPythonパッケージ ktchを公開しました🚀．
さまざまな「かたち」の定量解析をシンプルかつ手軽に実施できる環境の実現を目指し，引き続き開発を進めていきます！
ドキュメント：https://t.co/ZtSB0rNmP9
GitHubレポジトリ：https://t.co/ayZUZr4xb4
— 野下浩司 / Noshita, Koji (@noshitakoji) July 7, 2023

主に以下の２点を重視しています．１．様々な階層の「かたち」の定量解析を統一的なフレームワークで実施できる環境を作る．２．scikit-learn API互換．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 7, 2023

１．様々な階層の「かたち」の定量解析．現状では，の一般化プロクラステス解析（標識点ベース），楕円フーリエ解析（輪郭ベース）を実装しています．これらは主に形態や形状という位置・向き（・サイズ）に依らない対象の性質を定量化できますが，「かたち」にはより多様な側面が存在します．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 7, 2023

今後は，各解析方法の機能強化に加えて，球面調和関数解析，確率分布ベース，deformable shape，パーシステントホモロジー解析を活用した手法，理論形態モデルなどの実装を進め，多様なモダリティの「かたち」の定量解析の実現を目指します．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 7, 2023

２．scikit-learn API互換．Pythonでの機械学習パッケージとしてデファクトスタンダードのscikit-learnのAPIに基づき開発しています．fit, transform, inverse_transformなどの馴染みのあるインターフェースから「かたち」に関連したデータを解析できます．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 7, 2023

RのMomocs，geomorph，shapesなど既に幾何学的形態測定学関連の解析ツールは存在していますが，それぞれ独自のデータ構造やインターフェースをベースにしており，データのやり取りが個人的には煩雑でした．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 7, 2023

そこで整備されているインターフェースとしてscikit-learn APIを採用し，データもNumPyの多次元配列やPandasのデータフレームを前提とし他のツールでの可視化や統計解析，機械学習モデルの開発へ展開し易いようにしました．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 7, 2023

scikit-learn scikit-learnを使ったことがある人は自然に使えると思います．使い方はこんな感じ．https://t.co/6b04SffuBQ
— 野下浩司 / Noshita, Koji (@noshitakoji) July 7, 2023

絶賛開発中なので，バグを見つけたり，ドキュメントの記述が不足している箇所・不正確な箇所を見つけたりした際にはissueを投げていただけると助かります．機能追加についてのフィードバックも歓迎です（追加の保証はできませんが）． https://t.co/kK4ESyuX5W
— 野下浩司 / Noshita, Koji (@noshitakoji) July 7, 2023

試して頂けると嬉しいです！！
「かたち」の定量解析をやる仲間が増えるといいなー．
— 野下浩司 / Noshita, Koji (@noshitakoji) July 7, 2023

論文が出版されました Araki and Noshita (2023) Evolution

Sun, 09 Jul 2023 00:00:00 +0000

荒木さんとの共同研究が論文になりました！

Araki, A., Noshita, K.* Theoretical morphological analysis of differential morphospace occupation patterns for terrestrial and aquatic gastropods. Evolution (2023). https://doi.org/10.1093/evolut/qpad110

Tweetのまとめ

Twitterでざっくりした解説をしましたのでまとめておきます．

論文が出版されました！荒木さん（https://t.co/7ccxvpMsTM）との共同研究です．

Theoretical morphological analysis of differential morphospace occupation patterns for terrestrial and aquatic gastropods https://t.co/CW8HHsi114
— 野下浩司 / Noshita, Koji (@noshitakoji) June 28, 2023

腹足類（巻貝）の殻形態が陸棲と水棲で異なる形態空間占有パターンを示すことを博物館標本の計測から明らかにし，
その差がなぜ生じたかを理論形態学的な解析により検討しました．
— 野下浩司 / Noshita, Koji (@noshitakoji) June 28, 2023

生物の形態はそのデータが分布する空間（形態空間）の全域には分布せず，偏った占有パターンを示すことが多いことが知られています．
機能的要請，生息環境，発生的・構造的・系統的制約の下での進化プロセスによって，こうした形態的多様性がかたちづくられてきたためと考えられています．
— 野下浩司 / Noshita, Koji (@noshitakoji) June 28, 2023

本研究では，陸棲種が水棲種よりも高い殻口の傾きを示すことを明らかにしました．
この差は，陸棲種の二峰分布の一方のピークの存在と，螺塔が高くない場合でも低い殻口の傾きをもつ種が水棲種に一定数観察されることの両方により生じています．
— 野下浩司 / Noshita, Koji (@noshitakoji) June 28, 2023

この生息環境に対する異なる形態空間占有パターンの違いが生まれた究極要因を明らかにするため，殻形態の理論形態モデルであるRaupのモデル（の拡張版）を用いて，
様々な螺塔の高さと殻口の傾きをもつ仮想的な殻形態を生成し，解析をおこないました．
— 野下浩司 / Noshita, Koji (@noshitakoji) June 28, 2023

理論モデルに基づき，「殻の不安定性」と「投影面積」を計算し，機能性の指標としました．
その際に，二通りの仮想的な姿勢を仮定し，より機能的な姿勢を採用することにしました．
その結果，陸棲種が安定かつ投影面積の小さい（邪魔になりにくい）殻をもつ傾向があることが明らかになりました．
— 野下浩司 / Noshita, Koji (@noshitakoji) June 28, 2023

一方で，なぜ螺塔が高くない場合でも低い殻口の傾きをもつ水棲種が一定数観察されるのかは機能的な殻形態の観点からは説明できませんでした．
この螺塔が高くない場合でも低い殻口の傾きをもつ形態空間の領域では，成長方向を接地面に垂直にする姿勢でより機能的になります．
— 野下浩司 / Noshita, Koji (@noshitakoji) June 28, 2023

そこで，機能的制約が陸棲種に比べ水棲種で緩く，水棲種は成長などに有利と考えられる姿勢を取ることができるのではないか，
またその結果として形態空間占有パターンの違いが生じたのではないかという仮説を提案しました．
（今後飼育実験や野外調査で検証されると嬉しいです．）
— 野下浩司 / Noshita, Koji (@noshitakoji) June 28, 2023

形態空間という解析ツール上に色々な情報を集約することでこうした結果が見えてきました．
うまく使えば（可視化だけじゃない）強力なツールになると考えています．
ぜひ皆さん形態空間解析やっていきましょう！！
— 野下浩司 / Noshita, Koji (@noshitakoji) June 28, 2023

余談ですが，Advance Articlesの中でVermeij先生の"隣"になって，密かに嬉しかったです． pic.twitter.com/no4z6qdGga
— 野下浩司 / Noshita, Koji (@noshitakoji) June 28, 2023

WebページのためのSSLクライアント認証の設定

Thu, 01 Jun 2023 00:00:00 +0000

やりたいこと

Webページへのアクセス制限をSSLクライアント認証でおこないたい

現状は以下の通り．

WebサーバーにはApacheを利用
対象のページはLet’s Encryptで発行されたSSLサーバ証明書を利用してhttps化されている

2については，オレオレ証明書を使うとiOS端末ではNSURLErrorDomainエラーがでて表示できない（PCの場合ではブラウザに認証局追加する必要がある）ので，素直にLet’s Encryptを使うのが良い．

SSLクライアント認証によるアクセス制限

鍵や証明書のファイル形式についてはRSA鍵、証明書のファイルフォーマットについて | Qiitaなどを参照．

今回は以下のようにする．

XXX.key クライアント秘密鍵
XXX.csr クライアント証明書要求
XXX.crt クライアント証明書

クライアントには以下のファイルを設定することになる．

XXX.p12 クライアント証明書とクライアント秘密鍵をまとめたPKCS#12
XXX.mobileconfig iOS/iPadOSデバイス向けのプロファイル

CA関係の以下のファイルは作成済みとする．

CA_PATH/ca.key 中間CA証明書秘密鍵
CA_PATH/ca.crt 中間CA証明書
CA_PATH/ca.srl シリアル番号

クライアント証明書の作成

クライアント秘密鍵

openssl genrsa -out XXX.key

クライアント証明書要求

openssl req -new -days 180 -key XXX.key -out XXX.csr

ここでは有効期限を180日としている．

クライアント証明書へ署名

中間CA秘密鍵で署名する．

openssl x509 -req -days 180 -in XXX.csr -CA CA_PATH/ca.crt -CAkey CA_PATH/private/ca.key -CAcreateserial -CAserial CA_PATH/ca.srl --out XXX.crt

ここでは有効期限を180日としている．

PKCS#12

ブラウザなどへインポートするために，クライアント証明書とクライアント秘密鍵をPKCS#12ファイルへまとめる．

openssl pkcs12 -export -in XXX.crt -inkey XXX.key -out XXX.p12

クライアント証明書の設置

Firefox

XXX.p12を読み込む．

iOS

プロファイルの作成

Apple Configuratorを使ってiOS向けのプロファイル（.mobileconfigファイル）を作成する．

「新規プロファイル」でプロファイル編集ウィンドウを新たに開く．
「一般」タブ
- 名前
- 組織（つけたければ）
「証明書」
- 「構成」から先程作成した.p12ファイルを読み込む
- 作成時に設定したパスワードを入力
保存

XXX.mobileconfigファイルが作成される

プロファイルのインストール

メールなどで送り，インストール．

iOS/iPadOSデバイス側では.mobileconfigファイルをメール（公式）もしくはSafariで開く必要があるので注意．

参考

Let's Encrypt ワイルドカード証明書の更新

Wed, 03 Aug 2022 00:00:00 +0000

やりたいこと

Let’s Encryptのワイルドカード証明書を更新したい．

既にワイルドカードでの証明書発行済みとする．

更新

証明書の発行

sudo certbot certonly --manual \
 --preferred-challenges dns-01 \
 --server https://acme-v02.api.letsencrypt.org/directory \
 -m XXX@XXX.XXX \
 -d yyy.yyy \
 -d "*.yyy.yyy"

XXX@XXX.XXXはメールアドレス，yyy.yyyが対象となるドメイン．

以下が，表示される．

Saving debug log to /var/log/letsencrypt/letsencrypt.log
Plugins selected: Authenticator manual, Installer None
Cert is due for renewal, auto-renewing...
Renewing an existing certificate
Performing the following challenges:
dns-01 challenge for yyy.yyy
dns-01 challenge for yyy.yyy

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
NOTE: The IP of this machine will be publicly logged as having requested this
certificate. If you're running certbot in manual mode on a machine that is not
your server, please ensure you're okay with that.

Are you OK with your IP being logged?
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
(Y)es/(N)o: Y

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
Please deploy a DNS TXT record under the name
_acme-challenge.yage.info with the following value:

ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ

Before continuing, verify the record is deployed.
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
Press Enter to Continue

ここではまだEnterは押さず，DNSレコードの設定とその確認をおこなう．

ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZは実行毎に異なる．

DNSレコードの設定と確認

DNSサーバーで_acme-challenge.yyy.yyyのTXTレコードにZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZを設定する．

その後，以下のコマンドで先程の値が反映されたかを確認する．

nslookup -type=txt _acme-challenge.yyy.yyy

確認できたら，Enterを押し，処理をすすめる．

問題がなければ，証明書が更新される．

証明書更新後はwebサーバを再起動する．

最近のtips 2022.03

Wed, 16 Mar 2022 00:00:00 +0000

Ubuntuの再起動が要求される際に原因を確認する

Ubuntuマシンにログインした際に，*** System restart required ***と表示されることがある．普段はあまり気にせず再起動していたが，何が原因か知りたい．

/var/run/reboot-requiredの有無により，システムは通知を出しているらしい．

また，/var/run/reboot-required.pkgsに再起動を要求しているパッケージのリストが格納されているので，この中身を確認すれば少し情報が得られる．

cat /var/run/reboot-required.pkgs

参考

最近のtips 2022.01

Thu, 13 Jan 2022 00:00:00 +0000

macOS Finderでのパスのコピー

Finderでパスをコピーしたいファイル/ディレクトリを右クリック
⌥ optionを押すと表示が切り替わる コピー → "~"のパス名をコピー
- これをクリックすればパスがコピーされる

macOS Finderでのファイル/ディレクトリのカット&ペースト

対象のファイル/ディレクトリを⌘ command+Cでコピー
ペースト先で，⌘ command+⌥ option+V
- これでソースのファイル/ディレクトリが消えて，ペーストされる

ownCloud/Nextcloudでの`423 Locked`による同期エラーの解決

ownCloud/Nextcloudのクライアントでファイルの同期を行っている際に， 423 Lockedでエラーが返り，いくつかのファイルの動機が完了しないケースがあった．

どうやらサーバー側での問題らしいので，データベースを直接弄って対応する．

ownCloud/Nextcloudをメンテナンスモードに変更

# ownCloud/Nextcloudを配置しているディレクトリに移動してoccを使う
sudo -u www-data php occ maintenance:mode --on

データベースからロックテーブルのレコードを削除

# データベース（MySQL/MariaDB）にログイン
sudo mysql

# 利用しているデータベースを選ぶ
use DATABASE;

# ロックテーブルのレコードを削除
delete from oc_file_locks;

# ログアウト
exit

DATABASEは利用しているデータベース名．

ownCloud/Nextcloudのメンテナンスモードを解除

sudo -u www-data php occ maintenance:mode --off

クライアントが再接続された際に，同期される．

参考：ownCloudが、Server replied “423 Locked”…で同期エラーとなるのを解消する |有馬総一郎のブログ

FreeDOSのシャットダウン

Ctr + Alt + Del

`ERROR: Insufficient PCI Resources Detected!!!`

前提

Supermicro X10DAi/Cのファームウェアアップデート後に以下のエラーが出た．


PCI OUT OF RESOURCES CONDITION:
Error: Insufficient PCI Resources Detected!!!
System is running with Insufficient PCI Resources!
In order to display this message some
PCI devices were set to disabled state!
It is strongly recommended to Power Off the system and remove some PCI/PCI Express cards from the system!
To continue booting, proceed to <Save & Exit> Menu Option and select Boot Device or <Discard Changes and Exit>.
WARNING: If you choose to continue booting some Operating Systems might not be able to complete boot correctly!

対応

Advanced>PCI/PnP ConfigurationでAbobe 4G DecodingをEnableにすることで対応．

参考

Ricty系フォントのバックチックを修正する

Wed, 21 Jul 2021 00:00:00 +0000

問題

（多分）macOSをBig Surに更新した後から，Sublime TextやVSCodeでバックチック（`）が文字に被って表示されるようになってしまった． Ricty系のフォントを使っていたのが問題らしい．

とりあえず，Ricty系をしばらくは使いたいので修正する．メンテされていないようなのでいずれは他のフォントへ変えた方が良いのかも知れない．

参考

FontForgeとRicty Diminishedのインストール

homebrewでFontForgeとRicty Diminishedをインストールする．

brew install fontforge font-ricty-diminished

FontForgeで修正

フォントの修正用のFontForgeスクリプトを作成．

# cvt_rity.pe
Open($1)
Select(0u0060)
SetGlyphClass("base")
Generate($1)

スクリプトファイルの権限を設定．

chmod a+x cvt_ricty.pe

フォントファイルそれぞれに対し，作成したスクリプトを適用させる．

find /Users/[USERNAME]/Library/Fonts -name "RictyDiminished*.ttf" | xargs -I {} fontforge -lang ff -script cvt_ricty.pe {}

[USERNAME]はユーザー名．

これで修正された．

Webブラウザのキーボードショートカットを変更する

Mon, 03 May 2021 00:00:00 +0000

やりたいこと

FirefoxやChromeのタブ移動のショートカットキーを変更してターミナルの挙動と合わせたい．

macOSの場合，デフォルトでは Command (⌘) + shift ⇧ + 左右キー (←→) でターミナルのタブを移動できる．この挙動にWebブラウザの挙動を合わせる．

FirefoxやChromeでは，タブ移動は Command (⌘) + Option (⌥) + 左右キー (←→) がデフォルト．これを変更したい．

Firefox

macOS側で設定できなかったのでShortkeysを使う．ただし，webサイトを開いているタブ上でだけ有効なので，新しいタブやFirefoxの設定を開いているタブでは機能しない．おとなしくCommand + Optionを使うべきかもしれないが，しばらくShortkeysを試す．

アドオンを追加 → ショートカットキーの設定

以下のものを追加．

Shortcut: command+shift+left，Behavior: Previous tab
Shortcut: command+shift+right，Behavior: Next tab

全てのサイトで有効化する．

設定ファイルのやり取り

Import，Exportも可能．

[
 {
 "key": "command+shift+left",
 "action": "prevtab",
 "label": "Privious tab",
 "sites": "",
 "sitesArray": [
 ""
 ],
 "activeInInputs": true,
 "blacklist": false
 },
 {
 "key": "command+shift+right",
 "action": "nexttab",
 "label": "Next tab",
 "sites": "",
 "sitesArray": [
 ""
 ],
 "activeInInputs": true,
 "blacklist": false
 }
]

Chrome

macOS側でショットカットキーを変更できるのでこちらを使う．

システム環境設定 → キーボード → ショートカット → アプリケーション

新しいショートカットを追加（+）：

アプリケーション：Google Chrome，メニュータイトル：次のタブを選択，キーボードショートカット：⇧⌘→
アプリケーション：Google Chrome，メニュータイトル：前のタブを選択，キーボードショートカット：⇧⌘←

参考

最近のtips 2020.04

Fri, 03 Apr 2020 00:00:00 +0000

Ubuntu 18.04 LTSでTLD .localは名前解決できない．

研究室内DNSサーバーで.localを使ってたら，Ubuntu 18.04 LTSから名前解決できなかった．基本的に，TLDとして.localを使うことは推奨されていない（Active Directoryで良くないことが起こるらしい）．

Ubuntu 18.04 LTSからはsystemd-resolvedの仕様で使えない．これを機にTLDを変更することにした．

参考
- [AWS]Ubuntu18.04などでlocal TLDが名前解決できない問題 | Qiita
- [Server & Network General] トップレベルドメインに .dev や .local は使ってはいけない

最近のtips 2019.10

Fri, 04 Oct 2019 00:00:00 +0000

Fiji（ImageJ）での顕微鏡画像のマージ

染色画像をマージしたいときの作業．

それぞれの染色画像を読み込み．

Image → Color → Merge

それぞれの画像をどれに割り当てるかを指定．

Homebrewでパッケージ更新時の`RuntimeError: cmake not present or broken`

Homebrewでパッケージ更新をおこなうと以下のようなエラーが出た．

>>> brew upgrade
...
Error: An exception occurred whithin a child process:
 RuntimeError: PATH_TO_HOMEBREW/opt/cmake not present or broken
 Please reinstall cmake. Sorry :(
...

cmakeを再インストールして，再度upgradeを試すが同様のエラーが発生．

一旦，unlinkして再度linkすれば良いらしい．

参考
- MacOS入れ直したらbrew upgradeでエラーが出るようになった

>>> brew unlink cmake
Unlinking PATH_TO_HOMEBREW/Cellar/cmake/3.15.3... 0 symlinks removed
>>> brew link cmake
Linking PATH_TO_HOMEBREW/Cellar/cmake/3.15.3... 455 symlinks created

どうもcmakeのsymlinkがなくなっていたっぽい？

Pipenvでのローカルな環境変数の定義

.envファイルをプロジェクトのルートに配置することで，自動的にローカルな環境変数を読み込むことができる．

.envをバージョン管理システムへコミットすることは非推奨． APIキーとかに利用できる．

参考
- .env の自動読み込み|Pipenv公式ドキュメント

`mkdir`コマンドで連番ディレクトリ作成

# 1 - 20までのディレクトリ作成
mkdir {1..20}

# prefixやsuffixがある場合でも可能
# 0埋めもできる
mkdir Num_{005..015}

# アルファベットでも連番作成可能
# ここではa - eを作成
mkdir {a..e}

参考
- 複数のフォルダやファイルを一括で作成する便利なコマンドの使い方とテクニック
- linuxで連番のディレクトリを一括で作る方法

最近のtips 2019.08

Wed, 14 Aug 2019 00:00:00 +0000

MathJaxでの数式の参照

MathJaxで数式を参照するときは数式番号（や記号）をtagでつける．（autoNumberがAMSかallに設定されているなら必要ないが，デフォルトだとnone）

$$
\frac{dx}{dt} = a x \label{eq:expgrowth}\tag{1}
$$

式（$\ref{eq:expgrowth}$）は...

これで以下のようになる．

$$ \frac{dx}{dt} = a x \label{eq:expgrowth}\tag{1} $$

式（$\ref{eq:expgrowth}$）は…

"巻き"の理論形態モデル（１）：対数らせんモデル

Thu, 18 Jul 2019 00:00:00 +0000

“巻き"の数理モデル

　これから数回に分けて"巻き"の理論形態モデルをいくつか紹介したい．基本的には，数理生物学会ニュースレターの第83号の野下(2017)の内容をベースにするつもりだが，追加の内容を盛り込んだり，図を増やしたり，サンプルコードを公開したりする予定．

貝殻と付加成長

　基本的に軟体動物のつくる貝殻を想定してモデルを紹介していく．最終的には紹介するモデルは，より一般の３次元的な管状構造（“太さを持った空間曲線”）や付加成長する物体についても拡張できるのだが，当面は貝殻のかたちと成長を記述するモデルとしての側面から紹介していきたい．

　まず軟体動物の貝殻がどのように作られるのかを確認したい．軟体動物の殻は，炭酸カルシウムを主な成分として生物が自身でつくる生体鉱物（biomineral）である．内臓塊を覆う器官である外套膜の辺縁部（外套膜縁）で，まず有機物からなる膜状構造（殻皮）を殻表面に形成し，これを基質に炭酸カルシウムの結晶を沈着させ殻層が成長してゆく．

このように殻口の"縁” へ少しづつ沈着させることで殻を成長させる「付加成長」と呼ばれる成長様式をとる．

例えば腹足類の場合は，巻きの中心に対して殻口の外側が内側に対して大きく成長することで，殻が巻くことになる（図1）．

これから紹介していくモデルは，この形作りの仮定を（程度の差はあるが）反映している．

図1. 腹足類の場合，巻きの中心に対して殻口の外側が内側に対して大きく成長することで，殻が巻く．

対数らせんモデル logarithmic spiral model

最もシンプルな巻きパタンのモデルとして対数らせんモデル¹から見ていこう．

ここでは極座標系を考えて，動径$r$と偏角$\theta$に以下の関係があるとしよう． $$ \begin{equation} \frac{d r}{d \theta} = \alpha r(\theta) \label{eq:ls}\tag{1} \end{equation} $$

$\alpha$は成長率を定めるパラメータである． $r$（巻きの中心から殻口の端までの長さ）がある種の体サイズを表していると考えれば，その成長速度は体サイズに比例することを表現している²．

式（\ref{eq:ls}）を初期条件$r(0) = r_0$として解けば， $$ r(\theta) = r_0 e^{\alpha \theta} \label{eq:lssol}\tag{2} $$ となり，この平面曲線は対数らせんとなる．

成長率を定めるパラメータ$\alpha$を変化させると様々な巻きパタンを描ける（図2）．

図2. 対数らせんモデルで表現できる平面的な巻きパタン．巻きパタンは$\alpha$によって決まる．

サンプルコード

実際に動かしてみたい方はサンプルノートブックをダウンロードして or Colab上で試してみて！

問題点を発見した場合はissueの投稿をお願いします:bow:

次回予告

対数らせんモデルはなかなかに多様な巻きパタンを記述できることがわかった．しかし，やはり太さを持った管である螺管が３次元的に巻いている実際の貝殻を記述するにはいささか表現力が足りない．

次回は，理論形態学という分野が生まれる契機となったRaupのモデルについて紹介したい．

参考文献

Moseley H, 1838. XVII. On the geometrical forms of turbinated and discoid shells. Philosophical Transactions of the Royal Society of London 128, 351–370. https://doi.org/10.1098/rstl.1838.0018
Thompson D’Arcy Wentworth, 1992. On Growth and Form, Revised. ed. Dover Publications, New York.
Thompson D’Arcy Wentworth, 1942. On Growth and Form, 2nd ed. Cambridge University Press.
野下浩司, 2017. 巻きの理論形態モデル：有殻軟体動物を例に. 日本数理生物学会ニュースレター 83, 19–23.

D’Arcy W. Thompsonによる古典的マスターピース「On Growth and Form」においては等角らせん（equiangular spiral）として言及されている(Thompson, 1992, 1942)．巻貝などの巻き方を対数らせんモデルに基づき理解しようとする試みは古く，Moseley (1838)まで遡ることができる． ↩︎
このモデル（\ref{eq:ls}）は指数成長モデルと同じかたち． ↩︎

QNAP Cloud Drive Syncが起動しない場合の対処

Thu, 11 Jul 2019 00:00:00 +0000

状況

QNAPのNAS（QTS 4.3系列）を利用
Cloud Drive Syncを使ってDropboxと同期
- 一般ユーザーで同期ジョブを設定
Cloud Drive Syncを起動しようとするが，「Loading data, please wait …」と表示されて操作できない

対処

[SOLVED] Hybrid Backup Sync no longer launching after firmware 4.3.3.0238を参考にした．こちらはHybrid Backup Syncのケースだが，同様の方法で回復した．

AppCenterからCloud Drive Syncを探す
Cloud Drive Syncを「停止」
再度，Cloud Drive Syncを「開始」

これで同期ジョブが動き出した．ただし，AppCenterからの操作は管理者アカウントで行う必要があるので注意が必要．

これでしばらく様子見．

インストール済みWindows10でのOEMパーティションの削除と作成

Sat, 11 May 2019 00:00:00 +0000

前提，あるいは起こった悲劇

Windows10とUbuntu16.04LTSのデュアルブート環境を利用していた． Windows10の大型アップデート後にOEMパーティションが想定外のところに作成されたらしく，ブートローダが消えたり，Ubuntuにログインできなくなったり（こちらはOEMパーティションのせいではない？）した．

復旧を試みブートローダを再導入したが，ログイン画面には辿り着くがログインできず．Ubuntu内には特に重要なデータは保存していなかったので再度セットアップすることにした．しかし，SSDの後方50GBぐらいの位置にOEMパーティションが作成されていたため，このままでは中途半端な領域しか確保できない．

OEMパーティションをWindowsのすぐ後ろに移動させたくなった．そして，どうせなら再度Windowsの大型アップデートによる悲劇を起こさないよう，十分な容量をもったOEMパーティションを確保することにした．

現状は

Ubuntuのパーティションは削除済み
OEMパーティションが前方と後方に２つある

で，こんな感じ．

用語など

OEM：original equipment manufacturer．WindowsのOEMパーティションにはシステムのリカバリに関する情報が保存されいる．
大型アップデートでOEMパーティションが作成される：既存のOEMパーティションが不十分な場合に新たにOEMパーティションが作成される．デフォルトではディスクの先頭に500MB程度が割り当てられている．しかし，最近の大型アップデート時には800MB以上の領域が必要になるようで，OEMパーティションが足りない→新しいパーティション作成，という流れ．

やりたいこと

これを

こうして

最終的に確保した領域にもう一度Ubuntuをインストールしたい．

既存のOEMパーティションに保存されている内容は復旧しなくていいことにする．

既存のOEMパーティションの削除（と全体の調整）

Windowsにはディスクドライブを管理するGUIツールとして，ディスクの管理（diskmgmt.msc）がある．しかし，OEMパーティションはこちらからは削除できない．diskpartを使って作業することになる．

diskpartを利用する場合には管理者権限が必要になる．コマンドプロンプトからdiskpartと入力すると管理者権限が求められるので，了承すると別ウィンドウでdiskpart.exeが起動する．

## ディスクの一覧表示
list disk
## 操作するディスクの選択
select disk [ディスク番号]
## パーティションの一覧表示
list partition

削除したいパーティションを選択して，削除する．これを削除したいパーティションすべてに対しておこなう．今回は２つあるOEMパーティションの両方を削除した．

## 削除したいパーティションの選択
select partition [パーティション番号]
## パーティションの削除
delete partition override

overrideは保護されたパーティションを削除する際（force protected パラメーターを設定しないと、保護されたパーティションは削除できません。というエラーが出る場合）に必要．

これで

となっていれば良い．他にいらないパーティションが残っていればそれも削除する．今回は，Ubuntuのパーティションも削除した（こちらはディスク管理から削除できる）．

新しいOEMパーティションの作成

引き続きdiskpartコマンドを使って作業していく．事前に適切なボリュームを選択しているものとする．

## パーティションの作成（今回はサイズ4GB）
create partition primary size=4000
## フォーマット
format quick fs=ntfs label="Recovery tools"
## 一時的にボリュームキャラクタを割り当てる
assign letter="R"
## パーティションの種類を設定する
set id="de94bba4-06d1-4d40-a16a-bfd50179d6ac"
## GPT属性を割り当てる
# GPT_ATTRIBUTE_PLATFORM_REQUIRED (0x1)
# GPT_BASIC_DATA_ATTRIBUTE_NO_DRIVE_LETTER (0x8000000000000000)
# これらの組み合わせ
gpt attributes=0x8000000000000001

これで，

のようになっていれば完了．

あとはUbuntuをインストールするだけ．今回はついでにUbuntu18.04LST（デスクトップ版）に切り替えた．これで今後はOEM領域について悩まされないで済むと嬉しい．要経過観察．

参考

数理生物学演習（2019年度）向けVS Code環境構築

Sun, 07 Apr 2019 00:00:00 +0000

Visual Studio Code（VS Code）の導入

VS CodeはMicrosoftが開発しているオープンソースのプログラミング向けテキストエディタ．プログラミングに必要な機能が充実しており比較的軽量．

本演習では，ソースコードを編集する場合に利用するが，それほど使用頻度は高くないかも（主にノートブック形式で演習を進めていくため）．ただ，ないといざというとき困るのでインストールしておくこと．

公式ドキュメントを読むのがベスト．

Setting up Visual Studio Code
- Visual Studio Code on Windows
- Visual Studio Code on macOS

ダウンロード

ダウンロードページ（Download Visual Studio Code）から自分のOSに合ったインストーラーもしくはファイルをダウンロードする．

インストール Windows

ダウンロードしたインストーラー（VSCodeUserSetup-{version}.exe）を実行する（{version}はダウンロードした時期により異なる）．
1. Visual Studio Code セットアップウィザード：「次へ」をクリック.
2. 使用許諾契約書の同意：確認して問題がなければ「同意する」にチェックを入れて，「次へ」をクリック．
3. インストール先の指定：デフォルトではC:\users\{username}\AppData\Local\Programs\Microsoft VS Code．問題があれば変更する（通常はそのままでOK）．
4. プログラムグループの指定：「次へ」をクリック.
5. 追加タスクの選択：デフォルトでは「PATHへの追加（再起動後に使用可能）」のみにチェックが入っている状態．このままで問題ないが，必要に応じてチェックを入れる．その後，「次へ」をクリック．
6. インストール準備完了：設定を確認する．問題がなければ「インストール」をクリック．
7. インストール状況：しばし待つ．
8. Visual Studio Code セットアップウィザードの完了：「完了」をクリック．「Visual Studio Codeを実行する」にチェックが入っていればVS Codeが起動する．

インストール先の指定（手順３）

追加タスクの選択（手順５）

インストール macOS

ダウンロードしたファイル（VSCode-darwin-stable.zip）を解凍し，Visual Studio Code.appを取り出す．
Visual Studio Code.appをアプリケーションフォルダへ移動させる．

拡張機能（Extensions）の導入

VS Codeでは拡張機能を追加して自分にあった開発環境を作ることができる．

公式ドキュメント：Extension Marketplace

推奨拡張機能

本演習では，以下の拡張機能を追加することを推奨する．

Python：Python向けのコードチェック，デバッグ，補完などをサポートする
vscode-icons：エクスプローラー中にディレクトリやファイルなどのアイコンを表示して可視性を上げる
Bracket Pair Colorizer：括弧のペアを色を変えて可視性を上げる
Path Intellisense：パスやファイル名の補完

その他

他にも好みに合わせて以下のような拡張機能を追加しても良い．

Trailing Spaces：行最後のスペースの可視化や削除
Japanese Language Pack for Visual Studio Code：VS Codeを日本語化する

これら以外にも様々な拡張機能があるので興味のある人は調べて追加してみよう．

おまけ

演習では扱わない内容．興味がある人は色々調べて使いこなそう．

VS CodeでJupyter Notebookを使う

公式：Working with Jupyter Notebooks in Visual Studio Code

数理生物学演習（2019年度）向けPython環境構築

Fri, 05 Apr 2019 00:00:00 +0000

Minicondaの導入

MinicondaはcondaというパッケージマネージャーとPythonを含むディストリビューション．本演習ではMinicondaを用いてPythonの環境構築をおこない，解析などを進めていく．導入方法はWindowsとmacOSで若干異なるが，導入後は殆ど同じように使うことが出来る．

ダウンロード

まず，MinicondaのWebページへアクセスし，インストーラをダウンロードする．

自分のOSに合ったインストーラ（3系列）を選択し，ダウンロードする．

インストール Windows

ダウンロードしたインストーラー（Miniconda-latest-Windows-x86_64.exe）を実行する．
1. Welcome to Miniconda3 VERSION (64-bit) Setup（VERSIONは時期により異なる）：「Next」をクリック．
2. License Agreement：確認して問題なければ「I Agree」をクリック．
3. Select Installation Type：デフォルトでは「Just Me」にチェックが入っている（基本はこれでOK）．
4. Choose Install Location：デフォルトではC:\users\{username}\Miniconda3にインストールされる．必要に応じて変更しても良い．
5. Advanced Install Options：「Register Anaconda as my default Python 3.7」にのみチェックして，「Install」をクリック．
6. Installing：しばし待つ．
7. Installation Complete：インストールが終了したら「Next」をクリック．
8. Thanks for installing Miniconda3!：「Finish」をクリック．

Select Installation Type（手順３）

Advanced Install Options（手順５）

インストール　macOS

ダウンロードしたインストーラー（Miniconda-latest-MacOSX-x86_64.pkg）を実行する．
1. ようこそMiniconda3インストーラへ：「続ける」をクリック．
2. 大切な情報：確認して問題なければ「続ける」をクリック．
3. 使用許諾契約：確認して問題なければ「続ける」をクリックし，「同意する」をクリック．
4. “Machintosh HD”に標準インストール：インストール先を変更したい場合は「インストール先を変更…」から選択．基本的にはそのままでOK．「インストール」をクリック．
5. Miniconda3のインストール：しばし待つ．
6. インストールが完了しました。：「閉じる」をクリック．

最初の設定

conda及びパッケージの更新

ターミナル（WindowsではAnaconda Prompt，macOSではターミナル）に以下のコマンドを入力しcondaとインストール済みパッケージを更新する．

# condaの更新
conda update conda
conda update --all
conda update -n base conda

仮想環境の作成

本演習用の仮想環境を作成する．

# 仮想環境の作成
# ここでは「compbio2019」という名前の仮想環境をバージョン3.7で作っている．
# conda create -n 名前 python=バージョン
conda create -n compbio2019 python=3.7

確認してみよう．

# 仮想環境の一覧
conda info -e

仮想環境の起動・終了

作成しただけでは仮想環境は有効化されていない．以下のコマンドで仮想環境に入ろう．

# 仮想環境の起動
# conda activate 名前
conda activate compbio2019

仮想環境から抜けたい場合は以下の通り．

# 仮想環境の終了
conda deactivate

もしcondaコマンドが見つからないといったメッセージが出た場合は一度ターミナルを終了し，もう一度仮想環境の起動から試してみよう．それでもうまくいかないときは手を挙げてTAを呼ぼう！

パッケージのインストール・更新

以下の作業はすべて，演習用の仮想環境内でおこなう．

一度，インストール済みのパッケージを更新する．

# すべてのパッケージの更新
conda update --all

その後，今後の演習に必要な基本的なパッケージをインストールする．ここでは

NumPy: 数値計算
SciPy: 科学計算関係
Matplotlib: プロット関係
Pandas: データ解析関係
Jupyter: 解析・開発環境関係

をインストールする．

# 必要なパッケージのインストール
conda install numpy scipy matplotlib pandas jupyter

ここに挙げた以外のパッケージが必要になった場合はその都度指示する．

基本的な使い方

Jupyter Notebookの起動・操作

設定した仮想環境内でJupyter Notebookを起動しよう．

# Jupyter Notebook Serverの起動
jupyter notebook

デフォルトのブラウザ（EdgeとかChromeとかFirefoxとか）が起動し，そこにJupyter Notebookのダッシュボード画面が表示される．Chromeが（他のブラウザに比べて）安定しているようなのでChromeで開くことをおすすめする．

起動コマンドを実行した場所が表示されるので，演習用のディレクトリへ移動する．

例えば，~/CompBio2019/01などへ移動する．

作業を行いたいディレクトリへ移動できたら，ノートブックを作成する．ダッシュボード画面から New → Python 3と辿り，クリックする．

新しいタブが開き，そこにノートブック画面が表示される．ダッシュボードのタブを確認すると Untitled.ipynb というファイルが作成されていることが確認できる．名前は適宜変更する．

各セルにコードを打ち込み，Shift + Enterで実行できる．

In [i]: のセル（iはセルの番号）は入力，それに対応する出力は Out [i]: のセルへ表示される．

もし途中でブラウザを閉じてしまった場合

ターミナルが残っていれば，

Copy/paste this URL into your browser when you connect for the first time.
to login with a token:

以下に表示されているURLをブラウザに入力することで再びダッシュボード画面に入ることができる．

CircleCI 2.0への移行

Sat, 04 Aug 2018 00:00:00 +0000

前提

Webページを静的サイトジェネレータで作成し，Githubで管理して，S3に公開している（参考| Webサイト管理・公開をhugo+GitHub+S3で）．

GitHubにpushするとCircleCIが自動的にビルドとデプロイをするよう設定している．現状で利用しているcircle.ymlはこんな感じ．

checkout:
 post:
 - git submodule sync
 - git submodule update --init --recursive

machine:
 timezone:
 Asia/Tokyo

dependencies:
 override:
 - sudo pip install awscli
 - sudo pip install Pygments
 - sudo pip install pygments-github-lexers
 pre:
 - go get -v github.com/gohugoio/hugo
 - git config --global user.name "noshita"
 - git config --global user.email "noshita@morphometrics.jp"
 post:
 - aws configure set region us-west-2
 - aws configure set preview.cloudfront true

test:
 override:
 - echo "Nothing to do here"

deployment:
 production:
 branch: master
 commands:
 - hugo --cleanDestinationDir 
 - aws s3 sync ~/koji.noshita.net/public/ s3://koji.noshita.net/ --delete
 - aws cloudfront create-invalidation --distribution-id <CloudFront ID> --paths '/*'

これをCircleCI 1.0が終了するので2.0へ移行することにした．

`config-translation` APIによる移行

CircleCIは1.0から2.0への移行のためのツールconfig-translationを用意してくれている．今回はAPIから利用した．

 curl "https://circleci.com/api/v1.1/project/github/USERNAME/REPOSITORYNAME/config-translation?circle-token=$CIRCLE_TOKEN" > tmp.yml

GitHubのユーザー名（USERNAME），対象となるリポジトリ（REPOSITORYNAME），CircleCI API トークン（CIRCLE_TOKEN）はそれぞれ自身の環境に合わせたものを利用する．

ここでは出力結果をtmp.ymlに保存しているので，これを参考にしていく．

# This configuration was automatically generated from a CircleCI 1.0 config.
# It should include any build commands you had along with commands that CircleCI
# inferred from your project structure. We strongly recommend you read all the
# comments in this file to understand the structure of CircleCI 2.0, as the idiom
# for configuration has changed substantially in 2.0 to allow arbitrary jobs rather
# than the prescribed lifecycle of 1.0. In general, we recommend using this generated
# configuration as a reference rather than using it in production, though in most
# cases it should duplicate the execution of your original 1.0 config.
version: 2
jobs:
 build:
 working_directory: ~/noshita/koji.noshita.net
 parallelism: 1
 shell: /bin/bash --login
 # CircleCI 2.0 does not support environment variables that refer to each other the same way as 1.0 did.
 # If any of these refer to each other, rewrite them so that they don't or see https://circleci.com/docs/2.0/env-vars/#interpolating-environment-variables-to-set-other-environment-variables .
 environment:
 CIRCLE_ARTIFACTS: /tmp/circleci-artifacts
 CIRCLE_TEST_REPORTS: /tmp/circleci-test-results
 # In CircleCI 1.0 we used a pre-configured image with a large number of languages and other packages.
 # In CircleCI 2.0 you can now specify your own image, or use one of our pre-configured images.
 # The following configuration line tells CircleCI to use the specified docker image as the runtime environment for you job.
 # We have selected a pre-built image that mirrors the build environment we use on
 # the 1.0 platform, but we recommend you choose an image more tailored to the needs
 # of each job. For more information on choosing an image (or alternatively using a
 # VM instead of a container) see https://circleci.com/docs/2.0/executor-types/
 # To see the list of pre-built images that CircleCI provides for most common languages see
 # https://circleci.com/docs/2.0/circleci-images/
 docker:
 - image: circleci/build-image:ubuntu-14.04-XXL-upstart-1189-5614f37
 command: /sbin/init
 steps:
 # Machine Setup
 # If you break your build into multiple jobs with workflows, you will probably want to do the parts of this that are relevant in each
 # The following `checkout` command checks out your code to your working directory. In 1.0 we did this implicitly. In 2.0 you can choose where in the course of a job your code should be checked out.
 - checkout
 # Prepare for artifact and test results collection equivalent to how it was done on 1.0.
 # In many cases you can simplify this from what is generated here.
 # 'See docs on artifact collection here https://circleci.com/docs/2.0/artifacts/'
 - run: mkdir -p $CIRCLE_ARTIFACTS $CIRCLE_TEST_REPORTS
 # This is based on your 1.0 configuration file or project settings
 - run:
 working_directory: ~/noshita/koji.noshita.net
 command: 'echo ''Asia/Tokyo'' | sudo tee -a /etc/timezone; sudo dpkg-reconfigure
 -f noninteractive tzdata; sudo service mysql restart; sudo service postgresql
 restart; '
 # Checkout
 # This would typically go in either a build or a build-and-test job when using workflows
 # This is based on your 1.0 configuration file or project settings
 - run: git submodule sync
 - run: git submodule update --init --recursive
 # Dependencies
 # This would typically go in either a build or a build-and-test job when using workflows
 # Restore the dependency cache
 - restore_cache:
 keys:
 # This branch if available
 - v1-dep-{{ .Branch }}-
 # Default branch if not
 - v1-dep-master-
 # Any branch if there are none on the default branch - this should be unnecessary if you have your default branch configured correctly
 - v1-dep-
 # This is based on your 1.0 configuration file or project settings
 - run: go get -v github.com/gohugoio/hugo
 - run: git config --global user.name "noshita"
 - run: git config --global user.email "noshita@morphometrics.jp"
 # This is based on your 1.0 configuration file or project settings
 - run: sudo pip install awscli
 - run: sudo pip install Pygments
 - run: sudo pip install pygments-github-lexers
 # This is based on your 1.0 configuration file or project settings
 - run: aws configure set region us-west-2
 - run: aws configure set preview.cloudfront true
 # Save dependency cache
 - save_cache:
 key: v1-dep-{{ .Branch }}-{{ epoch }}
 paths:
 # This is a broad list of cache paths to include many possible development environments
 # You can probably delete some of these entries
 - vendor/bundle
 - ~/virtualenvs
 - ~/.m2
 - ~/.ivy2
 - ~/.bundle
 - ~/.go_workspace
 - ~/.gradle
 - ~/.cache/bower
 # Test
 # This would typically be a build job when using workflows, possibly combined with build
 # This is based on your 1.0 configuration file or project settings
 - run: echo "Nothing to do here"
 # Deployment
 # Your existing circle.yml file contains deployment steps.
 # The config translation tool does not support translating deployment steps
 # since deployment in CircleCI 2.0 are better handled through workflows.
 # See the documentation for more information https://circleci.com/docs/2.0/workflows/
 # Teardown
 # If you break your build into multiple jobs with workflows, you will probably want to do the parts of this that are relevant in each
 # Save test results
 - store_test_results:
 path: /tmp/circleci-test-results
 # Save artifacts
 - store_artifacts:
 path: /tmp/circleci-artifacts
 - store_artifacts:
 path: /tmp/circleci-test-results

deployとworkflow

概ね自動で変換してくれたが，config-translationはdeploymentステップはサポートしていないので，追記する．

 deploy:
 environment:
 TZ: /usr/share/zoneinfo/Asia/Tokyo
 docker:
 - image: circleci/python:3.6-stretch
 working_directory: ~/noshita/koji.noshita.net
 steps:
 - attach_workspace:
 at: ~/koji.noshita.net
 - run:
 name: Install awscli
 command: sudo pip install awscli
 - run: aws configure set region us-west-2
 - run: aws configure set preview.cloudfront true
 - run:
 name: Deploy to S3
 command: aws s3 sync ~/koji.noshita.net/public/ s3://koji.noshita.net/ --delete
 - run:
 name: Deploy to CloundFront
 command: aws cloudfront create-invalidation --distribution-id <CloudFront ID> --paths '/*'

deployステップはjobs以下に追加する．

また，CircleCI 2.0で導入されたworkflowにより実行の順序を制御する．

workflows:
 version: 2
 build-deploy:
 jobs:
 - build
 - deploy:
 requires:
 - build
 filters:
 branches:
 only: master

workflowsは最上位に配置（ネストしない）．

docker imageの変更とコンテナをまたいだデータの受け渡し

buildステップで利用するdocker imageをgolang版に変更した．

また，buildステップとdeployステップで利用するコンテナが異なるので，ビルドしたwebページ関連のファイルを渡せるようにpersist_to_workspaceとattach_workspaceを設定した．

最終的には以下の様になった．

version: 2
jobs:
 build:
 working_directory: ~/noshita/koji.noshita.net
 parallelism: 1
 environment:
 CIRCLE_ARTIFACTS: /tmp/circleci-artifacts
 CIRCLE_TEST_REPORTS: /tmp/circleci-test-results
 TZ: /usr/share/zoneinfo/Asia/Tokyo
 docker:
 - image: circleci/golang:1.10-stretch
 # command: /sbin/init
 steps:
 - checkout
 - run: mkdir -p $CIRCLE_ARTIFACTS $CIRCLE_TEST_REPORTS
 - run: git submodule sync
 - run: git submodule update --init --recursive
 - run: go get -v github.com/gohugoio/hugo
 - run: git config --global user.name "noshita"
 - run: git config --global user.email "noshita@morphometrics.jp"
 # This is based on your 1.0 configuration file or project settings
 # - run: sudo pip install awscli
 - run: sudo apt-get install python-pip
 - run: sudo pip install Pygments
 - run: sudo pip install pygments-github-lexers
 - run: hugo --cleanDestinationDir 
 # This is based on your 1.0 configuration file or project settings
 # Test
 - run: echo "Nothing to do here"
 # Save test results
 - store_test_results:
 path: /tmp/circleci-test-results
 # Save artifacts
 - store_artifacts:
 path: /tmp/circleci-artifacts
 - store_artifacts:
 path: /tmp/circleci-test-results
 - persist_to_workspace:
 root: ~/noshita/koji.noshita.net
 paths:
 - public
 deploy:
 environment:
 TZ: /usr/share/zoneinfo/Asia/Tokyo
 docker:
 - image: circleci/python:3.6-stretch
 working_directory: ~/noshita/koji.noshita.net
 steps:
 - attach_workspace:
 at: ~/koji.noshita.net
 - run:
 name: Install awscli
 command: sudo pip install awscli
 - run: aws configure set region us-west-2
 - run: aws configure set preview.cloudfront true
 - run:
 name: Deploy to S3
 command: aws s3 sync ~/koji.noshita.net/public/ s3://koji.noshita.net/ --delete
 - run:
 name: Deploy to CloundFront
 command: aws cloudfront create-invalidation --distribution-id <CloudFront ID> --paths '/*'
workflows:
 version: 2
 build-deploy:
 jobs:
 - build
 - deploy:
 requires:
 - build
 filters:
 branches:
 only: master

確認

設定ファイルは従来circle.ymlであったが，2.0からは.circleci/config.ymlとなるので，そのように保存する．

circleciコマンドから設定ファイルの検証ができるので，まずはこれで確認する． macOSではhomebrewで導入できる．

circleci config validate -c .circleci/config.yml
# 問題なければ

.circleci/config.yml is valid

# と表示される

問題なければ，GitHubへプッシュし，ビルドが成功すれば移行できたことになる．

Webのインターフェースの方では特に操作は必要ないが，Circle2.0で実行されていることだけ確認しておくと良い．

深層学習環境の更新

Tue, 19 Dec 2017 00:00:00 +0000

前提

既に，Ubuntu 16.04 LTSにCUDAとTensorFlowを入れて深層学習環境をつくるの方法にてCUDA，cuDNN，TensorFlowを導入済みとする．

やりたいこと

CUDAのバージョンアップ
cuDNNのバージョンアップ
TensorFlowの更新

グラフィックカードドライバーとCUDAのバージョンアップ

既にレポジトリを登録しているの，通常のパッケージ更新で大丈夫．

sudo aptitude update
sudo aptitude upgrade

パッケージ依存関係の問題の解消が求められるかも知れない．その場合は設定を考え修正．

ちなみに~/.zshrcの設定は以下のように修正した．

export PATH=/usr/local/cuda/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export CUDA_HOME=/usr/local/cuda

テスト

サンプルを試してみる．

cd /usr/local/cuda/samples
sudo make

OpenGL関係もビルドできるようになったが，実行時エラーが出る．とりあえず今後の課題．

幾つか試す．

cd bin/x86_64/linux/release
# デバイス情報
./deviceQuery
# バンド幅
./bandwidthTest
# 多体問題
./nbody -benchmark -numbodies=256000 -device=0

cuDNNのバージョンアップ

導入したい最新のcuDNNをダウンロードする．NVIDIA Developerのアカウントが必要．ダウンロードしたファイルを展開し，CUDAのディレクトリへコピーする．

tar xzvf cudnn-9.1-linux-x64-v7.tgz
sudo cp -a cuda/lib64/* /usr/local/cuda/lib64/
sudo cp -a cuda/include/* /usr/local/cuda/include/

TensorFlowの更新

CUDAとcuDNNの対応を状況を確認して，適切なものをインストールする． pypiからではCUDAなどのバージョンが適切でない場合があるので，ここではTensorFlow Optimized Wheelsを利用する．例えば，Python3.5，CUDA9.1であれば，TensorFlow 1.4.1 (GPU, CUDA 9.1)．

TensorFlow Optimized Wheelsでは基本的にIntel(R) Math Kernel Library for Deep Neural Networks (Intel(R) MKL-DNN)をサポートするwheelとなっている（そうでないものにはwithout MKLなどの記載がある）．そのためMKL-DNNを導入する必要がある． MKL|TensorFlow Optimized Wheelsの通りの手順でインストール可能．

一度古いバージョンをアンインストールし，適切なWheelのURLを指定してインストールする．

pip uninstall tensorflow-gpu tensorflow-tensorboard
pip install --upgrade https://github.com/mind/wheels/releases/download/tf1.4.1-gpu-cuda91/tensorflow-1.4.1-cp35-cp35m-linux_x86_64.whl

これでインストールできた．

テストコードを試して，インストールの完了とGPUが利用できているか確認．チュートリアルから以下のコードを試す．

# Creates a graph.
a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
c = tf.matmul(a, b)
# Creates a session with log_device_placement set to True.
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
# Runs the op.
print(sess.run(c))

うまくいけば環境が構築できたことになる．

今後の課題

OpenGL系のテストの実行時エラーの解消

Vagrant BoxをVagrant Cloudへ登録

Wed, 29 Nov 2017 00:00:00 +0000

やりたいこと

Vagrant Cloudへboxを登録する

Vagrant BoxのホスティングがAtlasのサービスから分離されてVagrant Cloudになった．今後はVagrant Cloud APIを利用してVagrant Boxの登録をおこなう．

Vagrant Boxの作成はPackerでVagrant Boxファイルを作成を参照．

トークンの生成

Setting → Security の Authentication Tokensで生成できる． Descriptionにトークンを認識するための記述を入力し，Generate tokenボタンを押す．

Setting → Security

一度だけトークンが表示されるので適切なところに保存しておく．

APIを利用しても生成可能．

curl \
 --header "Content-Type: application/json" \
 https://app.vagrantup.com/api/v1/authenticate \
 --data '
 {
 "token": {
 "description": "Login from cURL"
 },
 "user": {
 "login": "USERNAME",
 "password": "PASSWORD"
 }
 }
 '

# レスポンス例
{
 "description": "Login from cURL",
 "token": "qwlIE1qBVUafsg.atlasv1.FLwfJSSYkl49i4qZIu8R31GBnI9r8DrW4IQKMppkGq5rD264lRksTqaIN0zY9Bmy0zs",
 "token_hash": "7598236a879ecb42cb0f25399d6f25d1d2cfbbc6333392131bbdfba325eb352795c169daa4a61a8094d44afe817a857e0e5fc7dc72a1401eb434577337d1246c",
 "created_at": "2017-10-18T19:16:24.956Z"
}

USERNAMEとPASSWORDはVagrant Cloudのものを入力する．

Vagrant Boxの登録

ここからはAPIを利用する方法だけ触れる．

新しいBoxの作成

公開したいBoxについて一回だけ実行すれば良い．

curl \
 --header "Content-Type: application/json" \
 --header "Authorization: Bearer VAGRANT_CLOUD_TOKEN" \
 https://app.vagrantup.com/api/v1/boxes \
 --data '
 {
 "box": {
 "username": "USERNAME",
 "name": "BOXNAME",
 "short_description": "My dev box",
 "description": "My development Vagrant box",
 "is_private": false
 }
 }
 '

VAGRANT_CLOUD_TOKENはアクセストークン．

公開する場合はis_privateをfalseにする． trueでも作成できるが，vagrantコマンドなどで実際にアクセスする場合には有料プランに変更する必要がある．

新しいバージョンの作成

公開しているVagrant Boxを更新する場合に毎回実行する．

curl \
 --header "Content-Type: application/json" \
 --header "Authorization: Bearer VAGRANT_CLOUD_TOKEN" \
 https://app.vagrantup.com/api/v1/box/USERNAME/BOXNAME/versions \
 --data '{ "version": { "version": "VERSION" } }'

VERSIONで適切なバージョンを指定する．

新しいプロバイダーの作成

プロバイダーを指定する．

VirtualBox
VMware
Docker
Hyper-V

が対応している．その他にもカスタムで作ることもできる．例えば，Parallelsなども利用できる．

今回はVirtualBoxを使うことにする．

curl \
 --header "Content-Type: application/json" \
 --header "Authorization: Bearer VAGRANT_CLOUD_TOKEN" \
 https://app.vagrantup.com/api/v1/box/USERNAME/BOXNAME/version/VERSION/providers \
 --data '{ "provider": { "name": "virtualbox" } }'

Boxのアップロード

ビルドしたVagrant Boxファイルをアップロードする．

# アップロード用URLの取得
response=$(curl \
 --header "Authorization: Bearer VAGRANT_CLOUD_TOKEN" \
 https://app.vagrantup.com/api/v1/box/USERNAME/BOXNAME/version/VERSION/provider/virtualbox/upload)
# jqを使ってアップロード用URLを抽出
upload_path=$(echo $response | jq .upload_path | sed 's/"//g')

# アップロード
curl $upload_path --request PUT --upload-file BOXPATH

# レスポンス例
{
 "upload_path": "https://archivist.hashicorp.com/v1/object/630e42d9-2364-2412-4121-18266770468e"
}

BOXPATHにはBoxファイルへのパスを指定する．

今回はアップロードを失敗することが多かった．最終的にはいつの間にかアップロードされていた．原因不明．今後の課題．

リリース

vagrantコマンドからアクセスできるようにリリースする．

curl \
 --header "Authorization: Bearer VAGRANT_CLOUD_TOKEN" \
 https://app.vagrantup.com/api/v1/box/USERNAME/BOXNAME/version/VERSION/release \
 --request PUT

これで，

vagrant init USER/BOX
vagrant up

で利用できる．旧版を導入済みの場合はvagrant box update USER/BOXで更新できる．

今後の課題

boxのアップロードが失敗することが多い．原因を知りたい．
PackerのVagrant Cloud Post-Processorへの移行

参考

Vagrant Cloud API

Fail2Banでアクセス制限

Sat, 23 Sep 2017 00:22:40 +0000

やりたいこと

sshでの総当たり攻撃を拒否
ブラックリストの自動更新

前提

サーバーの/var/log/auth.logを見るとsshアクセスを試みている形跡がある
不正アクセスはされていないようだが，制限しておいた方が良さそうな気がする
ある程度のセキュリティ対策は既におこなっている
- rootログイン不可
- パスワード認証不可
- 認証の試行回数を制限
- ファイアウォール

ログの確認は以下のようにおこなう．適宜フィルタリングしてどんなアクセスがあるか確認すれば良い．

//ログ確認
$ cat /var/log/auth.log | grep sshd
// 存在しないユーザーへのアクセス
$ cat /var/log/auth.log | grep sshd.\*Invalid

Fail2Ban

Fail2Banはログの解析により総当たり攻撃を検知し，IPアドレスに基づいて一定時間アクセス制限をおこなう．

導入

$ sudo aptitude install fail2ban

設定

/etc/fail2ban/jail.confは直接編集することが推奨されていないようなので， /etc/fail2ban/jail.localに設定を書き込む．

$ sudo emacs /etc/fail2ban/jail.local

jail.local

[INCLUDES]
before = paths-debian.conf

[DEFAULT]
ignoreip = 127.0.0.1/8
ignorecommand =

bantime = 600
findtime = 600
maxretry = 6

backend = auto
usedns = warn
logencoding = auto

enabled = false

filter = %(__name__)s

# Mail Settings
destemail = xxx@yyy.com
sendername = Fail2Ban
mta = mail

# Firewall Defaults
protocol = tcp
chain = INPUT
port = 0:65535
banaction = iptables-multiport

# Our Banning Action
# ban & send an e-mail with whois report and relevant log lines
# to the destemail.
action_mwl = %(banaction)s[name=%(__name__)s, bantime="%(bantime)s", port="%(port)s", protocol="%(protocol)s", chain="%(chain)s"]
 %(mta)s-whois-lines[name=%(__name__)s, sender="%(sender)s", dest="%(destemail)s", logpath=%(logpath)s, chain="%(chain)s"]

# Choose default action.
action = %(action_mwl)s

#
# JAILS
#

#
# SSH servers
#

[sshd]
enabled = true
port = ssh
filter = sshd
logpath = /var/log/auth.*
maxretry = 6

[sshd-ddos]
enabled = true
port = ssh
filter = sshd-ddos
logpath = /var/log/auth.*
maxretry = 6

bantime = -1は永久ban．

起動

設定を変更した後は再起動する．

$ sudo service fail2ban start
// 再起動
$ sudo service fail2ban restart

確認

$ sudo fail2ban-client status
$ sudo fail2ban-client status sshd

ブラックリスト

GitHubレポジトリmitchellkrogza/Fail2Ban-Blacklist-JAIL-for-Repeat-Offenders-with-Perma-Extended-Banningから設定ファイルをダウンロードする．

// /etc/fail2ban/filter.d/blacklist.conf の作成
$ cd /etc/fail2ban/filter.d
$ sudo wget https://raw.githubusercontent.com/mitchellkrogza/Fail2Ban-Blacklist-JAIL-for-Repeat-Offenders-with-Perma-Extended-Banning/master/filter.d/blacklist.conf -O blacklist.conf

// /etc/fail2ban/action.d/blacklist.conf の作成
$ cd /etc/fail2ban/action.d
$ sudo wget https://raw.githubusercontent.com/mitchellkrogza/Fail2Ban-Blacklist-JAIL-for-Repeat-Offenders-with-Perma-Extended-Banning/master/action.d/blacklist.conf -O blacklist.conf

/etc/fail2ban/jail.localの末尾へ追記する．

jail.local

[blacklist]
enabled = true
logpath = /var/log/fail2ban.*
filter = blacklist
banaction = blacklist
bantime = 31536000 ; 1 year
findtime = 31536000 ; 1 year
maxretry = 10

blacklistに登録されたipが列挙されるファイル/etc/fail2ban/ip.blacklistを作成する．

sudo touch /etc/fail2ban/ip.blacklist
sudo chmod 755 /etc/fail2ban/ip.blacklist

その後，再起動する．

今後の課題

しばらくモニタリングして結果を確認
- 不正アクセス元のIPがブラックリストへ追加されているか
- 総当たり攻撃が減っているか

参考

「文化進化の考古学」の補遺を書きました

Wed, 13 Sep 2017 20:42:15 +0000

文化進化の考古学（中尾央，松木武彦，三中信宏編）が少し前に出版されました．本書は，課題設定による先導的人文学・社会科学研究推進事業歴史科学諸分野の連携・総合による文化進化学の構築の成果をまとめた一冊です．縁あって，田村光平博士（東北大学）と一緒に補遺を書かせて頂きました．

本補遺では，幾何学的形態測定学の基礎的な内容とRを使った簡単なデモ，解析上の注意点について解説しています．そのため，考古学が専門の方だけでなく，対象の「かたち」を解析したい方全般に興味を持ってもらえる内容だと思います．書店などでお見かけの際お手に取って頂けますと幸いです．

以下幾つかお知らせ．

執筆を担当した補遺には数式の誤植が幾つかあるので，公式サイトから正誤表をダウンロードして確認してください
本補遺のサンプルコードとサンプルデータはGitHubレポジトリnoshita/CultEvolAppendixにて公開しています
本書の「はじめに」と「おわりに」がけいそうビブリオフィルにて公開されています

PackerでVagrant Boxファイルを作成

Sat, 11 Mar 2017 16:44:05 +0000

やりたいこと

PackerでUbuntu 16.04 LTSのVagrant Boxファイルを自動作成
テンプレートはBoxcutterを利用する
Atlasへboxを登録する

Packer

Packerは仮想マシンやコンテナのイメージを作成するためのツール． BoxcutterはPacker用の設定テンプレート集．

PackerではOSの自動インストールにDebian系ではPreseed，RedHat系ではKickstartを使う．今回はUbuntuなのでpreseedファイルを利用する．

Boxcutterのubuntu1604.jsonの設定から必要に応じて幾つかパラメータを変更する．今回は以下の通り．

{
 "_comment": "Build with `packer build -var-file=ubuntu1604.json ubuntu.json`",
 "vm_name": "ubuntu1604",
 "cpus": "2",
 "disk_size": "40000",
 "iso_checksum": "f529548fa7468f2d8413b8427d8e383b830df5f6",
 "iso_checksum_type": "sha1",
 "iso_name": "ubuntu-16.04.2-server-amd64.iso",
 "iso_url": "http://releases.ubuntu.com/16.04/ubuntu-16.04.2-server-amd64.iso",
 "memory": "3072",
 "preseed" : "preseed_v1604.cfg",
 "hostname": "vagrant-xenial64",
 "ssh_fullname": "ubuntu",
 "ssh_password": "*********",
 "ssh_username": "ubuntu",
 "vagrantfile_template": "tpl/vagrantfile-ubuntu1604.tpl",
 "version": "0.1.1"
}

"disk_size"と"memory"の容量はMB単位．

パスワードが長すぎる場合（？）にユーザー名の入力画面で処理がストップする（エンターを押して次に進めばそのまま処理は続行する）．条件の詳細は不明なので今後の課題．

"preseed"のファイル名に記号（文字と数字以外）が入るとsshが繋がらず落ちる．これも理由が不明なので今後の課題．

また，VagrantFileのテンプレート（tpl/vagrantfile-ubuntu1604.tpl）は以下の通り．

# -*- mode: ruby -*-
# vi: set ft=ruby :

Vagrant.configure("2") do |config|
 config.vm.define "vagrant-ubuntu1604"
 config.vm.box = "xenial64"
 config.ssh.username = "ubuntu"
 config.ssh.password = "*********"
end

packerコマンドでビルドをおこなう．

$ packer build -only=virtualbox-iso -var-file=ubuntu1604.json ubuntu.json

結果は，box/virtualbox以下に保存されている．これをvagrantに追加し利用する．

Vagrant Boxの登録

$ vagrant box add xenial64 box/virtualbox/ubuntu1604-0.1.1.box

あとはどこか好きな場所で起動させる．

$ vagrant init xenial64
$ vagrant up

`"update": "true"`の場合

Vagrantのproviderがvirtualboxの場合はGuest Additionsがインストールされている． Guest Additionsの意義はGuest Additionsのインストール| VirtualBox Maniaなどを参照．

ただし，仮想マシンのカーネルを更新するとGuest Additionsも更新しなければならない． vagrant-vbguestプラグインを追加しておくことで，必要があれば自動でGuest Additionsを自動で更新してくれる．

$ vagrant plugin install vagrant-vbguest

Atlasへの登録

AtlasはVagrant Boxのホスティングサービス．登録にはユーザー登録が必要．現状ではprivateだと有料．

packer pushコマンドを使うことでAtlas側でビルドして，完成したboxを公開することもできるが，これも有料．なので，今回はローカルでビルドしたboxをアップロードすることにする．

Atlasにログインして手動でアップロードできるが，ここではBox APIを利用してアップロードする．

アクセストークン

その前に準備としてアクセストークンを生成する必要がある． Atlasのページから

Account Settings
- Tokens

と辿って，適当な名前をつけ，「Generate token」ボタンを押す．トークンが一度だけ表示されるので，どこか適当なところに保存する．

Box APIを使ったアップロード

既にBoxは作ってあるとする（APIからBoxを作ることも可能）．

# バージョンを作成
$ curl https://atlas.hashicorp.com/api/v1/box/USER/BOX/versions -X POST -H "X-Atlas-Token: ACCESSTOKEN" -d "version[version]=VERSION"
# providerを追加
$ curl https://atlas.hashicorp.com/api/v1/box/USER/BOX/version/VERSION/providers -X POST -H "X-Atlas-Token: ACCESSTOKEN" -d "provider[name]=virtualbox"
#アップロード用のURLとパスが返る
{"upload_path":"https://binstore.hashicorp.com/UPLOADTOKEN","token":"UPLOADTOKEN"}
# Boxをアップロード
$ curl -X PUT --upload-file PATHTOBOXFILE https://binstore.hashicorp.com/UPLOADTOKEN
# リリース
$ curl https://atlas.hashicorp.com/api/v1/box/USER/BOX/version/VERSION/release -X PUT -H "X-Atlas-Token: ACCESSTOKEN"

これでAtlasへのVagrant Boxの登録が完了した．今後は，

vagrant init USER/BOX
vagrant up

で起動できる．vagrant addを利用する必要がなくなる．

今後の課題

ユーザー名入力画面でストップする現象
- パスワードが長すぎる場合に起こっている？
preseedファイル名に記号が含まれるとsshログインで失敗する
- preseed-v1640.cfgやpreseed_v1640.cfgを使うと発生
- preseedV1640.cfgとすると解決．
- その他記号については不明

参考

AWS CLIで複数アカウントを利用する

Tue, 07 Mar 2017 01:32:47 +0000

やりたいこと

AWS CLIを使う
複数のアカウント（IAMユーザなど）を切り替える

AWS CLI

導入は

pip install awscli

だけ．

プロファイルの設定

# 設定を開始
$ aws configure
#AWS Access Key ID [None]: XXXXXXXXXXXX
#AWS Secret Access Key [None]: XXXXXXXXXXXXXXXXXXXXXXXX
#Default region name [None]: ap-northeast-1
#Default output format [None]: json

これでAccess Key ID，Secret Access Key，リージョン，出力フォーマットをそれぞれ指定すれば， ~/.aws/configと~/.aws/credentialsに設定が書き込まれる．

# ~/.aws/config
[default]
output = json
region = ap-northeast-1

# ~/.aws/credentials
[default]
aws_access_key_id = XXXXXXXXXXXX
aws_secret_access_key = XXXXXXXXXXXXXXXXXXXXXXXX

現在（2017-03-07）指定できるリージョンは

us-east-1 米国東部（バージニア北部）
us-east-2 米国東部 (オハイオ)
us-west-1 米国西部 (北カリフォルニア)
us-west-2 米国西部 (オレゴン)
ca-central-1 カナダ (中部)
eu-west-1 欧州 (アイルランド)
eu-central-1 欧州 (フランクフルト)
eu-west-2 欧州 (ロンドン)
ap-northeast-1 アジアパシフィック (東京)
ap-northeast-2 アジアパシフィック (ソウル)
ap-southeast-1 アジアパシフィック (シンガポール)
ap-southeast-2 アジアパシフィック (シドニー)
ap-south-1 アジアパシフィック (ムンバイ)
sa-east-1 南米 (サンパウロ)

基本的な使い方

jsonでデータを返す設定で使うことが多いみたいなので，jqを使うと便利． macOSの場合はhomebrewで簡単に導入できる．

brew install jq

EC2

インスタンスの作成と削除

# 自分が作成したイメージの一覧
aws ec2 describe-images --owners self | jq '.Images[] | [.ImageId, .Name, .Description]' --compact-output
# キーペアの一覧
aws ec2 describe-key-pairs | jq '.KeyPairs[].KeyName'
# セキュリティグループの一覧
aws ec2 describe-security-groups | jq '.SecurityGroups[] | [.GroupId, .GroupName, .Description]' --compact-output
# インスタンスの作成（インスタンスIDを返す）
aws ec2 run-instances --image-id [ImgID] --key-name [KeyPair] --security-group-ids [SectyID] --count 1 --instance-type t2.micro | jq '.Instances[].InstanceId'
# タグで名前をつける
aws ec2 create-tags --resources [ID] --tags '[{"Key":"Name", "Value":"TestCLI"}]'
# インスタンスのID，状態，名前の一覧を表示（runningになっているかを確認）
aws ec2 describe-instances --profile biomet | jq '.Reservations[].Instances[] | [.InstanceId, .Tags, .State.Name]' --compact-output
# インスタンスのIDを指定して削除
aws ec2 terminate-instances --instance-ids [ID]
# インスタンスのID，状態，名前の一覧を表示（terminatedになっているかを確認）
aws ec2 describe-instances --profile biomet | jq '.Reservations[].Instances[] | [.InstanceId, .Tags, .State.Name]' --compact-output

[ImgID]，[SectyID]と[ID]は適切なイメージID，セキュリティグループとインスタンスIDを指定する．

インスタンスの起動と停止

# インスタンスのID，状態，名前の一覧を表示
aws ec2 describe-instances | jq -r '.Reservations[].Instances[] | .InstanceId + "\t" + .State.Name + "\t" + .Tags[].Value'
# インスタンスのIDを指定して起動
aws ec2 start-instances --instance-ids [ID]
# 起動の確認
aws ec2 describe-instance-status --instance-ids [ID]
# 情報を絞る
aws ec2 describe-instance-status --instance-ids [ID] | jq '.InstanceStatuses[] | {InstanceId, InstanceState: .InstanceState.Name, SystemStatus: .SystemStatus.Status, InstanceStatus: .InstanceStatus.Status}'
# インスタンスのIDを指定して停止
aws ec2 stop-instances --instance-ids [ID]
# 停止の確認（ID，状態，名前の一覧取得と基本は同じ）
aws ec2 describe-instances | jq -c '.Reservations[].Instances[] | {InstanceName: .Tags[] | select(.Key == "Name").Value, InstanceId, InstanceState: .State.Name}'
# 情報を絞る
aws ec2 describe-instances | jq -c '.Reservations[].Instances[] | {InstanceName: .Tags[] | select(.Key == "Name").Value, InstanceId, InstanceState: .State.Name} | select(.InstanceId == "[ID]")'

S3

バケット操作

# バケットの作成
aws s3 mb s3://[Name]
# リージョンを指定して作成
aws s3 mb s3://[Name] --region us-west-1
# バケットの削除（中身があるとエラー）
aws s3 rb s3://[Name]
# 中身が合っても削除
aws s3 rb s3://[Name] --force

[Name]は適当なバケット名．

ファイル操作

基本的にはUnixコマンドと同じように使える．

# ローカル -> S3
aws s3 cp test.jpg s3://[Name]/testDir/testCP.jpg # コピー
aws s3 mv test.jpg s3://[Name]/testDir/testMV.jpg # 移動
# S3 -> ローカル
aws s3 cp s3://[Name]/testDir/testCP.jpg ./
aws s3 cp s3://[Name]/testDir/testMV.jpg ./

# ローカル -> S3 再帰（ディレクトリ全体の操作）
aws s3 cp test s3://[Name]/testDir/test # コピー
aws s3 mv test s3://[Name]/testDir/test # 移動
# S3 -> ローカル 再帰（ディレクトリ全体の操作）
aws s3 cp s3://[Name]/testDir/test test # コピー
aws s3 mv s3://[Name]/testDir/test test # 移動

# 確認
aws s3 ls
aws s3 ls s3://[Name]

# オブジェクト削除
aws s3 rm s3://[Name]/testDir/testCP.jpg
aws s3 rm s3://[Name]/testDir --recursive
aws s3 rm s3://[Name] --recursive # バケットの中身すべてが削除される（バケット自体は削除されない）

# 同期 rsyncのようなコマンド
aws s3 sync test s3://[Name]/testDir/test
# 次回からは差分だけがコピーされる
aws s3 sync test s3://[Name]/testDir/test
# 削除も同期
aws s3 sync test s3://[Name]/testDir/test --delete

複数のプロファイル

設定

コマンドから設定する場合は，オプションで名前を指定し情報を入力する．

# 設定を開始
$ aws configure --profile alternative
#AWS Access Key ID [None]: YYYYYYYYYYYY
#AWS Secret Access Key [None]: YYYYYYYYYYYYYYYYYYYYYYYY
#Default region name [None]: us-west-2
#Default output format [None]: json

設定が増えている．

# ~/.aws/config
[default]
output = json
region = ap-northeast-1
[alternative]
output = json
region = us-west-2

# ~/.aws/credentials
[default]
aws_access_key_id = XXXXXXXXXXXX
aws_secret_access_key = XXXXXXXXXXXXXXXXXXXXXXXX
[alternative]
aws_access_key_id = YYYYYYYYYYYY
aws_secret_access_key = YYYYYYYYYYYYYYYYYYYYYYYY

使い方

オプションを付けてプロファイルを指定する．

aws ec2 describe-key-pairs --profile alternative | jq '.KeyPairs[].KeyName'
aws s3 mb s3://[Name] --profile alternative

参考

Pillowでアノーテーション画像からマスク画像の作成

Fri, 24 Feb 2017 16:43:25 +0000

やりたいこと

JS Segmentation Annotatorで作成されたアノーテーション画像から，それぞれのラベルに対してマスク画像を作成したい

Pillow

Pillpwは開発の止まっているPILのfork． Python3系列にも対応している．

導入

pip install Pillow

だけ．依存するパッケージは公式を参照．

画像のmode（Concept| Pillow）

ピクセルの型や"深さ"を定義するものとしてmodeがある．現在（2017-02-24）は，以下のmodeをサポートしている．

1 (1-bit pixels, black and white, stored with one pixel per byte)
L (8-bit pixels, black and white)
P (8-bit pixels, mapped to any other mode using a color palette)
RGB (3x8-bit pixels, true color)
RGBA (4x8-bit pixels, true color with transparency mask)
CMYK (4x8-bit pixels, color separation)
YCbCr (3x8-bit pixels, color video format)
LAB (3x8-bit pixels, the Lab color space)
HSV (3x8-bit pixels, Hue, Saturation, Value color space)
I (32-bit signed integer pixels)
F (32-bit floating point pixels)

これらのmodeを引数として渡すときは__文字列__として渡す必要がある（1に注意）．

対応しているファイルフォーマット（Image file formats| Pillow）

現在（2017-02-24）は，以下のフォーマットに対応している．

Fully supported formats
- BMP
- EPS
- GIF
- ICNS
- ICO
- IM
- JPEG
- JPEG 2000
- MSP
- PCX
- PNG
- PPM
- SGI
- SPIDER
- TIFF
- WebP
- XBM

特に重要なのはこれらのファイル形式．他にもRead-onlyやWrite-onlyに対応しているファイル形式もある．

#### 読み込みのみサポート

CUR
DCX
DDS
FLI, FLC
FPX
FTEX
GBR
GD
IMT
IPTC/NAA
MCIDAS
MIC
MPO
PCD
PIXAR
PSD
TGA
WAL
XPM

#### 書き込みのみサポート

PALM
PDF
XV Thumbnails

#### 認識のみサポート

BUFR
FITS
GRIB
HDF5
MPEG
WMF

それぞれのフォーマットは対応しているmodeなどが異なるので気をつける．

二値画像のバグ？

参考:How to convert image which mode is “1” between PIL and numpy?| stackoverflow

mode='1'の画像についてnumpy.arrayとPIL.Image.Imageを行き来すると挙動が怪しい．何か理由があるのかも知れないが，とりあえず今後の課題．今回は，最後に二値画像へ変換し，途中ではmodel='L'やdtype=uint8を利用することにする．

アノーテーション画像のデコード

本題に入る． JS Segmentation Annotatorでラベリングしたアノーテーション画像から，それぞれのラベルに対応するマスク画像を出力する．

JS Segmentation Annotatorでラベリングした情報はpngファイルにRGB値としてエンコードされている．ラベル情報へ戻すにはデコードしてやる必要がある．エンコード・デコードの方法はGitHubレポジトリのMatlab tipsの項に記載されている．

JS Segmentation Annotator自体の使い方はGitHubレポジトリのREADME.mdやオンラインデモを参照．

pngファイルの読み込みとデコード

import numpy as np
from PIL import Image

# png画像（PATH_TO_ANNOTATION_IMG）を読み込み，RGB画像に変換（アルファチャネルの情報を削除）
img = Image.open(PATH_TO_ANNOTATION_IMG).convert("RGB")

# RGBそれぞれのチャネルを分割し，numpy.ndarrayへ変換
r,g,b = img.split()
rArray = np.asarray(r)
gArray = np.asarray(g)
bArray = np.asarray(b)

# デコード
annotation = rArray
annotation = np.bitwise_or(annotation,np.left_shift(gArray,8))
annotation = np.bitwise_or(annotation,np.left_shift(bArray,16))

# (X, Y)座標のピクセルのラベル情報
annotation[X,Y]

出力

二値画像として出力する．保存する前まではdtype=uint8やmode=Pとして扱う．

imgArray = np.where(annotation == IDX, 255*np.ones(annotation.shape, np.uint8 ), np.zeros(annotation.shape, np.uint8 ))
img = Image.fromarray(imgArray).convert('1')
img.save(OUTPUTPATH)

IDXは取り出したいラベルの番号．

以上で欲しいラベルのマスク画像が出力できた．

今後の課題

Pillowにおける二値画像の挙動の確認

Ubuntu 16.04 LTSにCUDAとTensorFlowを入れて深層学習環境をつくる

Thu, 23 Feb 2017 16:39:03 +0000

やりたいこと

深層学習やりたい
TensorFlowを使う
GPUで高速化する

TensorFlowはオープンソースの機械学習ライブラリ．PythonやC++から利用できる．今回はPythonから使うが，CUDAを利用したGPGPUで高速化する．

CUDAとcuDNNの導入

CUDA

CUDA ToolkitからCUDA Toolkit 8.0のを導入する．今回はパッケージマネージャを使う．インストーラをダウンロードし，パッケージマネージャに追加する．

wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_<version>_amd64.deb
sudo dpkg -i cuda-repo-ubuntu1604_<version>_amd64.deb
sudo aptitude update
sudo aptitude install cuda

<version>はCUDA Toolkitのバージョン．

パスの設定

~/.zshrcに以下を追加．

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export CUDA_HOME=/usr/local/cuda

テスト

サンプルを試してみる．

cd /usr/local/cuda-8.0/samples
sudo make

今回の環境だとOpenGL関係と思われるエラーが出て一部ビルドできなかった．とりあえず今後の課題．

幾つか試す．

cd bin/x86_64/linux/release
# デバイス情報
./deviceQuery
# バンド幅
./bandwidthTest
# 多体問題
./nbody -benchmark -numbodies=256000 -device=0

cuDNN

cuDNNは深層学習用のCUDAライブラリ．畳み込みを高速化する．

cuDNNからダウンロードするためにNVIDIA Developerのアカウントを作る必要がある．

ダウンロードしたファイルを展開し，CUDAのディレクトリへコピーする．

tar xzvf cudnn-8.0-linux-x64-v5.1.tgz
sudo cp -a cuda/lib64/* /usr/local/cuda-8.0/lib64/
sudo cp -a cuda/include/* /usr/local/cuda-8.0/include/

TensorFlowの導入

pyenv環境
python3.5を利用

を仮定する．適当な仮想環境を作り，その中でGPU版を導入する．

# TensorFlowのインストール（GPU版）
pip install tensorflow-gpu

もしうまくいかない場合は以下を試す（参考:Installing with virtualenv| TensorFlow, The URL of the TensorFlow Python package|TensorFlow）．

echo TF_PYTHON_URL=https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow_gpu-1.0.0-cp35-cp35m-linux_x86_64.whl
pip install --upgrade TF_PYTHON_URL

これで導入できた．

テスト

GPUが利用できているか確認．チュートリアルから以下のコードを試す．

# Creates a graph.
a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
c = tf.matmul(a, b)
# Creates a session with log_device_placement set to True.
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
# Runs the op.
print(sess.run(c))

うまくいけば環境が構築できたことになる．

おまけ：GPUの監視

nvidia-smiコマンドでGPUの使用状況を確認できる．

今後の課題

テストをビルドするときに出たエラーの解消
DIGITを試す
Kerasを試す

参考

Ubuntu 16.04 LTS & Windows10デュアルブートでのOS切り替え

Mon, 06 Feb 2017 00:14:07 +0000

やりたいこと

デュアルブート（Ubuntu 16.04 LTSとWindows10）のOSをリモート接続している状態で切り替えたい．

仮定

Ubuntu 16.04 LTSとWindows10でデュアルブートを構築
ブートローダはgrubを利用

Ubuntu16.04 LST → Windows10

grub-rebootコマンドを使う．

sudo grub-reboot [num]
sudo shutdown -r now

[num]は/boot/grub/grub.cfg のエントリ番号．対象がsubmenuの中に存在する場合は以下のようにsubmenuを指定する番号とその内部でカーネルを指定するエントリ番号を>でつないで入力する．

sudo grub-reboot '[num:submenu]>[num:menu]'

エントリ番号の確認

カーネルを更新するとエントリが増えていくため，起動したいOSのエントリ番号が変わることがある（最近のUbuntuではsubmenu以下に古いカーネルが追加されるため，エントリ番号は通常変化しない）．以下のコマンドを使い，エントリ番号を確認すると良い．

grep -e "menuentry " -e "^submenu" /boot/grub/grub.cfg|sed "s|\$menuentry_id_option .*$||g"|sed "s|--class .*$||g"|nl -n ln -v 0 -b p"^[ ]"|nl -v 0 -b p"^[^0-9]"

Windows10 → Ubuntu16.04 LST

/boot/grub/grubenvを書き換え，次回起動時のOSを指定する．これはgrub-rebootコマンドがやっていることと同じこと．

システム領域をマウントする

/bootが存在するパーティションをマウントする． Windows側からLinuxパーティション（今回はext4）をマウントするためにExt2 Volume Managerを利用する．

利用していないドライブキャラクタ（たとえば，Eドライブ）を適当に設定しマウントする．

マウントしたドライブに/boot/grub/grubenvを確認．

`/boot/grub/grubenv`を書き換える

適当なテキストエディタで/boot/grub/grubenvを以下のように書き換える． [num]は同様にエントリ番号．

# GRUB Environment Block
next_entry=[num]
###########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

この状態はsudo grub-reboot [num]を実行した状況と同じなので，再起動すると指定したOSが起動する．

参考

Webサイト管理・公開をhugo+GitHub+S3で

Thu, 02 Feb 2017 15:25:08 +0000

やりたいこと

Webページを

静的サイトジェネレータで作成
GitHubで管理
S3でホスティング

静的サイトジェネレータ：Hugo

リクエストに対してページを動的に生成する動的サイトに対して，サーバに設置したhtmlファイルなどをそのまま返すサイトを静的サイト（static site）という．静的サイトジェネレータは，静的サイトの生成をテンプレートとMarkdownなどの軽量マークアップ言語からおこなうフレームワークのこと．データベースが必要ない，基本的にテキストデータなのでバージョン管理システムとの相性が良いという点がCMSなどと比べたときのメリット．

以前は，PythonベースのPelicanを使っていたが，今回はその中でもビルド速度に定評があるHugoを使うことにした．

その他の人気静的サイトジェネレータについてはStaticGenが参考になる．

ホスティング：S3

AWSのS3でホスティングする．

次の状況を想定する．

S3 Bucket「www.test.com」でホスティングする
CloudFrontを経由して配信する

IAMユーザの作成とポリシー設定

S3へのデプロイ用IAMユーザを作成し，ポリシーを設定する．例えば，IAMユーザ「s3-deploy-web」を作成し，ポリシー「s3-deploy」を以下のように作成・アタッチする．

{
"Version": "2012-10-17",
"Statement": [
 {
 "Effect": "Allow",
 "Action": [
 "s3:GetObject",
 "s3:PutObject",
 "s3:DeleteObject",
 "s3:ListObject",
 "s3:ListBucket"
 ],
 "Resource": [
 "arn:aws:s3:::www.test.com",
 "arn:aws:s3:::www.test.com/*"
 ]
 }
]
}

Bucketの作成とポリシー設定

新規にBucket「www.test.com」を作成する．プロパティ → 静的ウェブサイトホスティングから静的サイトのホスティングを有効にする．

インデックスドキュメント：index.html
エラードキュメント：404.html

をそれぞれ設定する．

CloudFront

いわゆるCDNサービス．世界中のエッジサーバから配信することで高速な配信が可能になる．

サブディレクトリでindex.htmlへの補完を利用する場合は注意！

以下の設定をおこなう．その他はデフォルト．

Origin Settings # サブディレクトリでindex.htmlへの補完を利用しない場合
- Origin Domain Name: www.test.com.s3.amazonaws.com
- Restrict Bucket Access: yes
  - Origin Access Identity: Create a New Identity
  - Grant Read Permissions on Bucket:
Origin Settings # サブディレクトリでindex.htmlへの補完を利用する場合，この場合はS3への直接アクセスが可能になる．
- Origin Domain Name: S3の静的サイトホスティングのエンドポイント
Default Cache Behavior Settings
- Viewer Protocol Policy: Redirect HTTP to HTTPS
- もし投稿フォームがあればPOSTを許可
Distribution Settings
- Price Class: 適切な範囲を指定
- Alternate Domain Name: www.test.com
- SSL Certificate: Custom SSL Certificate
  - Request or Import a Certificate with ACMで新規のSSL証明書を発行してもらう
- Supported HTTP Versions: HTTP/2, HTTP/1.1, HTTP/1.0
- Default Root Object: index.html

404エラー

サブディレクトリでindex.htmlへの補完を利用しない設定の場合は， 404エラーが期待される場面でAccessDenied（403エラー）が出現する．

詳細は理解していないが，Restrict Bucket Accessの設定が効いているような…？

今回はCloudfrontのError Pagesで対応することにした．以下の様に設定する．

HTTP Error Code: 403
Response Page Path: /404.html
HTTP Response Code: 404

403エラーを受けて404エラーを返す．大丈夫？今後の課題．

ビルド：GitHub + CircleCI

今回はGitHubリポジトリへpushしたら，自動でビルドしてS3にホスティングする仕組みを作る．

CircleCIはビルド・テスト・デプロイ特化型の継続的インテグレーション（Continuous Integration）サービス．

GitHubのプライベートリポジトリで使いたい
無料

という条件で選んだ．

Git(Hub)の設定

GitHub用にWebサイトの編集用リポジトリを作成．今回はprivateにする．
.gitignoreはHugo docsの.gitignoreファイルを参考にした．
とりあえず一度pushしておく．

CircleCIの設定

CircleCIにGitHubアカウントでログインする．
対象にしたいレポジトリのBuild Projectボタンを押す

もし，circle.ymlがルートにあれば一度目のBuildが走る．

なければcircle.ymlを追加してpushすると，Buildが実行される．今回は以下のようなファイルにした．

checkout:
 post:
 - git submodule sync
 - git submodule update --init --recursive

machine:
 timezone:
 Asia/Tokyo

dependencies:
 override:
 - sudo pip install awscli
 - sudo pip install Pygments
 pre:
 - go get -v github.com/spf13/hugo
 - git config --global user.name "noshita"
 - git config --global user.email "noshita@morphometrics.jp"
 post:
 - aws configure set region us-west-2
 - aws configure set preview.cloudfront true

test:
 override:
 - echo "Nothing to do here"

deployment:
 production:
 branch: master
 commands:
 - hugo --cleanDestinationDir 
 - aws s3 sync ~/www.test.com/public/ s3://www.test.com/ --delete
 - aws cloudfront create-invalidation --distribution-id <CloudFront ID> --paths '/*'

DNSの設定：お名前.com

今回はお名前.comで取得したドメインを利用することにする．

DNS関連機能の設定 → DNSレコード設定を利用する，からCNAMEレコードを設定する．

ホスト名: www.test.com
TYPE: CNAME
TTL: 300
VALUE: CloudFrontのドメイン名

確認

CDNの配信やDNSの設定の反映を待って，アクセスできるかを確認する．アクセスできれば設定終了．

ちなみに，当サイトの管理は上記の方法でおこなっている．

今後の課題

サブディレクトリでindex.htmlへの補完を利用しない設定の場合に，404エラーが期待される場面でAccessDenied（403エラー）が出現する．
- 何故起こるのかの理解
- どう対応するのが適切かの把握

論文が出版されました

Fri, 04 Dec 2015 12:00:00 +0000

概要

　腹足類（巻貝）の殻の形態をコントロールする殻成長の勾配パタンをCTデータから定量化する手法を開発しました．

　腹足類の殻は殻口縁辺部で炭酸カルシウムの結晶を少しずつ付加しながら成長します．殻の“外側”が“内側”に比べ大きく成長することで，多くの腹足類では殻が巻くことになります（下図）．本研究は，こうして出来上がった殻が，どのような成長勾配のパタンから生じたかを定量的に検証するための解析手法を提供します．

　本手法は，殻の巻きパタンと殻口の形状が成長に伴い変化する場合（ヘビガイやノタウチガイなどの“異常巻き”巻貝）にも適用できるようデザインされています．

　本手法はマイクロCTスキャナーのデータ（3Dボクセルデータ）の利用を想定しています．今後のCTデータの普及にともない活用できるケースが増えてくると考えています．

研究目的

　本研究は，清水啓介博士（JAMSTEC）と佐々木猛智准教授（東京大学総合研究博物館）との共同研究です．

論文情報

Noshita, K., Shimizu, K., & Sasaki, T. (2016). Geometric analysis and estimation of the growth rate gradient on gastropod shells. Journal of Theoretical Biology, 389(C), 11–19. http://doi.org/10.1016/j.jtbi.2015.10.011

Dataverseから画像データをまとめて取得する

Wed, 25 Nov 2015 19:18:01 +0000

問題

Harvard Dataverseに保存されている
あるdatasetから画像データを一括で保存しようとしたらサイズ制限のため

***.jpeg (image/jpeg) **** bytes.
***.jpeg (image/jpeg) skipped because the total size of the download bundle exceeded the limit of ** bytes.
***.jpeg (image/jpeg) skipped because the total size of the download bundle exceeded the limit of ** bytes.
...

みたいな記述のMANIFEST.TEXを含んだzipファイルがダウンロードされる．
結果として，数個しか画像データがダウンロード出来ない．
手動で一個一個ファイルを落とすなんてイヤだ．

解決策

画像データそれぞれのurlを取得して，保存する．

手順

特定のdataverseがもつfileの一覧を取得する

dataverseのAPIを見ると Search APIがあるらしいので，これに従い取得する．

とりあえずブラウザで確認したいって人は

https://dataverse.harvard.edu/api/search?=q=*&subtree=[dataverseのid]&type=file&key=[APIトークン]

でチェック． [dataverseのid]は欲しいデータをもつdatasetが含まれるdataverseのidを指定する．
idはdataverseのurlからわかる．

https://dataverse.harvard.edu/dataverse/[dataverseのid]

[APIトークン]はHarvard Dataverseにアカウントを作ると，生成できる．
参照: Account Creation & Management

今回はcURLで

curl -X GET https://dataverse.harvard.edu/api/search?=q=*\&subtree=[特定のdataverseのid]\&type=file\&key=[APIトークン] > [保存先のファイル名].json

のようにしてjsonファイルとして保存する．
今回はfilelist.jsonとして保存したとして話を進める．

特定のdatasetがもつfileの一覧を取得できたら早いのだが， subtreeオプションやfqオプションでは対応できなさそう．
なので一旦全部ダウンロードしてから適当なfileだけを選び出す．

必要なfileの取捨選択

取得したjsonファイルを読み込んでフィールドの値に応じて必要なfileをフィルタリングする．
今回はpythonを利用した．

大体こんな感じ．

import re,json

# fileの情報一覧の読み込み
with open("filelist.json","r") as f:
 filelist = json.load(f)

# 特定のデータセットを指定するパタン
# 今回はDOIで指定する
PTNDOI = re.compile(r"[データセットを指定するDOI]")
# 欲しいfileの種類を指定するパタン
PTNTYPE = re.compile(r"[fileのtype，e.g. 拡張子]")

# 必要なfile一覧の生成
targetlist = []
for item in filelist:
 if PTNDOI.search(item['dataset_citation']) is not None:
 if PTNTYPE.search(item['file_type']) is not None:
 targetlist.append((item['name'],item['url']))

[データセットを指定するDOI]や[fileのtype]には適切な正規表現パタンを記述する．

後でfileをダウンロードするときにファイル名を保持したいので(url,name)を値に持つリストであるtargetlistを作っている．

データのダウンロード

wgetなどを利用しても良いが，-iオプション利用時に名前を指定する方法がよくわからなかったので引き続きpythonで作業した．
大体こんな感じ．

import os, urllib.request

# 出力先の指定
OUTPURDIR = [出力先のディレクトリ]

# fileのダウンロード
for item in targetlist:
 outputfilepath = os.path.join(OUTPUTDIR,item[0])
 # 既にファイルが存在する場合は保存しない
 if not os.path.exists(outputfilepath):
 urllib.request.urlretrieve(item[1],outputfilepath)

今後の課題

以上のように，pythonを使うとDataverseのデータを割と簡単に取得できた．
しかし，ホントはもっとdataverseのapiを駆使してシンプルに操作すべきだと思う．
Search APIのfqオプションの働きがよくわからず，例に上がっていたfq=publication_date_s:2015すらうまく機能しなかった．

またData Access APIも存在するので
もう少し賢くダウンロード出来たかもしれない．

dataverseのAPI
- Search API
- Data Access API

I've Moved

Thu, 06 Aug 2015 01:00:00 +0000

Please let me know if you encounter any problems.

noshita at morphometrics.jp