「Jupyter」の記事 - Crieit

Ubuntu 22.04にJupyter NotebookとIRubyをインストール（pyenv, rbenv, Bundler を使用）

2022-09-19T15:01:30+09:00

~~それぞれのバージョンが上がった以外は前回の Ubuntu 18.04 のときからあまり変わっていません~~
- Bundler の binstubs を利用する手順を追加しました
手軽に試したい場合は公式の Docker イメージや Binder を利用するのが良いと思います（IRuby の README を参照）

大事なので2回書きます。手軽に試したい場合は公式の Docker イメージを使うか、Binder を使いましょう（IRuby の README を参照）。下記のような面倒なインストール手順は不要ですぐ使えます。

バージョンなど

Ubuntu 18.04（コンテナ外の作業環境）
anyenv
pyenv
  Python 3.10.3
rbenv
  Ruby 3.1.2

jupyter 1.0.0
  jupyter_core 4.10.0
  notebook 6.4.11
iruby 0.7.4

Docker の用意

Docker イメージを作るのが目的ではなく、まっさらな状態に戻してあれこれ試すために使います。
Docker なしでも大体同じだと思います。

# Dockerfile

FROM ubuntu:22.04

RUN apt-get update \
  && apt-get install -y sudo git wget build-essential nano

RUN useradd --create-home --gid sudo --shell /bin/bash user1 \
  && echo 'user1:pass' | chpasswd \
  && echo 'Defaults visiblepw'           >> /etc/sudoers \
  && echo 'user1 ALL=(ALL) NOPASSWD:ALL' >> /etc/sudoers

USER user1

WORKDIR /home/user1

CMD ["/bin/bash"]

参考: Dockerコンテナ内にsudoユーザを追加する - Qiita

ユーザ名 user1 は適当なものです。適宜読み替えます。以下同様。

イメージをビルドしてコンテナを起動。

docker build -t ubuntu_jupyter:22.04 .
docker run --rm -it -p8888:8888 ubuntu_jupyter:22.04 bash

以下はコンテナ内で作業しています。

anyenv, rbenv, pyenv のインストール

git clone https://github.com/anyenv/anyenv ~/.anyenv

## 一応バージョン指定
( cd ~/.anyenv; git checkout v1.1.4; git status )

echo 'export PATH="$HOME/.anyenv/bin:$PATH"' >> ~/.bashrc
echo 'eval "$(anyenv init -)"'               >> ~/.bashrc

exec bash -l

## メッセージにしたがって実行
yes | anyenv install --init

anyenv install rbenv
anyenv install pyenv

## 一応バージョン指定
( cd ~/.anyenv/envs/rbenv; git checkout v1.2.0; git status )
( cd ~/.anyenv/envs/pyenv; git checkout v2.2.5; git status )

exec bash -l

Ruby のインストール

sudo apt install -y libssl-dev zlib1g-dev
rbenv install 3.1.2

Docker のポートマッピングの確認。先に疎通確認しておきます。

rbenv shell 3.1.2
gem install webrick
ruby -run -e httpd -- --port=8888 --bind-address=0.0.0.0 .

ホスト側から http://localhost:8888/ にアクセスできることを確認して Ctrl-C で止める。

Python のインストール

sudo apt install -y libffi-dev libsqlite3-dev
env PYTHON_CONFIGURE_OPTS='--enable-shared' pyenv install 3.10.3

env PYTHON_CONFIGURE_OPTS='--enable-shared' は後で PyCall を使うための指定
https://github.com/mrkn/pycall.rb#note-for-pyenv-users

Jupyter Notebook のインストール

## ディレクトリと rbenv, pyenv の用意

mkdir ${HOME}/jupyter
cd ${HOME}/jupyter
pwd #=> /home/user1/jupyter

rbenv local 3.1.2
pyenv local 3.10.3

ruby -v   #=> ruby 3.1.2p20 (2022-04-12 revision 4491bb740a) [x86_64-linux]
python -V #=> Python 3.10.3

## bundle init みたいなもの
## "venv.d" は任意のディレクトリ名
python -m venv venv.d

## 常に bundle exec してるみたいなモードになる
## モードを抜けたい場合は deactivate を実行する
. venv.d/bin/activate

## bundle add みたいなもの
pip install jupyter

jupyter notebook --no-browser --ip=0.0.0.0

## ログイン用のトークン付きのURLが表示されるので、ホスト側のブラウザで開く

--ip=0.0.0.0 を指定しているのは Docker コンテナ内で実行してホスト側から参照するため。

確認できたら Ctrl-C で止める。

IRuby のインストール

基本的には
https://github.com/SciRuby/iruby
の説明を参考にしてインストールしました。

ただし、gem を Bundler で管理したいので、そのための手順を加えています。

Bundler 環境で iruby を実行するための方法として

binstubs を使う方法
ラッパースクリプトを使う方法

の2つを試しました。 binstubs を使う方が手順が簡単です。

binstubs を使う場合

sudo apt install -y libtool libffi-dev ruby ruby-dev make
sudo apt install -y libzmq3-dev libczmq-dev

bundle init
bundle config set --local path 'vendor/bundle'

bundle add ffi-rzmq iruby pycall rake

bundle binstubs iruby
## ./bin/iruby が生成される

bin/iruby register --force
## ~/.local/share/jupyter/kernels/ruby/kernel.json
## が生成される

cat ~/.local/share/jupyter/kernels/ruby/kernel.json
#=> {"argv":["/home/user1/jupyter/bin/iruby","kernel","{connection_file}"],"display_name":"Ruby 3.1.2","language":"ruby"}

## この状態で jupyter 起動
jupyter notebook --no-browser --ip=0.0.0.0
## → Ruby 3.1.2 のノートブックが新規作成できるようになる
##  （メニューに表示されるようになる）

IRuby のノートブックを使う

基本的な使い方については IRuby Notebook 利用者ガイドが参考になります。

matplotlib を使っている箇所があるので、下記でインストールしておく必要があります。

pip install matplotlib
bundle add matplotlib

ライブラリの追加

Python のライブラリを追加したい場合

pip install lib_foo

Ruby のライブラリを追加したい場合

bundle add lib_foo

カーネルを再起動（ノートブックのページのメニューの Kernal → Restart）すると require できるようになる。

バージョン詳細

pip freeze

argon2-cffi==21.3.0
argon2-cffi-bindings==21.2.0
asttokens==2.0.5
attrs==21.4.0
backcall==0.2.0
beautifulsoup4==4.11.1
bleach==5.0.0
cffi==1.15.0
debugpy==1.6.0
decorator==5.1.1
defusedxml==0.7.1
entrypoints==0.4
executing==0.8.3
fastjsonschema==2.15.3
ipykernel==6.13.0
ipython==8.3.0
ipython-genutils==0.2.0
ipywidgets==7.7.0
jedi==0.18.1
Jinja2==3.1.2
jsonschema==4.5.1
jupyter==1.0.0
jupyter-client==7.3.0
jupyter-console==6.4.3
jupyter-core==4.10.0
jupyterlab-pygments==0.2.2
jupyterlab-widgets==1.1.0
MarkupSafe==2.1.1
matplotlib-inline==0.1.3
mistune==0.8.4
nbclient==0.6.2
nbconvert==6.5.0
nbformat==5.4.0
nest-asyncio==1.5.5
notebook==6.4.11
packaging==21.3
pandocfilters==1.5.0
parso==0.8.3
pexpect==4.8.0
pickleshare==0.7.5
prometheus-client==0.14.1
prompt-toolkit==3.0.29
psutil==5.9.0
ptyprocess==0.7.0
pure-eval==0.2.2
pycparser==2.21
Pygments==2.12.0
pyparsing==3.0.8
pyrsistent==0.18.1
python-dateutil==2.8.2
pyzmq==22.3.0
qtconsole==5.3.0
QtPy==2.1.0
Send2Trash==1.8.0
six==1.16.0
soupsieve==2.3.2.post1
stack-data==0.2.0
terminado==0.13.3
tinycss2==1.1.1
tornado==6.1
traitlets==5.1.1
wcwidth==0.2.5
webencodings==0.5.1
widgetsnbextension==3.6.0

jupyter --version

Selected Jupyter core packages...
IPython          : 8.3.0
ipykernel        : 6.13.0
ipywidgets       : 7.7.0
jupyter_client   : 7.3.0
jupyter_core     : 4.10.0
jupyter_server   : not installed
jupyterlab       : not installed
nbclient         : 0.6.2
nbconvert        : 6.5.0
nbformat         : 5.4.0
notebook         : 6.4.11
qtconsole        : 5.3.0
traitlets        : 5.1.1

cat Gemfile.lock

GEM
  remote: https://rubygems.org/
  specs:
    data_uri (0.1.0)
    ffi (1.15.5)
    ffi-rzmq (2.0.7)
      ffi-rzmq-core (>= 1.0.7)
    ffi-rzmq-core (1.0.7)
      ffi
    io-console (0.5.11)
    irb (1.4.1)
      reline (>= 0.3.0)
    iruby (0.7.4)
      data_uri (~> 0.1)
      ffi-rzmq
      irb
      mime-types (>= 3.3.1)
      multi_json (~> 1.11)
      native-package-installer
    mime-types (3.4.1)
      mime-types-data (~> 3.2015)
    mime-types-data (3.2022.0105)
    multi_json (1.15.0)
    native-package-installer (1.1.4)
    pycall (1.4.1)
    rake (13.0.6)
    reline (0.3.1)
      io-console (~> 0.5)

PLATFORMS
  x86_64-linux

DEPENDENCIES
  ffi-rzmq (~> 2.0)
  iruby (~> 0.7.4)
  pycall (~> 1.4)
  rake (~> 13.0)

BUNDLED WITH
   2.3.7

参考

2019-12 Rubyでグラフを描画するツール GR.rb の紹介 - Qiita

この記事を読んだ人は（ひょっとしたら）こちらも読んでいます

.NET Interactive で C# と PowerShell を股に掛ける

2020-12-09T02:33:59+09:00

この記事は、「C# Advent Calendar 2020」 9日目の記事、かつ「PowerShell Advent Calendar 2020」 9日目の記事だ。

スミマセン。横着した。

この時期になれば .NET Interactive の Preview 4 が出てるだろうしその記事でも書こうかな～などと目論んでいたものの、残念ながら登場しなかった。

このため、 .NET Interactive .NET 5 対応版の導入と、 Variable sharing の内容でお茶を濁そうと思う。

.NET Interactive のなんたるかについては、以前の以下の記事で取り扱っているので、そちらを参照願いたい。
.NET Interactive の C# REPL を Jupyter で | Aqua Ware つぶやきブログ

.NET Interactive を .NET 5 で動かしてみる

いきなり本題とは関係ない話になるが、せっかく .NET 5 がリリースされたところなので、 .NET Interactive を .NET 5 で動かしてみよう。

12/8 現在、NuGet で公式にリリースされている .NET Interactive は、 9月にリリースされた Preview 3 に少し更新が加えられた、 1.0.155302 だ。
これは、 .NET Core 3.1 上に構築されている。

一方で 11/27 頃のビルド (dotnet/interactive@61d2315) あたりでは、既に .NET 5 対応が済まされている。

更に、何故か Visual Studio Code の .NET Interactive Notebooks 拡張では、 .NET 5 に対応した 1.0.160204 がリリースされている。

このため、現時点で .NET Interactive で .NET 5 を扱う主な方法は、以下の通り。

main ブランチの binder コンテナにアクセス
Azure DevOps の CI ビルドの NuGet feed (dotnet-tools) から、 Glogal Tool を DL
- 実行例:
  powershell dotnet tool install -g Microsoft.dotnet-interactive --version 1.0.160204 --add-source https://pkgs.dev.azure.com/dnceng/public/_packaging/dotnet-tools/nuget/v3/index.json
VS Code Insider を起動し、 .NET Interactive Notebooks 拡張の Preview をインストール

残念ながら、 .NET Interactive インストール済み Jupyter の docker イメージのようなものは公式では用意されておらず、コンテナを使いたかったら自分でビルドするしかない。
(そのせいで、上記 binder の起動は遅い)

vscode 拡張だと、コード補完が ignore case で効くのでとても書きやすい。
以下、 vscode の .NET Interactive Notebooks 拡張のバージョン 1.0.160204 での実行を前提とするが、他の環境でも同様に動作するはずだ。

なお、起動した Notebook やコンソールの .NET CLR のバージョンを知りたければ、 System.Runtime.InteropServices.RuntimeInformation.FrameworkDescription を実行すれば良い。
.NET 5.x.x と表示されれば、 .NET 5 で起動していることが確認できる。

さて、ようやく本題。

.NET Interactive が面白いのは、ひとつの Notebook 内で、 C#, PowerShell, F# の言語間の変数を共有できる点だ。
悪いなあ、 VB.NET。このツールは3人用なんだ。

この変数を共有できる機能を、 variable sharing という。

使い方はとても簡単で、 #!share --from マジックコマンドで、参照する .NET カーネルと変数名を指定するだけだ。

但し、読み込まれている型の空間は共有されない点には注意だ。
例えば、 C# で定義したクラスのインスタンスを PowerShell で読み込もうとしたり、
PowerShell でロードされているモジュールで定義された型のインスタンスを C# で読もうとすると、エラーになってしまう。
詳しくは、 interactive/variable-sharing.md · dotnet/interactive のドキュメントを参照。

但し、 PowerShell でよく使われる PSCustomObject 型については特別対応が入っているらしく、いい感じに Dictionary に変換されて C# でも扱える。
なにそれ。 PowerShell 内部でも欲しい機能なんだけど。

例えば…
例えば……
………

うーん、よい例が思いつかない…

そもそも、 C# でできることはだいたい PowerShell でできるし、その逆もまた然りなんだよな。
加えて PowerShell では、 Add-Type で手軽に C# のコードを埋め込めるし…

強いて挙げるなら、 PowerShell は、付属のコマンドレットや追加モジュールによって、 I/O 操作やリソースの読み込みにが強い一方で、パイプを交えたデータの処理はだいぶ遅いところだろうか。
例えば、 PowerShell でファイルの読み込みなどを行いつつ、大量のデータの処理は C# で行うといったような使い方はアリかもしれない。

#!pwsh
$data1 = Get-ChildItem *.json -Recurse | Get-Content -Raw | ConvertFrom-Json;
$data2 = Get-Clipboard;

#!csharp
#!share --from pwsh data1, data2
data1.Where(kv => kv.Key == "tools")

#!csharp
data2.First()

この程度のデータ処理なら PowerShell で全く問題ないレベルだが、処理するデータの数が増えてくれば C# で実行するメリットが出てくるだろう。

ランニングと１年の振り返り

2018-12-22T00:27:33+09:00

この記事は、Crieitのアドベントカレンダー Advent Calendar 2018 22日目の記事になります。

はじめに

私にとってこの一年はフリーランスを始めた年であり、
「年で合計400㌔走る！」という目標を掲げた年でもありました。

結果としては21日時点で402㌔。無事達成できました！

せっかくなのでデータを見つつ、今年を振り返ってみます。

ランニング開始の背景

妻に脇腹をつねられ「あれ？なんか付いてる。。！」という発言から。
とりあえず目標を建てないと続かないと思い、
週の半分で２キロ走ることができたら、400㌔いけるなという概算で設定。

データの計測について

runtasticというスマホのアプリを利用していました。

https://www.runtastic.com/ja/

GPSを有効にしてアプリを起動して走ると、時間や走行距離を計測してくれます。
１キロ毎に走行時間をアナウンスをしてくれるのでペースを維持するのに良かったです。

アプリのサイトに行くと、データがエクスポートできるのでそこからダウンロードしました。

利用したデータ

経緯度だけマスキングしてこちらにあります。良かったら利用してみてください。

https://github.com/u110/my_runtastic_data

※ 目標達成する前にダウンロードしたデータなので、400㌔届いておらず。

この後コード片を載せますが、分析に用いたコードもリポジトリにあります。

データ構成

１回のランニングあたりの
- 経緯度
- 開始時刻
- 走行距離

があったので今回はそれのみ。

他にも毎分あたりの経緯度やペースなども見れるようです。
コードの一部

dat = preprocess(df)  # 前処理を行ったDataFrameを返す関数を用意
dat.head()

出力結果

ヒストグラム

まずは１変数のヒストグラムを見ましょう。
データのプロットはpythonで書いています（全コードはgithubリポジトリにあります）

# 走行距離分布(単位:メートル)
# 3, 4キロあたりが多い。
dat.distance.hist()

# ランニング開始時間 基本的に6-7時台
dat.shour.hist()

swarmplot

日本語だと蜂群図(bee swarm plot)というらしいです。
データの個数やばらつぎ具合が把握できるので便利です。
（データ増えると描画に時間かかるので注意）

# １回あたりの走行距離の分布
sns.swarmplot(x="smonth", y="distance", data=dat)

データを見た気づき

時系列でみると、１回に走る距離が伸びている
- 見るまでもなく実感はあった。
- 年の始めは２キロでへばっていたが、夏場は帰省先（長野県）が快適だったのもあり結構走れていた。
4, 7, 11, 12月で走る回数が減っている
- そういえば、4月は仕事でもやもやしていた時期でしたｗ
- 7月は息子爆誕。パパ業が開始した月でした。
- 冬は寒い。。朝布団から出られないｗ
5月、9月で持ち返している
- 5月で産休の妻と実家に帰省。仕事もセーブしていたので暇だったw
- 9月はDevelopers JPに参加。slackの筋トレチャンネルで報告を始めたのが良かったのかも
- Djpの人めっちゃ褒めてくれるので頑張れる。

まとめ

走れている月は仕事やプライベートの調子も良かった。
応援もらえるの嬉しい。
データ溜まっていくと分析しがいがありそう。

他の情報についてはまだ見れていないので
時間見つけて触ってみたいです。pull requestくれても良いですよ！？

簡単ですが、以上になります。お読みいただきありがとうございました！

次のエントリをお楽しみに！！

余談: あれ？makeの話は？

https://github.com/u110/my_runtastic_data/blob/master/Makefile

経緯度の情報をマスキングする処理だけ書きましたが、
物足りなかったのでデータ分析にしましたw