No technology, no life.

2019年3月12日

Azure のストレージへファイルをまとめて転送するにはSMB共有でドライブをマウントするのが早かった件

前置き

タイトルがすべて。

最初は「az storage file upload」でファイルを1個ずつUploadしようかと思ったのだけれど、圧倒的に面倒で重いことが判明したので別の方法を探した次第。
そうしたらファイル共有する方法を見つけた次第。

内容

Azure PowerShell moduleを入れていない場合、以下の手順にて入れます。
https://docs.microsoft.com/ja-jp/powershell/azure/install-az-ps?view=azps-1.4.0

以下の手順にてファイル共有へマウントします。
https://docs.microsoft.com/ja-jp/azure/storage/files/storage-how-to-use-files-windows

注意事項はConnect-AzAccountしてから実施することと、<desired-drive-letter>はHなどでいい（NET USEのようにコロンはいらない）の2点です。

2019年2月26日

Client Hyper-Vを入れているWindows10でネットワークに接続できなくなった件

前置き

忙しくて更新できてなかったので、このままじゃいけないと簡単な記事を作成することでお茶を濁すことにしました。なによりも継続が大事。

前提

Windows10でネットワークにつながらくなって、簡単にググってみたけれども対処方法にたどり着けなかったので、後進のために記事を残します。

まず、前提としてClient Hyper-Vを導入している人限定です。
そうではない人には役に立たない情報なので引き返してください。

今回の事象はWiFiでおきましたが、無線でなくても有線LANでも発生すると思います。
なお、なぜこの事象に至ったかは未だもって不明です。

確認項目

Client Hyper-VではWiFi、有線のどちらであっても、ペアレントOSからは仮想NICとして認識されております。
そのため、単にipconfigを実行しても、WiFiにもかかわらず単にconnect/disconnect状態で表示されます。

であれば、仮想スイッチマネージャーで状態をみましょうということになりますね。

そしてHyper-V マネージャから仮想スイッチマネージャーを起動したところ、管理オペレーティングシステムとの共有チェックボックスが外れておりました。

これをチェックしたところちゃんと使えるようになった次第です。
NICの再起動とかしたかも知れませんが、そこまでは記憶にございませんので、チェックが外れていならば、チェックを入れた上で刺激を与えれば直るものとお考えいただければ幸いです。

2018年12月12日

GPU版Tensorflowをインストールしてみた

前置き

思いの外ハマるので備忘録として残す。
公式：https://www.tensorflow.org/install/gpu
お世話になったサイト
http://cookie-box.hatenablog.com/entry/2018/09/19/201044
https://qiita.com/fulcrum/items/ad6719d47b5c33ded241
https://github.com/tensorflow/tensorflow/issues/22794
https://qiita.com/ozaki_physics/items/985188feb92570e5b82d

解説

言ってしまえばなんのことはなく、バージョン不一致だとNGなので必ず同じバージョンを利用する必要がある、というだけの話。指定より新しいバージョンでは駄目で、必ず指定バージョンを利用すること。

2018年12月現在、Tensorflowのバージョンはtensorflow_gpu-1.12.0である。
現時点では、以下のバージョンが最新として利用できる。
* CUDA Toolkit 9.0
* cuDNN v7.4 for CUDA 9.0

この辺は好きなもので良さそう。
* NVIDIA GPU drivers
* VC++2015再配布パッケージ（Windows版）

時期が変わればバージョンも変わると思うが、大事なのは公式で記載しているバージョンと同じものを用意すること。後方互換性がないため上位バージョンがNG、という話。

最新のAnacondaはPythonは3.7だが、Pythonは3.7だとNGなので、仮想環境で3.6を用意するといい。
以下の構文をAnaconda Promptで実行する。なお「tf-gpu」が仮想環境名となる。

conda create -y -n tf-gpu pip python=3.6 anaconda

activate tf-gpu

conda install -y -c aaronzs tensorflow-gpu
conda install -y -c anaconda cudatoolkit
conda install -y -c anaconda cudnn
conda install -y keras-gpu

そして、そのままインタラクティブモードを起動して動作確認をする。

python

from tensorflow.python.client import device_lib
device_lib.list_local_devices()

結果にGPUが表示されたらOKとなる。

上手くできなかったら一回削除してやり直すと吉。

conda remove -n tf-gpu --all

2018年11月24日

小ネタ：pandasのas_matrix()はvaluesに置き換えよう

前置き

最近はデータサイエンティストを目指してPythonを習得しております。
今回は、Python3.7でas_matrix()が非推奨となったので、その話です。
簡単にググって見つからなかったので誰かの助けとなればと思い記載いたします。
元ネタは以下になります。
scikit-learn で線形回帰 (単回帰分析・重回帰分析)
Python: Method .as_matrix will be removed in a future version. Use .values instead

Pandasから配列（リスト）への変換

先に挙げたページから、赤ワインのCSVをPandasへ取り込んで、DataFrame（およびSeries）を配列に変換して予測する処理について、コードを引用いたします。

# %% scikit-learn で線形回帰 (単回帰分析・重回帰分析)
# https://pythondatascience.plavox.info/scikit-learn/%E7%B7%9A%E5%BD%A2%E5%9B%9E%E5%B8%B0

import pandas as pd
import numpy as np

wine = pd.read_csv("winequality-red.csv", sep=";")
wine.head

# %%
# sklearn.linear_model.LinearRegression クラスを読み込み
from sklearn import linear_model
clf = linear_model.LinearRegression()

# 説明変数に "density (濃度)" を利用
X = wine.loc[:, ['density']].as_matrix()  # ★該当箇所

# 目的変数に "alcohol (アルコール度数)" を利用
Y = wine['alcohol'].as_matrix()  # ★該当箇所

# %%
# 予測モデルを作成
clf.fit(X, Y)

# 回帰係数
print(clf.coef_)

# 切片 (誤差)
print(clf.intercept_)

# 決定係数
print(clf.score(X, Y))

※引用コードに対し、一部コメントを追加しています

前回紹介しました、VSCodeのJupyter Interactiveモードで動かす前提で、セルを分割しております。2セル目に「★該当箇所」というコメントを付与しております。

このコードはPython3.6では特に支障なく動きますが、3.7だと以下の警告が発生します。


C:\ProgramData\Anaconda3\lib\site-packages\ipykernel_launcher.py:10: FutureWarning:

Method .as_matrix will be removed in a future version. Use .values instead.

これは英語のそのままだけれど、メソッドas_matrix()は廃止予定だからvaluesに置き換えてほしいという話です。
ただ、代わりに使えというvaluesってなんじゃらほいっていうのがわからずググってしまった次第です。
そして冒頭に紹介したstackoverflowのページに辿り着いたということです。

解としては、なんのことはなく、valuesというプロパティを使用しろという結論でした。ですので、書き換えるならば以下のようになります。

# %%
# sklearn.linear_model.LinearRegression クラスを読み込み
from sklearn import linear_model
clf = linear_model.LinearRegression()

# 説明変数に "density (濃度)" を利用
X = wine.loc[:, ['density']].values  # ★変更後

# 目的変数に "alcohol (アルコール度数)" を利用
Y = wine['alcohol'].values  # ★変更後

これで警告が収まりました。
近い将来廃止されるようですし、今からコーディングする方はvaluesに置き換えましょう。

2018年11月20日

小ネタ：ありがとうJupyter拡張、こんにちはPython拡張Interactive

前置き

とても優秀な存在であった、Visual Studio CodeのJupyter拡張ですが、本家Python拡張にて同等機能が取り込まれたことにより、不要な拡張機能となりました。
参考：
https://blogs.msdn.microsoft.com/pythonengineering/2018/11/08/python-in-visual-studio-code-october-2018-release/
https://news.mynavi.jp/article/20181109-721502/

使い方

Python拡張のInteractiveモードは、元祖Jupyter拡張と同じく、Cellを定義してあげれば動きます。
先のリンクにあるように、「# %%」と入れればセルの出来上がりです。Run CellをクリックすればJupyter Notebookのように動いてくれます。たったこれだけなので細かい説明は不要でしょう。

じゃぁ、なぜわざわざブログを起こしたのかといえば、そう、キーバインドです。

今までJupyter 拡張を利用していた人は、Ctrl+Enterでセル実行をするのが当たり前になっていたので、今更ショートカットキーなしの生活には戻れますまい。
そんな訳で、keybindings.jsonに以下の項目を足してあげましょう。


[
    {
        "key": "ctrl+enter",
        "command": "python.datascience.runcell",
        "when": "editorTextFocus"

    },
    {
        "key": "ctrl+shift+enter",
        "command": "python.datascience.runallcells",
        "when": "editorTextFocus"
    }
]

これで、今までどおりに実行できます。ついでにCtrl+Shift+Enterで全セル実行も定義してみました。

補足

Pythonの導入等にお困りの場合には以下のリンクから辿ってください。
https://ntnl-it-wiz.blogspot.com/2018/09/vs-code-pythonelasticsearch.html

追記

記事を上げたときには気が付かなかったけど、Run CellはShift+Enterでキーバインドされていますね。新規に使用する人は互換性を気にする必要もないだろうし、Jupyter Notebookと同じキーバインドだし、Shift+Enterで覚えればよさげですね。

2018年10月23日

小ネタ：PowershellでATOM（RSS）を取得する

ブログの更新を何かに残そうと考えております。やっぱり格納先はEvernoteでしょうかね。

では更新情報を取得して自動記録がいいだろうということで、前段としてATOMの構造取得をPowershellで確認してみます。

$URL = "https://ntnl-it-wiz.blogspot.com/feeds/posts/default"
$res = Invoke-WebRequest -Uri $URL
[xml]$xml = $res.Content
$xml.feed.entry[0].title

無事取得することができました。

2018年10月15日

小ネタ：ダイソーのUSB TypeCアダプターを購入した

ネタ元は以下の記事。
基本的にまんまなのですが、ダイソーでType-Cアダプターを購入してきました。
https://japanese.engadget.com/2018/10/13/100-usb-type-c/

そして、記事にUSB OTG対応とあったので、実際にマウスが動作するか試してみたところ無事に動いたという人柱的な記事になります。

ただし、指す向きは制限があり、片側しか認識しませんでした。
Type-Cなので両面刺さるのですが、認識は片側のみという点が留意事項となります。

元記事にその記載がなかったのでその補足がメインです。実は個体不良というオチもあるやも知れませんが、参考になれば幸いです。

登録: 投稿 (Atom)