NVIDIA Jetson TX2でCUDA driver version is insufficient for CUDA runtime versionが出たので解決した。

Jetpack を使用してCUDA Toolkitをインストールして、cupyを動かそうとしたときに出たエラー。 以下に実際にでた様子。 インストール時にはエラーが出ないのに、いざ、pythonからcudaを使おうと思ったときにでてたちが悪い。

$ python3
Python 3.5.2 (default, Nov 12 2018, 13:43:14) 
[GCC 5.4.0 20160609] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import cupy
>>> a=cupy.arange(9).reshape(3,3).astype('f')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/lib/python3.5/dist-packages/cupy/creation/ranges.py", line 55, in arange
    ret = cupy.empty((size,), dtype=dtype)
  File "/usr/local/lib/python3.5/dist-packages/cupy/creation/basic.py", line 20, in empty
    return cupy.ndarray(shape, dtype, order=order)
  File "cupy/core/core.pyx", line 150, in cupy.core.core.ndarray.__init__
  File "cupy/cuda/memory.pyx", line 517, in cupy.cuda.memory.alloc
  File "cupy/cuda/memory.pyx", line 1064, in cupy.cuda.memory.MemoryPool.malloc
  File "cupy/cuda/memory.pyx", line 1084, in cupy.cuda.memory.MemoryPool.malloc
  File "cupy/cuda/device.pyx", line 19, in cupy.cuda.device.get_device_id
  File "cupy/cuda/runtime.pyx", line 165, in cupy.cuda.runtime.getDevice
  File "cupy/cuda/runtime.pyx", line 137, in cupy.cuda.runtime.check_status
cupy.cuda.runtime.CUDARuntimeError: cudaErrorInsufficientDriver: CUDA driver version is insufficient for CUDA runtime version

結論としては、すでにインストールされているCUDA driverに対してJetpackでインストールしたCUDA Toolkitのバージョンが高すぎたことが問題だったみたい。 以下のJetpack Arciveからl4tのバージョンを見て対応しているものを使ってインストールしなおせば動くようになるはず。 l4tのバージョンは head -n 1 /etc/nv_tegra_release でわかるはず

所感

動いた、Jetsonかっこいい。そのうちやったこととかまとめたい。

とりあえず最新版ではだめなのか、、、

参考資料

JetPack Archive | NVIDIA Developer

  • NVIDIA® CUDA™ Architecture Introduction & Overview

http://developer.download.nvidia.com/compute/cuda/docs/CUDA_Architecture_Overview.pdf

google colaboratoryにsshd,http(flask) サーバーを建てる方法

google colabにdarknetを使用した画像処理サーバーを建てる方法 - sakakendo0321のブログ

上記の続編。 google colabをipynb形式だけでなくterminalから扱ったりhttp serverとして使いたくなることもあるだろうとスクリプトを書いた。 いずれも実行すれば動作するはず。sshd serverのほうはngrokのauthtokenが必要なはずなので https://ngrok.com/sign upする必要がある。

flask server

sshd server

手の傾きを検知して動くローバーを作った

だいぶ時間がたってしまったが学校の課外活動で製作したローバーについてのまとめ。以下に実際に制作したものの動画を貼りました。leapmotionを使用しているので手の傾きを検知して制御することができます。後部にはled matrixがついていてブレーキランプっぽい挙動をしてくれる。 (ワイヤレスでの制御をこだわっていたのだが、デモの時にちょうどモバイルバッテリーの電源がなくなってしまったので人に持ってもらっている。。。)

youtu.be

構成・設計

全体の概観を以下に示す

f:id:sakakendo0321:20181203222459p:plain

リポジトリは以下

github.com

gpioの制御にraspberry pi 3bを使用、gpioの制御ライブラリは pigpio library を使用した。 leapmotionのrespberry pi上での実行はサポートされていないようだったので母艦pcを別で用意してudpでモーターのpwm値を送り付けるようにした。guiからの制御をするためにtkinterを使用している。母艦側ではtkinterのlistenerとleapmotionのlistenerがブロッキングであったためthreadを二つに分けている。raspberry pi側でもudp serverとmotorの制御をそれぞれ無限ループで回しているためthreadを二つ用意している。ハードウェアは基本的にアマゾンで購入したタミヤの工作キットをベースにしている。

総括

チームメンバーは4人で初めてのプロジェクトマネージャーの経験であった。少人数での開発だったので課題が勝手に解決するなんてことはなく、ちゃんと動くものを作るためにはとにかく問題点を洗い出して一つ一つ片づけていくことが大切だと感じた。言ってしまえば当たり前のようでもあるが、このプロジェクトに関して言えばスレッド間でデータの共有、母艦とraspberry pi間の通信ラグなどの問題に突き当たってだいぶ苦しい思いをした。特に母艦の処理の速さにラズパイの処理能力が追い付かずキャパを超えてしまい処理待ちのデータが溜まっていくなんて言う問題があった。本質的な問題はpythonのライブラリが解決してくれたけど副次的な問題のほうが根深いなぁなんてことを思ったりした。そういうつらさもあって自分で一からものを作り上げれた達成感ことはとてもよかった。ただ気負いすぎていたところもあるようで実際にはハードウェアやleapmotionの制御などの自分があまりわからないところはチームメンバーに解決してもらってとても感謝している。

写真

せっかくなので開発中に撮影して気に入った写真を置いておく

f:id:sakakendo0321:20181203220904p:plain

f:id:sakakendo0321:20181203220940p:plain

f:id:sakakendo0321:20181203220402p:plain

f:id:sakakendo0321:20181203220428p:plain

google colabにdarknetを使用した画像処理サーバーを建てる方法

導入

google colab 偉大です。
ブラウザでpythonの実行ができて、共有リンクが発行できて、主要な機械学習系のライブラリが一式インストールされているだけでなくgooglegpuリソースで計算することもできます。 しかしせっかく画像認識ができても認識用の画像を上げるにはボタンを押してエクスプローラから選択する方法ではスクリプトから実行することはできないし、google drivedropboxから読み出す方法ではファイルアクセスの時間がかさばります。 そこでhttp requestで画像を受信してdarknetを実行した結果を返してくれるipynbとscriptを書きました。

構成・実行方法

以下のリポジトリのdark.ipynbをgoogle colabで読み込んですべてのセルを実行してください。 app.pyがserver sideで実行されているpython のscriptで client.pyがclient sideでのサンプルのpython scriptです。 github.com

http serverはflask,portのトンネリングにngrokを使っています

.
+ - dark.ipynb 
                #load this notebook from ipynb and execute all cells
+ - app.py 
                # flask server script
+- *.cfg
+- *.weights
+- data/
        +- *.jpg
+- client.py
                # sample script for client side
+ ....

パフォーマンス

あとで書く

結論

結局サーバーにアクセスする時間があまりに長くて使い物にならなかった印象。やはりローカルの環境を使うべきなのであろうか。jetson tx2が欲しい。 今後はipynbを介さずローカルでdarknetを使おうかなと思っていますがpull request,issue,fork来たらうれしいのでどんどん対応すると思います。ちなみにこういった使い方にgoogleは24時間ごとにインスタンスの初期化をして対応しているみたいです。
google colab 偉大です。

関連リンク

pypi.org

medium.com

medium.com

学校の文化祭で新しく部門ができたのでコードを書いた

学校の文化祭で新しく演出部門というのができてミクライブをやっていたりしたのですが、 その部門の活動の一環で学校のサーバーとドメインを借りて情報系の土台が整えられていたのでいろいろコードを書きました。 この記事はその後ゆるはち.itというイベントで発表した資料をブログ用に改変したものです。

  • 概観
  • 実装したもの
  • 設計
  • 当初の設計
  • 反省
  • 来年やりたいこと

概観

100%

裏側で模擬店の店員がスラックを通して、画像やテキストを登録できるようになっています。データを内部でjsonとして管理したうえでhomepageとline botから高専に来たお客さんが情報を見れるようになっています。 よりリアルタイムに近い感覚で情報を送ったり、こちらからのフィードバックができるようにするためにslackをcmsとして使いました。文化祭中も実際の模擬店の画像を受け取ったり、値上げ、販売終了のお知らせなどを更新することができました。

実装したもの

homepage

模擬店情報・地図・ギャラリーなど

https://kunugida2018.tokyo-ct.ac.jp/

トップページ

100%


linebot

ぎりぎりになってクラスの友達を巻き込んで実装した。 友達のブログのほうが詳しく経緯とか書いてあるので引用しておきます。

taitti.hateblo.jp

slack bot

設計

60%

ホームページはnodejsで作られたhexoというstatic site generaterを使用して静的なファイルを生成してnginxを通してアクセスできるように配置しました。ユーザーからのいいねをカウントするなどのリクエストを受けるためにexpress serverがたっています。

当初の設計


変わったこと

  • 管理システムを作った 模擬店からの画像を受け取った時にチェックするためにslackとdropboxで管理するためのシステムを作りました。 流れとしては模擬店ごとのslackのグループに画像が投稿されたときに管理者用のチャンネルに転送されるようになっていて、それに対してチャンネルに属する人がコメントを送信すると公開するなり、非公開することができるようにしました。また定期的にdropboxにバックアップを取ることで実際にサーバーに載っているものを確認できるようにしました。

  • homepageのframework
    keystone.js -> ghost -> hexo ホームページのフレームワーク選びはかなり紆余曲折しました。ghostはuiがきれいでかなり好みだったのですが、自由度が低かったために最終的にカスタマイズ、管理、運用がしやすいhexoを採用しました。

反省

  • 運営、お客さんからの情報を集めきれなかった。 現在、体育館のイベントのスケジュールが体育館の予約状況でしかわからなく、実際の展示が始まる時間がわからないという問題があるみたいです。この問題を把握するのがぎりぎりになったので対応することができなかったのですが、slack botの特性を生かすチャンスだと感じたので来年は何とか対応させたいです。

  • 優先度をつける。
    落ち着いてから振り返ってみると、裏側のサーバーの構成や、log管理なのでの仕組みを充実うさせるのに時間をかけすぎてしまった感じがします。 自分が好きな分野は無限に改善点が見つかり、無限に時間が食われることに気が付いたので、定期的に自分の時間の使い方を振り返っていく必要を感じました。

  • 一定のスパンで集まって振り返り、目標設定をする 進捗が悪くなると全員で集まるみたいなことがしたくなってきます。人月の神話の「悪い知らせを伝えるのが好きな人いなどいない」みたいな言葉の意味が今になってわかりました。問題を後回しにしないために嫌でも定期的に集まってイシューの管理をする必要性を感じました。

commitment

結局いろいろ挫折したり試行錯誤したのでコミット数が1000に達してしまいました。contributorsも今までで一番多く、それぞれの得意分野ごとに仕事を分担することができてよかったです。

(https://github.com/teamet/2018.perform)

来年やりたいこと

コンテンツを増やす

  • twitterのhashtagで画像を収集、wordcloudで表示できるようにしてみる ツイッターハッシュタグで検索してよくあらわれる単語を集めると面白いものが見れそうな気がする

  • beaconとgoogle 360° mediaをつかったスタンプラリー これはもともとやりたかったけど、位置情報の管理をする仕組みがなくて挫折しました。せっかくline botがうまく動きそうなので来年はline beaconとgoogle 360° mediaを組み合わせてスタンプラリーみたいなのを作ってみたいです。

ビルディットにインターンしてきた ( 2018夏期 )

はじめに

5月中盤から8月の中盤までにかけてビルディットインターンとしてコードを書いていました。 もともとは友達にインターンできるところがあると聞き、ホームページを見て行くことに決めました。
BuildItは京王八王子駅から徒歩五分程度で主にweb系の開発をしている会社です。 インターンの課題としてtwitterのいいねをしたリストを分析することで、ユーザーの興味のあるツイートを分析するサービスを製作しました。

f:id:sakakendo0321:20180903000934p:plain なんかうまい具合にかっこよくなってしまったraspberry pi側のui画面。フォント、写真のソースことなどについて教えてもらい、色の組み合わせとかを相談した。

f:id:sakakendo0321:20180902235736p:plain

念願のフルカラーledを買ってもらって試しに光らせているところ

実際に作成したアプリケーション
友達の書いたブログの記録

設計

自分はweb系の分野に対しての興味がありながらフロントのhtmlやcssの仕事内容、考え方についての理解が浅いという問題意識があり、このインターンを通じて、web系の分野を俯瞰できるような知識を身に着けたいという気持ちがあったので、今回の製作ではバックエンド、フロントエンドの多岐にわたるプログラムを書きました。 デザインでは少し勝手が違い、タスクとしての切り出し方や、はじめ時、切り上げ時を考えることが難しかったことなどの知見を得られることができました。またworkerとwebでpython,node.jsという違う言語を使いそれぞれの言語の特性の違いを身をもって学びました。開発のフローのこともたくさん教えてもらい、インセプションデッキ、kptを使った振り返り、gitを使ったworkflowや、dockerを使った環境の統一などを実際に行いました。

反省点

  • 設計段階
    設計の段階で、決定事項に具体的なライブラリなどを組み込んでしまい、実際に着手してみるとうまい具合に動かないことがあったりした。いままで使いたい技術だけを先に決めてしまいどんどん詰んでいくみたいなことがあった。今回設計のサポートをしてもらって、最初は内部の仕様よりも外部から見た動作や、要件に絞って決定すべきということを学んだ。
  • dbの設計
    今回、データベースにはuserというテーブルのみを作成したのですが、実際に実装していく中でどんどん情報が増えてきてしまい、細かいデータはどんどんjsonに入れたり、一度更新するとデータを全部取得してしまうので、今までのが消えてしまうみたいな問題が発生してしまいました。今回はサービスの規模が小さかったのでその場その場の対処で何とかしのいだのですが、これによりあきらめた機能も何個かあったので、次回からはよりデータベースの設計に時間をかけて詳細なことまで考えるべきだなと感じました。
  • raspberry piとnode.jsの相性
    今回ledを使って、ユーザーに通知をするシステムを作成するにあたり、raspberry piでpigpioを使ったプログラムを製作しました。最初の段階ではとくにpythonでもnode.jsでもライブラリは用意されているので問題は起きないだろうと思っていたのですが、gpioを触るときにはsudo 権限が必要で、そのためにユーザーごとにインストールして使っているnode.jsは少し相性が悪いかなという印象を受けました。

一緒にインターンした友達

一緒にコードを書いていた友達です。うまい具合に分担、消化してくれて本当にありがたかったです。 何回かじぶんのわがままで友達を振り回してしまうようなことはあったのですが、コミュニケーションをとりながら無事にお互いが納得できるものを作ることができてよかったです。
https://github.com/Akari000

雑感

社員さんにはインターン期間中には自分の質問に忙しいなか答えてくださり周辺知識も教えてくださったり、 仕事終わりにご飯に連れてってもらったりとても充実した経験をすることができ、本当によかったです。 また社員さんの面倒見がよく優しかったのですが、質問も痛いところを突かれたりして、自分もこういうことができるようになりたいなという刺激になりました。 今後はアルバイトとして勤務させてもらえることになったので、アルバイトのための勉強もしながら、 より深い知識や広い知識を身に着けていきたいと考えています。

darknetをpythonから叩けるようにしたスクリプトを書いた

darknetが公式referenceではコマンドラインから実行する方法しか記載されていなかったので、pythonから叩けるようにしたスクリプトを書いたのと、それまでにいろいろソースコードを読んだのでそれのまとめ。 このスクリプトを使用すると、動画のストリーミングで物体の検出をして、座標値もpythonの値として扱えるようになります。

いまいち正確に理解していないが、ディレクトリ構成とか探し方とかの話

.
├── cfg
├── data
├── examples
│   ├── detector-scipy-opencv.py # darknet.pyをimportしてfilename,scipy,opencvそれぞれの形式でデータを投げるコードのサンプル
│   ├── detectmp4.py # darknet.pyをimportして処理している、シンプルなサンプル用のファイル
│   └── *.c
├── include
├── python
│   ├── darknet.py    # pythonのプログラムが呼び出してるclassが書かれている
│   └── proverbot.py  
├── scripts
├── src
└── Makefile

構造は以下のリポジトリ

GitHub - sakakendo0321/darknet: Convolutional Neural Networks

以下かいたスクリプト

libdarknet.soが生成されていれば実行できるはず。main.pyDARKNET_DIRにcloneしたgithub repositoryのディレクトリ、VIDEO_NAMEopencv からみれるVideoCaptureのdevice番号で書き換えるか、xxxxx.mp4を対象のmp4ファイルの名前で書き換えると画像だけでなくストリーミング形式で実行できて、検出した画像を72行目のrから取得することができる。

同様のライブラリについて

GitHub - madhawav/YOLO3-4-Py: A Python wrapper on Darknet. Compatible with YOLO V3.

僕がやりたいことほとんどやってた。これを使うのがいいと思う。

所感・今後の予定

LICENSE.fuckというのがあって、この開発者なんかようわからんめちゃすごい人なんやなぁという感じがした。 若気の至りで開発してしまったんだろうか。すごすぎる。 opencv形式で取得したframeをそのままdarknetに渡そうとしたが、ctypesを使ってpythonからc++に変換する時に画像データよりファイル名で渡したほうが単純だと思って、現在は一度ファイルに保存して、ファイル名をc++に渡すようにしている。影響を調査し、改善するかもしれない。 もうすこしpython-c++間のつなぎをYOLO3-4-Py辺りを読みたい