コールバック関数の設定方法(OpenCVで二値化)｜IC Imaging Control_サンプルプログラム（Python）｜The Imaging Source_SDK

リンク集

ICImagingControl　WEB APIリファレンスマニュアル/サンプルプログラム

：日本語対応済み　

：日本語化準備中

開発言語	APIリファレンスマニュアル			サンプルプログラム
C	4.0 （）	-	-	4.0 （）	-	-
C++	4.0 （）	3.5 （）	3.4 （）	4.0 （）	3.5	3.4 （）
C#/VB.NET	4.0 （）	3.5 （）	3.4 （）	4.0 （）	3.5 （）	3.4 （）
Python	4.0 （）	3.5	3.4 （）	4.0 （）	3.5	3.4 （）

コールバック関数の設定方法(OpenCVで二値化)

概要

PythonでリアルタイムでOpenCVを使って画像処理する方法について示しています。

サンプルプログラム

サンプル（Python）	callback_python.zip

サンプルツールの出力

コード全体

#########
# 解説1
#########
import ctypes
import tisgrabber as tis
import cv2
import numpy as np
import xml.etree.ElementTree as ET #XMLファイルを解析する

ic = ctypes.cdll.LoadLibrary("./tisgrabber_x64.dll")
tis.declareFunctions(ic)

#########
# 解説2
#########
"" "コールバック関数に渡されるユーザーデータの例。" ""
class CallbackUserdata(ctypes.Structure):
    def __init__(self):    # インスタンス生成時に自動的に呼ばれるメソッド
        self.Value1 = 0
        self.Value2 = 0
        self.camera = None      # grabberオブジェクトを参照

#########
# 解説3
#########
#### 解説3-1
def FrameCallback(hGrabber, pBuffer, framenumber, pData):
    """ これはコールバック関数の例です
    画像はtest.jpgに保存され、pData.Value1が1つインクリメントされます。
     ：param：hGrabber：これはグラバーオブジェクトへの実際のポインター(使用禁止)
     ：param：pBuffer：最初のピクセルのバイトへのポインタ
     ：param：framenumber：ストリームが開始されてからのフレーム数
     ：param：pData：追加のユーザーデータ構造へのポインター
    """
    #CallbackUserdataが機能しているか確認
    
    pData.Value1 = pData.Value1 + 1
    Width = ctypes.c_long()
    Height = ctypes.c_long()
    BitsPerPixel = ctypes.c_int()
    colorformat = ctypes.c_int()
    ic.IC_GetImageDescription(hGrabber, Width, Height, BitsPerPixel,colorformat)

#### 解説3-2
    # バッファサイズを計算しピクセルあたりのバイト数と
    # numpy配列のデータ型を取得します。
    elementsperpixel = 1
    dtype = np.uint8
    if colorformat.value == tis.SinkFormats.Y800:
        elementsperpixel = 1  # 1 byte per pixel
    if colorformat.value == tis.SinkFormats.Y16:
        dtype = np.uint16
        elementsperpixel = 1  # 1 uint16 per pixel
    if colorformat.value == tis.SinkFormats.RGB24:
        elementsperpixel = 3  # BGR format, 3 bytes
    if colorformat.value == tis.SinkFormats.RGB32:
        elementsperpixel = 4  # BGRA format, 4 bytes
#### 解説3-3
    # バッファサイズを計算
    buffer_size = Width.value * Height.value * int(float(BitsPerPixel.value) / 8.0)

    # イメージデータを取得
    imagePtr = ic.IC_GetImagePtr(hGrabber)
    imagedata = ctypes.cast(imagePtr,
                            ctypes.POINTER(ctypes.c_ubyte *
                                            buffer_size))
#### 解説3-4
    # NumPy配列で表された画像にする
    image = np.ndarray(buffer=imagedata.contents,
                        dtype=dtype,
                        shape=(Height.value,
                                Width.value,
                                elementsperpixel))


#### 解説3-5
    # リアルタイムでOpenCV処理
    threshold = 80 # 二値化の閾値の設定
    image = cv2.flip(image, 0) #画像反転
    # OpenCVライブラリを使って収縮処理
    image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) #モノクロ化
    ret, img_THRESH_BINARY = cv2.threshold(image, threshold, 255, cv2.THRESH_BINARY) #二値化
    resized_img = cv2.resize(img_THRESH_BINARY,(640, 480)) #表示を縮小
    cv2.imshow('Window', resized_img)
    cv2.waitKey(10)

#########
# 解説4
#########
Userdata = CallbackUserdata()
# 関数ポインタを作成
Callbackfuncptr = ic.FRAMEREADYCALLBACK(FrameCallback)

ic.IC_InitLibrary(0)

#ダイアログ画面を表示
hGrabber = tis.openDevice(ic)


#########
# 解説5
#########
#### 解説5-1 
#デバイスが有効か確認
if(ic.IC_IsDevValid(hGrabber)):
    ## XMLファイルを解析
    tree = ET.parse('device.xml') 
    # XMLを取得
    root = tree.getroot()
    
    # device.xmlからカラーフォーマットを取得
    colorFormat=""
    for name in root.iter('videoformat'):
        colorFormat=name.text
    
    # IC_SetFormatにカラーフォーマットをセット
    if ('Y800' in colorFormat):
        ic.IC_SetFormat(hGrabber, tis.SinkFormats.Y800)

    if ('Y16' in colorFormat):
        ic.IC_SetFormat(hGrabber, tis.SinkFormats.Y16)

    if ('RGB24' in colorFormat):
        ic.IC_SetFormat(hGrabber, tis.SinkFormats.RGB24)

    if ('RGB32' in colorFormat):
        ic.IC_SetFormat(hGrabber, tis.SinkFormats.RGB32)

#### 解説5-2

    ic.IC_SetFrameReadyCallback(hGrabber, Callbackfuncptr, Userdata)
    #連続モードでは、フレームごとにコールバックが呼び出されます。
    ic.IC_SetContinuousMode(hGrabber, 0) 
    ic.IC_SetDefaultWindowPosition(hGrabber, 0)
    ic.IC_SetWindowPosition(hGrabber, 0,0, 640, 480)
    ic.IC_StartLive(hGrabber, 0) #ライブスタート開始　引数：0の時非表示、引数：1の時表示
#### 解説5-3 
    ic.IC_MsgBox(tis.T("OKで停止します。"), tis.T("Callback"))
    ic.IC_StopLive(hGrabber)
else:
    ic.IC_MsgBox(tis.T("No device opened"), tis.T("Callback"))

ic.IC_ReleaseGrabber(hGrabber)

使用するファイルについて

【callback_python.py】を動かす為に必ず下記の【dll(ライブラリ)】や【tisgrabber.py】が必要となります。dll(Dynamic Link Library、ダイナミックリンクライブラリ)とは、Windowsにおける共有ライブラリのことで、メーカーがユーザレベルで操作できるように管理しています。これらのdllを【tisgrabber.py】経由で読み込むことで、TheImagingSource社のカメラに簡単にアクセスできます。

tisgrabber.py	TheImagingSource社が提供するAPIであるIC Imaging Controlをカプセル化するtisgrabber.dllのラッパープログラム（IC Imaging Controlを使いやすくするためのもの）となっています。IC Imaging Control DLLの32ビットバージョン（tisgrabber.dll、TIS_UDSHL11.dll）と64ビットバージョン（tisgrabber_x64.dll、TIS_UDSHL11_64.dll）のどちらを使用するかが自動的にチェックしたり、IC Imaging Controlで使用されているメソッドを呼び出すために使われています。
tisgrabber.dll	IC Imaging ControlをPythonで呼び出すための32 bitバージョンのDLL
TIS_UDSHL11.dll	IC Imaging Controlの32 bitバージョンのDLL
tisgrabber_x64.dll	IC Imaging ControlをPythonで呼び出すための64 bitバージョンのDLL
TIS_UDSHL11_64.dll	IC Imaging Controlの64 bitバージョンのDLL
callback_python.py （任意のプログラム）	実行されるメインプログラム。

解説１：importで宣言する

import ctypes
import tisgrabber as tis
import cv2
import numpy as np
import xml.etree.ElementTree as ET #XMLファイルを解析する

ic = ctypes.cdll.LoadLibrary("./tisgrabber_x64.dll")
tis.declareFunctions(ic)

Pythonで下記のライブラリを使用するためにimportを使います。

ctype	このライブラリは C と互換性のあるデータ型を提供し、共有ライブラリ(Windowsでは*.dll)の関数を呼び出すことができます。
tisgrabber	IC Imaging Controlを制御するラッパーファイルを読み込むために使用します。
cv2	OpenCVで画像処理を行うために使用します。
numpy	Pythonでの機械学習の計算をより速く、効率的に行えるようにするために使用します。
xml.etree.ElementTree	カメラ情報が書かれたxmlファイルを読み込むために使用しています。

上記のライブラリを使用するため、あらかじめターミナルにて下記のコマンドを入力し、各ライブラリをインストールしておいてください。

pip install opencv-python
pip install numpy

解説２：ユーザーデータで宣言する

class CallbackUserdata(ctypes.Structure):
    def __init__(self):
        self.Value1 = 0
        self.Value2 = 0
        self.camera = None      # grabberオブジェクトを参照

コールバック関数内で使用される変数を構造体で宣言しています。
データを保持したままコールバック関数に値を渡すことができますので、コールバック関数内で到着した画像のトータル枚数を数えることができます。

解説３：コールバック関数を宣言する

#### 解説3-1
def FrameCallback(hGrabber, pBuffer, framenumber, pData):
    #CallbackUserdataが機能しているか確認
    pData.Value1 = pData.Value1 + 1
    Width = ctypes.c_long()
    Height = ctypes.c_long()
    BitsPerPixel = ctypes.c_int()
    colorformat = ctypes.c_int()
    ic.IC_GetImageDescription(hGrabber, Width, Height, BitsPerPixel,colorformat)

#### 解説3-2
    # バッファサイズを計算しピクセルあたりのバイト数と
    # numpy配列のデータ型を取得します。
    elementsperpixel = 1
    dtype = np.uint8
    if colorformat.value == tis.SinkFormats.Y800:
        elementsperpixel = 1  # 1 byte per pixel
    if colorformat.value == tis.SinkFormats.Y16:
        dtype = np.uint16
        elementsperpixel = 1  # 1 uint16 per pixel
    if colorformat.value == tis.SinkFormats.RGB24:
        elementsperpixel = 3  # BGR format, 3 bytes
    if colorformat.value == tis.SinkFormats.RGB32:
        elementsperpixel = 4  # BGRA format, 4 bytes
#### 解説3-3    
    # バッファサイズを計算
    buffer_size = Width.value * Height.value * int(float(BitsPerPixel.value) / 8.0)

    # イメージデータを取得
    imagePtr = ic.IC_GetImagePtr(hGrabber)
    imagedata = ctypes.cast(imagePtr,
                            ctypes.POINTER(ctypes.c_ubyte *
                                            buffer_size))
#### 解説3-4
    # NumPy配列で表された画像にする
    image = np.ndarray(buffer=imagedata.contents,
                        dtype=dtype,
                        shape=(Height.value,
                                Width.value,
                                elementsperpixel))


#### 解説3-5
    # リアルタイムでOpenCV処理
    threshold = 80 # 二値化の閾値の設定
    image = cv2.flip(image, 0) #画像反転
    # OpenCVライブラリを使って収縮処理
    image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) #モノクロ化
    ret, img_THRESH_BINARY = cv2.threshold(image, threshold, 255, cv2.THRESH_BINARY) #二値化
    resized_img = cv2.resize(img_THRESH_BINARY,(640, 480)) #表示を縮小
    cv2.imshow('Window', resized_img)
    cv2.waitKey(10)

TISカメラから送られてくる画像をPCに受け取るごとに呼び出されるコールバック関数を宣言しています。受け取った画像をOpenCVで画像処理するために受け取った画像を配列化しています。
主な手順は下記の通りです。

解説３－１：カメラから送られた画像の情報を取得

def FrameCallback(hGrabber, pBuffer, framenumber, pData):
    #CallbackUserdataが機能しているか確認
    pData.Value1 = pData.Value1 + 1
    Width = ctypes.c_long()
    Height = ctypes.c_long()
    BitsPerPixel = ctypes.c_int()
    colorformat = ctypes.c_int()
    ic.IC_GetImageDescription(hGrabber, Width, Height, BitsPerPixel,colorformat)

カメラからデータを受け取り、IC_GetImageDescription関数で受け取った画像の横幅、高さ、1ピクセル当たりのデータ量、カラーフォーマットを取得します。

解説３－２：バッファサイズを計算

# バッファサイズを計算しピクセルあたりのバイト数と
# numpy配列のデータ型を取得します。
elementsperpixel = 1
dtype = np.uint8
if colorformat.value == tis.SinkFormats.Y800:
    elementsperpixel = 1  # 1 byte per pixel
if colorformat.value == tis.SinkFormats.Y16:
    dtype = np.uint16
    elementsperpixel = 1  # 1 uint16 per pixel
if colorformat.value == tis.SinkFormats.RGB24:
    elementsperpixel = 3  # BGR format, 3 bytes
if colorformat.value == tis.SinkFormats.RGB32:
    elementsperpixel = 4  # BGRA format, 4 bytes

データ量をカラーフォーマットによって変換しています。データ量はそれぞれ下記の通りです。

Y800	モノクロ8bit（1Byte）
Y16	モノクロ16bit（2Byteだが16 ビット符号なし(uint16)として処理するため、uint16の1Byteとして処理）
RGB24	カラー8bit（3Byte RGBそれぞれ8bit）
RGB32	カラー8bit（4Byte RGBAそれぞれ8bit）アルファ値（透過度）はIC Imaging Controlでは使っていないため常に"0"です。

なお、RGB64はIC Imaging Control3.4ではサポートしていませんが、IC Imaging Control3.5ではサポートしており、Tiff形式で保存することも可能です。

露光時間・ゲインを設定し、静止画保存をする（pythonnet編）
IC Imaging Control（Python）サンプルプログラム

解説３－３：イメージデータを取得

# バッファサイズを計算
buffer_size = Width.value * Height.value * int(float(BitsPerPixel.value) / 8.0)

# イメージデータを取得
#bit形式のイメージデータのポインタを取得しています。
imagePtr = ic.IC_GetImagePtr(hGrabber)
imagedata = ctypes.cast(imagePtr,
                        ctypes.POINTER(ctypes.c_ubyte *
                                        buffer_size))

IC_GetImagePtrでbit形式のイメージデータのポインタimagePtrを取得しています。imagePtrのポインタ型を使って、画像データの先頭から画像の最後のアドレスを指定し、ポインタ型に変換(ctypes.cast) しています。ポインタ変数imagedata が格納している画像データが入っているアドレスそのものですので、imagedataには画像データが格納されていることになります。

解説３－４：NumPy配列化する

# NumPy配列で表された画像にする
image = np.ndarray(buffer=imagedata.contents,
                    dtype=dtype,
                    shape=(Height.value,
                            Width.value,
                            elementsperpixel))

上記によって取得したimagedataを使ってNumpy配列を生成します。OpenCVで読み込む画像イメージがNumPyの配列であるndarray形式で表現されるため、上記のように変換する必要があります。

解説３－５：リアルタイムでOpenCVの画像処理し画面表示する

# リアルタイムでOpenCVの画像処理
threshold = 80 # 二値化の閾値の設定
image = cv2.flip(image, 0) #画像反転
# OpenCVライブラリを使って収縮処理
image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) #モノクロ化
ret, img_THRESH_BINARY = cv2.threshold(image, threshold, 255, cv2.THRESH_BINARY) #二値化
resized_img = cv2.resize(img_THRESH_BINARY,(640, 480)) #表示を縮小
cv2.imshow('Window', resized_img)
cv2.waitKey(10)

下記のOpenCVの画像処理を行うことで最終的に2値化に変換された画像が画面表示されます。

flip	読み込んだ画像を上下左右に反転させます。
cvtColor	画像をモノクロ化しています。
threshold	配列の要素に対して，ある定数(上記では80)での閾値処理をし、二値化しています。
resize	表示サイズを変更します。
imshow	画面に表示します。

解説４：カメラをオープンする

Userdata = CallbackUserdata() #ユーザーデータをインスタンス化
# 関数ポインタを作成
Callbackfuncptr = ic.FRAMEREADYCALLBACK(FrameCallback)

#ICImagingControlクラスライブラリを初期化します。
#この関数は、このライブラリの他の関数が呼び出される前に1回だけ呼び出す必要があります。
ic.IC_InitLibrary(0)

#ダイアログ画面を表示
hGrabber = tis.openDevice(ic)

コールバック関数を設定するための下準備として解説２で登場したCallbackUserdataの使用を宣言します（インスタンス化）。
また、解説３で宣言したコールバック関数FrameCallbackの関数ポインタを宣言し、IC_SetFrameReadyCallbackの引数に渡せるように(後述)しておきます。「ic.IC_InitLibrary(0)」でICImagingControlクラスライブラリを初期化します。その後、「tis.openDevice(ic)」で下図のDevice Settingsダイアログ画面を起動します。

Device Settingsダイアログでは接続しているカメラを画面(GUI)上で選択することができます。Device Settingsダイアログでは解像度やフレームレート、Device　Propetiesダイアログ画面ではカメラのゲインや露光時間といったプロパティの設定、Select Custom Format画面では画像の切出しを行い任意の解像度に設定することができます（機種によってはビニング機能を有効化できます）。Device SettingsダイアログでOKボタンを押すタイミングでデバイスの情報やプロパティの設定が記録されたdevice.xmlがPythonプログラムと同じ場所に出力されます。device.xmlが存在した場合にはDevice Settingsダイアログ画面は起動せず、device.xmlに記載された情報をもとに自動的にカメラと設定情報を読み込み次の処理に遷移します。もう一度ダイアログ画面を呼び出したいときにはdevice.xmlを削除してください。

解説５：ライブストリーミングを開始する

#### 解説5-1 
#デバイスが有効か確認
if(ic.IC_IsDevValid(hGrabber)):
    ## XMLファイルを解析
    tree = ET.parse('device.xml') 
    # XMLを取得
    root = tree.getroot()
    
    # device.xmlからカラーフォーマットを取得
    colorFormat=""
    for name in root.iter('videoformat'):
        colorFormat=name.text
    
    # IC_SetFormatにカラーフォーマットをセット
    if ('Y800' in colorFormat):
        ic.IC_SetFormat(hGrabber, tis.SinkFormats.Y800)

    if ('Y16' in colorFormat):
        ic.IC_SetFormat(hGrabber, tis.SinkFormats.Y16)

    if ('RGB24' in colorFormat):
        ic.IC_SetFormat(hGrabber, tis.SinkFormats.RGB24)

    if ('RGB32' in colorFormat):
        ic.IC_SetFormat(hGrabber, tis.SinkFormats.RGB32)


#### 解説5-2
    ic.IC_SetFrameReadyCallback(hGrabber, Callbackfuncptr, Userdata)
    #連続モードでは、フレームごとにコールバックが呼び出されます。
    ic.IC_SetContinuousMode(hGrabber, 0) 
    ic.IC_SetDefaultWindowPosition(hGrabber, 0)
    ic.IC_SetWindowPosition(hGrabber, 0,0, 640, 480)
    ic.IC_StartLive(hGrabber, 0) #ライブスタート開始　引数：0の時非表示、引数：1の時表示
    
    ic.IC_MsgBox(tis.T("OKで停止します。"), tis.T("Callback"))
    ic.IC_StopLive(hGrabber)
else:
    ic.IC_MsgBox(tis.T("No device opened"), tis.T("Callback"))

ic.IC_ReleaseGrabber(hGrabber)

カメラのストリーミングを開始し、解説２のユーザーデータと解説３のコールバック関数を紐づけ呼び出すようにしています。
また、呼び出し後に終了できるようにメッセージボックスを表示しています。
主な手順は下記の通りです。

解説５－１：カラーフォーマットを設定する

#デバイスが有効か確認
if(ic.IC_IsDevValid(hGrabber)):
    ## XMLファイルを解析
    tree = ET.parse('device.xml') 
    # XMLを取得
    root = tree.getroot()
    
    # device.xmlからカラーフォーマットを取得
    colorFormat=""
    for name in root.iter('videoformat'):
        colorFormat=name.text
    
    # IC_SetFormatにカラーフォーマットをセット
    if ('Y800' in colorFormat):
        ic.IC_SetFormat(hGrabber, tis.SinkFormats.Y800)

    if ('Y16' in colorFormat):
        ic.IC_SetFormat(hGrabber, tis.SinkFormats.Y16)

    if ('RGB24' in colorFormat):
        ic.IC_SetFormat(hGrabber, tis.SinkFormats.RGB24)

    if ('RGB32' in colorFormat):
        ic.IC_SetFormat(hGrabber, tis.SinkFormats.RGB32)

IC_IsDevValidでカメラがPCで認識されているか確認をします。その後、解説４の「hGrabber = tis.openDevice(ic)」で生成されたdevice.xmlのカラーフォーマットを読み込むために、「tree = ET.parse('device.xml')」でxmlファイルを読み込みます。その後「for name in root.iter('videoformat'):」でxmlファイルの中にあるタグから"videoformat"の記載のあるタグを探索し、「colorFormat=name.text」で変数にカラーフォーマットを保存します。colorFormatに保存されたカラーフォーマットはY800、Y16、RGB24、RGB32のいずれかに当てはまりますので、if文でY800、Y16、RGB24、RGB32の内どれに当てはまるかチェックし、「ic.IC_SetFormat」でカラーフォーマットを設定します。ic.IC_SetFormatで正しいカラーフォーマットを設定していないと解説３ー１で登場したIC_GetImageDescription関数で正しいカラーフォーマット、1ピクセル当たりのデータ量が正しく出力されないのでご注意ください。

解説５－２：コールバック関数を使用し画像取得を開始する

ic.IC_SetFrameReadyCallback(hGrabber, Callbackfuncptr, Userdata)
#連続モードでは、フレームごとにコールバックが呼び出されます。
ic.IC_SetContinuousMode(hGrabber, 0) 
ic.IC_SetDefaultWindowPosition(hGrabber, 0)
ic.IC_SetWindowPosition(hGrabber, 0,0, 640, 480)
ic.IC_StartLive(hGrabber, 0) #ライブスタート開始　引数：0の時非表示、引数：1の時表示

「IC_SetFrameReadyCallback」を使って、使用するカメラhGrabber・関数ポインタCallbackfuncptr・ユーザーデータUserdataを引数に渡すことで解説２のユーザーデータと解説３のコールバック関数をそれぞれカメラに紐づけることができます。hGrabberを使ってコールバック関数を自動的に引き渡すために「ic.IC_SetContinuousMode(hGrabber, 0) 」と宣言をします。（コールバック関数を使用しないメソッド「IC_SnapImage」を使う場合には「ic.IC_SetContinuousMode(hGrabber, 1) 」と宣言をします。
「IC_SetWindowPosition」にて画像の表示位置を指定し、「IC_StartLive」でカメラから画像を送るように指示します。この時、引数：0の時には画面表示がなし、引数：1の時画面表示がある状態となります。「IC_StartLive」でカメラから画像が送られてくるようになり、コールバック関数がようやく呼ばれるようになります。

解説５－３：処理を停止する

   ic.IC_MsgBox(tis.T("OKで停止します。"), tis.T("Callback"))
    ic.IC_StopLive(hGrabber)
else:
    ic.IC_MsgBox(tis.T("No device opened"), tis.T("Callback"))

ic.IC_ReleaseGrabber(hGrabber)

「ic.IC_MsgBox(tis.T("OKで停止します。"), tis.T("Callback"))」で下図のメッセージボックスが画面を起動し、OKボタンが押されるまでコールバック関数が動き続けるようにしています。

メッセージボックスのOKボタンが押されると「ic.IC_ReleaseGrabber(hGrabber)」でhGrabberオブジェクトが解放され処理が終了します。

▲ このページの先頭に戻る

ICImagingControl WEB APIリファレンスマニュアル/サンプルプログラム