哈希技術部落格


Slider

Scratch結合AI – 使用Scratch辨識人體姿態

在日常生活中,我們常常會看到許多體感類型的遊戲,包含最近流行的Switch遊戲…等等。那你知道電腦如何知道我們人體的姿勢呢?

今天,我們會用孩子使用的Scratch,搭配AI人體辨識,製作出可以辨識姿態的作品哦!

認識人體姿態辨識

在電腦中,我們會透過辨識人體特定位置,再將這些點連接起來,依據這些線的位置關係,決定現在我們人體的姿勢是什麼。這樣的技術就稱為「人體骨骼關鍵點辨識( Pose Estimation )」。透過機器學習將大量地人體姿勢資料進行分類,製作出可以辨識人體關鍵點的效果!

圖片來源:每日頭條

所以首先,我們需要能夠辨識人體特定位置,包含肩膀、手肘、手腕、臀部、膝蓋、腳踝…等等。

開啟MLforKids

為了能夠辨識這些位置,我們需要使用結合AI功能的Scratch,這邊我們以MLforKids進行示範。它使用來自Common Objects in Context (COCO)的資料建立資料模型。

了解辨識原理與資料來源後,開始製作我們的作品吧!

首先,開啟MLforKids,開啟後在擴充功能中選擇「Pose detection」

這項擴充功能包含辨識人體x與y座標的積木。可以辨識左右肩膀、左右手肘、左右手腕、左右臀部、左右膝蓋以及左右腳踝,同時也可以辨識人臉器官的位置哦!

接下來,我們要製作「定位點」的角色,所以要繪製一個圓形點的角色

然後製作以下程式

接下來我們需要將每個人體位置都製作出這樣的內容,所以可以複製角色,並且修改程式中定位的位置

最後,我們需要將每個定位點連接起來,這時候,我們可以透過Scratch內建的畫筆工具完成這項功能。

開啟擴充功能 – 畫筆

新增一個新的空白角色,因為我們會用畫筆工具進行接線,所以角色造型空白即可!
接下來製作出以下連接各個定位點的程式

完成後的效果

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *