ESP32 機械手臂視覺辨識夾取完整指南：運算放哪、手臂怎麼選、模型用哪個

想做一支能自己「看到」物體、伸手把它夾起來的機械手臂，用 ESP32 完全做得到。關鍵在分工：讓 ESP32 負責它擅長的舵機控制與 Wi-Fi 通訊，把吃力的視覺辨識運算放到電腦上跑，兩邊用網路傳座標與指令。這是目前 maker 社群最主流、對初學者也最省事的架構。

手臂本體有現成套件可買（入門款不到千元台幣就有），也可以 3D 列印自己組；辨識模型第一版用 OpenCV 顏色偵測就夠，之後再升級 YOLO。

這篇的起點，是一位讀者把一整串問題丟給我們：想用 ESP32 控制一支有視覺辨識、能夾取物體的機械手臂，該怎麼做？運算怎麼辦？手臂要買現成的還是自己裝？自己裝要怎麼組？辨識模型要用哪一個？

這串問題問得很好，因為它剛好把這種專案的四個決策點全問到了。我們把答案整理成一條完整的入門路線，照著走可以少繞很多遠路。

先講一個讓這個題目突然變得很值得玩的背景：開源機器人生態這兩年爆發了。Hugging Face 的 LeRobot 開源機器人框架 把「用 AI 訓練便宜手臂做夾取」變成人人可玩的事，配套的開源手臂 SO-ARM101 一套材料費約兩百美元；2026 年 5 月的報導指出 LeRobot Hub 上的社群機器人資料集一年內突破 58,000 個。同一時間，工業端的需求也在墊高這門技能的價值：IFR 國際機器人聯盟統計，全球工廠 2024 年新裝了 542,000 台工業機器人，十年間需求翻倍。你現在桌上這支玩具級手臂用的觀念（視覺定位、座標轉換、夾取控制），跟產線上百萬等級設備用的是同一套。

進入細節之前，先給你一個貫穿全文的比喻：把整套系統想成一個四人小組。攝影機是眼睛，負責看；電腦是大腦，負責認出「那是什麼、在哪裡」；ESP32 是脊髓，負責把大腦的決定翻譯成肌肉動作；機械手臂是手，負責真的把東西拿起來。初學者最常犯的錯，就是想叫脊髓去做大腦的工作。

ESP32 跑得動視覺辨識嗎？先把運算放對位置

直接回答：跑得動「很小的模型」，跑不動你想像中的那種即時辨識。這是整個專案最重要的一個認知，先建立起來，後面每個決策都會變簡單。

實測數字最有說服力。舊款 ESP32-CAM 跑 Edge Impulse 的 FOMO 物件偵測模型，一張影格要 700 多毫秒，換算大約每秒 1 到 2 張；新一代 ESP32-S3 加了向量運算指令，跑同類模型可以到每秒 7 張左右。Espressif 官方 2025 年推出的 esp-detection 專案（基於 YOLOv11 精簡出的 ESPDet-Pico 模型，參數只有 0.36M）在 ESP32-S3 上大約每秒 6 到 7 張。這些數字拿來做「偵測畫面裡有沒有人」很夠用，但拿來引導手臂即時追蹤夾取，體驗會很挫折。標準的 YOLO 模型動輒數 MB 到數十 MB，ESP32 的記憶體直接放不下，所以網路上「ESP32 跑 YOLO」的說法，實際上指的都是特製的迷你版本。

所以運算該放哪？你有三條路線可以選：

我們的判斷很明確：初學者請走電腦端運算，不要一開始就挑戰端上運算。把模型塞進微控制器牽涉量化、記憶體優化、幀率取捨，每一項都是獨立的坑。

先用電腦把「辨識、座標、夾取」整條流程跑通，之後想挑戰邊緣運算，再把已經驗證過的流程搬過去。順序反過來，多數人會卡在第一關就放棄。

補充一句晶片選型：如果你買新板子，ESP32-S3 是目前視覺專案的甜蜜點；更新的 ESP32-P4 算力更強但生態還在長。這兩顆差在哪、新手怎麼挑，我們在ESP32-P4 是什麼？用它做機器人的初學者完整指南裡拆解過，這裡就不重複。

整套系統怎麼分工：攝影機、電腦、ESP32、手臂的四角關係

把運算放到電腦之後，整套系統的資料流就變得很乾淨。攝影機端可以用一片 ESP32-CAM（或 ESP32-S3 加攝影機模組）開一個 MJPEG 影像串流，電腦上的 Python 程式透過 Wi-Fi 抓影格、丟給辨識模型、算出目標物的座標，再把「移動到哪、什麼時候夾」的指令送回給控制手臂的 ESP32。

也可以更簡單：直接用一顆 USB 網路攝影機接電腦，ESP32 只負責手臂，連攝影機端都省了。

電腦跟 ESP32 之間的溝通，最常見的兩種做法是 HTTP request 跟 WebSocket。HTTP 簡單直觀，發一個請求動一次，適合「辨識到了、夾一次」這種節奏；WebSocket 是全雙工的長連線，延遲低，適合連續控制與即時回饋，社群教學普遍推薦即時控制走這條（Shawn Hymel 的 ESP32 WebSocket 教學是很好的起點）。第一版專案用 HTTP 就好，等你想做連續追蹤再換 WebSocket。

這套「裝置只管動作、運算放後端、中間用網路接起來」的架構，其實就是物聯網系統的標準思路。我們之前寫過用手機 NFC 加 ESP32 做打卡系統，走的是一模一樣的分工邏輯，只是感測器從攝影機換成了 NFC。學會這個 pattern，你之後做任何 ESP32 專案都用得上。

機械手臂怎麼選？現成套件跟自己組裝的差別

先回答「有沒有現成的」：有，而且選擇比你想像的多，價格帶從幾百塊台幣到幾萬塊都有。

要不要自己組，取決於你想學的是什麼。想學的是視覺辨識與控制邏輯，買現成套件，把時間花在軟體上；想學的是機構設計，或家裡有 3D 印表機，自己印自己組會學到更多。以下是 2026 年初學者圈最常見的選項：

幾個選購細節值得注意。第一，SO-ARM101網路上常看到「一百美元手臂」的說法，那指的是自己 3D 列印結構件、只買舵機散件的材料成本；跟 Seeed 這類廠商買含舵機與控制板的完整套件，實際預算抓 200 美元起比較實在。第二，Hiwonder xArm ESP32 對這篇的讀者有個特別的優勢：控制板本身就是 ESP32，支援 MicroPython，等於買來就是「ESP32 控制機械手臂」的原廠示範。第三，myCobot 跟 Dobot 做工好，但對「想學視覺夾取」的個人玩家來說偏貴，它們的定位是教學與研究機構。

如果你選 SO-ARM101 這條路，等於同時買進了一整個開源生態的門票。Hugging Face 在 2025 年發布的 SmolVLA（4.5 億參數的開源視覺語言動作模型，一張消費級顯卡就跑得動）就是以這支手臂當參考硬體：你不寫規則，改成拉著手臂示範幾十次「看到方塊、夾起來、放到盒子」，模型自己學會這個任務。這條「示範代替寫程式」的路線，是目前機器人學習圈最熱的方向。

我們給的簡單決策：預算一千五台幣以內就買壓克力套件玩觀念；預算六到八千、想跟上 AI 訓練這波，選 SO-ARM101 或 xArm。

只是想驗證「視覺加夾取」這條流程，其實壓克力套件加一顆好一點的舵機就能跑完整趟，先別急著上高階。

自己組裝要注意什麼：舵機、供電、結構三件事

決定自己組（無論是壓克力套件還是 3D 列印件），九成的品質差異出在三個地方：舵機選型、供電設計、組裝順序。機構本身照圖鎖螺絲就好，反而是最不容易出錯的部分。

先看舵機。機械手臂每個關節承受的負載差很多：底座要扛整支手臂的重量做旋轉，肩關節的力臂最長，腕關節跟夾爪則輕得多。所以「全部用同一種舵機」是浪費錢或抬不動的來源，正確做法是按關節配：

看扭力規格時有個很多新手不知道的常識：標示的是堵轉扭力（stall torque），也就是舵機完全轉不動時的極限值，實際設計負載只能抓標示值的三到五成，長期逼近極限會過熱燒毀。論壇上「SG90 連手臂最小的關節都抬不起來」的抱怨非常多，原因幾乎都是拿極限值當設計值。另外多提一句匯流排舵機：它用一條訊號線串接所有舵機（STS3215 一條線理論上可串 253 顆），還會回報自己的位置、負載與溫度，SO-ARM101 跟 Hiwonder 都走這條路線，佈線乾淨非常多，預算夠的話值得直上。

再來是供電，這是整個專案最大的地雷區，大到我們直接放一個警告框：

多顆舵機的訊號線也別全掛在 ESP32 的腳位上。標準做法是加一片 PCA9685：這是一片 I2C 介面的 16 通道 PWM 板，ESP32 只要兩條線（SDA、SCL）跟它講話，它負責產生 16 路穩定的 PWM 訊號，板上還有舵機專用的電源端子排，等於順便把供電走線也整理了。DroneBot Workshop 的 ESP32 舵機教學把這段接線講得很完整，照著接即可。

組裝順序上，記住一個鐵則：每一顆舵機在鎖上臂件之前，先通電讓它轉到中間位置（90 度），再把臂件照「中位等於手臂伸直或垂直」的姿勢鎖上去。跳過這步的下場，是軟體以為手臂在中位、實際上歪一邊，一動就打到自己。

整體順序從底座往上：底座旋轉、肩、肘、腕、夾爪，每裝完一軸就單獨測試那一軸的活動範圍，確認不會跟結構干涉再裝下一軸。

最後是很多人擔心的逆運動學（inverse kinematics）：給一個空間座標，反推每個關節該轉幾度。Arduino 論壇上滿滿的求救文證明這是初學者的普遍卡點，但好消息是第一個專案根本可以繞過它。方法叫「示教」：手動把手臂調到「準備位」「夾取位」「放置位」幾個姿勢，把每個姿勢的關節角度記下來存成陣列，程式只負責在這些預存姿勢之間平滑移動。等你想讓手臂夾「任意位置」的物體時，再回頭學 IK，屆時也有 CGx-InverseK 這類現成函式庫可以用，不需要自己推三角函數。

辨識模型用哪一個？從顏色偵測到 YOLO 的三個階段

「模型要用哪一個」大概是被問最多的問題，而我們的答案常讓人意外：你的第一版不需要 AI 模型。物件辨識有一條難度階梯，聰明的做法是從最低的那階開始踩：

第一階段用 OpenCV 的 HSV 顏色偵測：把畫面轉到 HSV 色彩空間、設定紅色的上下限、抓出最大色塊的中心點，二十行 Python 就寫完，零訓練、零模型檔。拿紅色積木當目標物，整條「看到、定位、夾起」的流程今天就能跑通。第二階段換 YOLOv8n 或 YOLO11n：官方預訓練模型認得 80 種日常物品（杯子、瓶子、水果都在內），在一般筆電上即時跑沒問題，你的程式只是把「找最大紅色色塊」換成「找標籤是 cup 的框」，其他部分完全不用動。這就是先把架構做對的好處：升級辨識能力時，動的只有大腦，脊髓跟手完全無感。

第三階段才是端上模型。想做「不用開電腦、插電就會自己夾」的獨立裝置時，用 Edge Impulse 的 FOMO：拍幾百張目標物的照片上傳、雲端免費訓練、匯出 Arduino 函式庫燒進 ESP32-S3。要注意 FOMO 的特性是只回報物體的中心點與數量，沒有邊界框大小，所以適合「東西在哪」的粗定位，不適合需要知道物體大小與方向的精細夾取。

順帶破解一個常見迷思：很多人以為模型越新越大越好，其實夾取專案的瓶頸幾乎從來都在辨識之後的座標轉換與機構精度。一支重複定位誤差半公分的玩具手臂，配 YOLO 跟配顏色偵測的夾取成功率差不了多少。錢跟時間該花在哪，看下一段就知道。

從「看到」到「夾到」：座標轉換是新手最容易卡住的一關

模型告訴你「目標在畫面的 (320, 240) 像素」，但手臂聽不懂像素，它只懂「往前 12 公分、往左 3 公分」。把像素座標翻譯成手臂座標，正式名稱叫手眼標定（hand-eye calibration），是機器人視覺裡有專門文獻的一門學問。相機裝在手臂上叫 eye-in-hand，相機固定在旁邊看著工作區叫 eye-to-hand。初學者一律選後者：把攝影機固定在工作區正上方往下拍，世界瞬間從 3D 簡化成 2D 平面，難度砍半。

固定俯拍之後，土法標定就夠用了：在工作區四個角落各放一個標記物，記下每個標記物「在畫面裡的像素座標」跟「手臂實際移過去時的位置」，四組對應點就能算出一個轉換矩陣（OpenCV 的 getPerspectiveTransform 一行搞定），之後任何像素座標都能換算成工作區座標。

不想算矩陣的話，甚至可以把工作區切成九宮格，每格預存一組手臂姿勢，辨識到目標落在哪格就呼叫哪組姿勢，精度粗但一個晚上就能做完。

夾取本身也有幾個實戰細節。目標物先從「方正、不會滾」的東西開始，方塊、橡皮擦、麻將都好，圓球是地獄難度。

夾爪接觸面貼一層泡棉或熱熔膠增加摩擦力，夾持力道寧可小一點多試幾次，硬夾會讓整支手臂變形移位；接近目標時垂直下降再合爪，斜著進去很容易把東西推走。論壇上「夾爪老是把東西撥走」的抱怨，多半是接近角度的問題，跟辨識準不準無關。

走到這一步，你做的事情其實已經是工業視覺系統的縮小版。產線上的取放（pick and place）機器人、瑕疵檢測相機，架構上就是「攝影機、辨識、座標轉換、動作」這條鏈的放大版；製造業怎麼把這條鏈用在品管與排程上，可以參考我們寫過的製造業 AI 完整導入指南。同樣的視覺辨識技術用在文件上，就是 OCR 系統，我們在企業端 OCR 系統客製化開發指南拆解過那條路線。

新手最常踩的坑：九成的靈異現象都是電源問題

最後把社群論壇上出現頻率最高的災難整理成一張速查表。你未來三個月會遇到的問題，八成在這張表裡：

值得注意的是表裡六個症狀有三個的根因都是電源。這也是社群的共識：Random Nerd Tutorials 的 ESP32-CAM 疑難排解指南直接把供電列為第一檢查項。以後手臂出現任何詭異行為，先量電壓，再懷疑程式，最後才懷疑硬體壞掉，這個順序會幫你省下無數個深夜。

預算方面給一個總覽：試水溫檔（壓克力手臂、SG90、ESP32 開發板、PCA9685、電源）全部加起來約新台幣 1,500 到 2,500 元；認真玩檔（SO-ARM101 或 xArm 套件、ESP32-S3 相機模組、UBEC 電源）約 7,000 到 9,000 元；教育研究檔（myCobot 起跳）兩萬以上。

第一檔就足以把這篇講的所有觀念全部實作一遍，我們建議從它開始。

看到這裡，如果你是把這篇當興趣專案指南的讀者，上面的路線圖已經夠你動工了。如果你是企業端的讀者，看的時候心裡想的是「這套視覺辨識能不能用在我的產線、倉庫、文件流程上」，那要提醒你一件事：企業場景的難點通常在系統整合（辨識結果要進 ERP、要觸發工單、要留紀錄），而那正是這類專案從玩具變成工具的分水嶺。這類視覺辨識與 AI 整合在我們的 AI 系統開發服務範圍內，你可以把現在的流程跟卡點丟過來，我們很樂意聽你聊聊現況，一起看看哪一段最值得先自動化。

總結：先跑通一條最小流程，再逐步升級

回到最開頭那串問題，答案濃縮成五句話。ESP32 做得到，但它的角色是控制與通訊，視覺運算放電腦。

手臂有現成套件，千元台幣就能入門，想懂機構再自己組。自己組的三個關鍵：舵機按關節負載配置、供電獨立且共地、每軸先歸中再鎖臂。

辨識模型從 OpenCV 顏色偵測起步，再升級 YOLO，最後才考慮端上模型。夾取的難點在座標轉換，用固定俯拍加四點標定把問題從 3D 降成 2D。

這個專案最好的地方在於它的每一步都看得到回饋：今天讓手臂動起來、下週讓它看到顏色、月底讓它夾起第一塊積木。

比起跟著課程抄程式，這種「系統真的在你手上長出來」的經驗，才是視覺與機器人入門最扎實的學法。祝你的手臂早日夾起第一個目標物。