国产激情з∠视频一区二区,国产精品免费无遮挡无码永久视频,亚洲VA中文字幕无码毛片

基于語音控制和視覺圖像識別的分揀搬運機器人
2019年06月04日 20:35         所屬學院: []          點擊:


附件5

湖南省大學生研究性學習和創新性實驗計劃

項  目  申  報  

 

項目名稱:

  • 如果您無法在線瀏覽此 PDF 文件,則可以

  • 下載免費小巧的 福昕(Foxit) PDF 閱讀器,安裝后即可在線瀏覽  或

  • 下載免費的 Adobe Reader PDF 閱讀器,安裝后即可在線瀏覽  或

  • 下載此 PDF 文件

學校名稱

 長沙理工大學

學生姓名

  

      

 

   

鄒智強

201457050125

電子信息工程

  

2014

 郭揚錚

201457050106

電子信息工程

  

2014

 屠君超

201457050120

電子信息工程

  

2014

 

 

 

 

 

 

 

 

 

 

指導教師

馬鈞

職稱

講師

項目所屬

一級學科

控制科學與工程

項目科類(理科/文科)

   理科

學生曾經參與科研的情況

項目負責人和課題組成員均為電子信息工程及自動化等相關專業本科生,已進入學校創新實驗室學習一年以上,對于單片機編程已經相當熟悉,且有一定的ARM嵌入式開發基礎。且熟練掌握C/C++、Linux環境編程、數據結構、且具有一定的算法設計能力以及PCB設計能力、承擔過一些單片機應用系統的開發項目、開關電源設計以及機器人競賽。團隊成員曾在各級科技競賽中多次獲獎,獲獎情況如下:

項目負責人鄒智強:

2016年中國國教育機器人大賽全國一等獎

2016年全國大學生電子設計競賽模擬電子系統專題邀請賽全國二等獎

2016年湖南省大學生電子設計競賽省二等獎

2016年長沙理工大學科技立項校一等獎

2016年長沙理工大學“電苑杯”電子設計競賽校二等獎

2016年長沙理工大學“互聯網+”創業大賽校二等獎

2016年長沙理工大學“創青春”創業大賽校二等獎     

項目成員王料豐:

2016年湖南省大學生電子設計競賽省一等獎

2016年長沙理工大學“物電杯”電子設計大賽校二等獎

項目成員郭揚錚:

2016年湖南省大學生電子設計競賽省一等獎

2016年長沙理工大學“電苑杯”電子設計大賽校二等獎

2016年長沙理工大學“創青春”創業大賽校二等獎

2016年長沙理工大學“互聯網+”創業大賽校二等獎

項目成員屠君超:

   2016年長沙理工大學“電苑杯”電子設計大賽校二等獎

   2016年長沙理工大學科技立項校一等獎

   2016年長沙理工大學“物電杯”電子設計大賽校三等獎

 

 

指導教師承擔科研課題情況

1. 主持2013年國網湖南省電力公司科學研究院項目,項目名稱:“配電自動化系統一致性測試技術的研究”, 20134~20149月(結題);

2. 主持2012年湖南省科學技術廳科技計劃項目,項目名稱:“智能配電網通信安全裝置的研制”,項目編號:2012GK3053(結題);

3. 主持2010年湖南省高校重點實驗室項目“智能電網公共網絡通信數據安全防護研究”(結題)。

4. 主持2014年省教育廳項目“基于IEC61968標準和營配信息融合的配電網公共信息模型建模方法研究”,項目編號:14C0023(在研)。

 

項目研究和實驗的目的、內容和要解決的主要問題

一、項目研究的目的

隨著科技的發展,機器人的應用將越來越廣泛。分揀搬運機器人是一種能夠對物體進行分類整理以及搬運的機器人,現在一般的分揀搬運機器人主要依靠尋跡功能,僅能簡單識別物體顏色,并依靠單一的動作設置來完成任務。在面對復雜環境,或者環境特征變化是,這種機器人的工作性能就會受到影響,甚至不能正常使用。為了進一步提高分揀搬運機器人的智能化和實用化水平,我們開展本項目的研究,其主要目的是:

   1)解決當前主流分揀搬運機器人環境適應能力差、智能化水平不高的問題,讓機器人能夠應對比較復雜的環境,能夠識別比較復雜的物體。

   2)提高分揀搬運機器人的語音識別能力,使其能夠接收語音指令并實施搬運任務。

 

二、研究內容

   本項目主要致力于研究機器人經過語音教導與記憶,通過視覺導航與圖像識別來完成一些物塊的分類與搬運、以及整理貨物等功能。本項目主要研究內容如下:

   1)研究機器人語音識別模塊,通過此模塊,機器人能對用戶說的話進行識別分析,用戶能通過語音對機器人下達搬運命令。

2)研究機器人通過攝像頭采取圖像識別以及超聲波測距等手段,來進行簡單地形的導航分析和物塊的識別與分類功能。

3)研究機器人的記憶功能,使其在用戶不使用語音的情況下自動執行用戶想要執行的任務,也就是定時執行功能。

4)研究提高分揀機器人搬運物塊到指定地點的可靠性問題。

5)研究機器人通過無線網絡接入互聯網,進行遠程監控,以及程序在線升級等。

 

三、要解決的主要問題

   1)解決當前主流分揀搬運機器人環境適應能力差、智能化水平不高的問題,讓機器人能夠應對比較復雜的環境,能夠識別比較復雜的物體。

   2)提高分揀搬運機器人的語音識別能力,使其能夠接收語音指令并實施搬運任務。

3)重點解決機器人數字圖像處理的問題,這是視覺識別的關鍵。為了解決這一問題,需要掌握OPENCV的視覺庫來進行圖像處理,并需要掌握支持OPENCV的嵌入式Linux操作系統。

 

國內外研究現狀和發展動態

國內研究狀況:

近十年來,國內機器視覺技術制造商發展迅猛,涌現出很多優秀的公司。其中北京大恒圖像視覺有限公司研制的系統是自主研發的基于視覺技術的 PCB外觀檢查系統。檢測精度高、速度快,系統實現對 PCB 無遺漏、全幅面檢測。機器視覺在機械手上的應用也取得了一定的成果。中科院自動化研究所復雜系統與智能科學實驗室開發的 CASIA-I 型機器人是集多種傳感器,視覺,語音識別與會話功能與一體的智能移動機器人。博創科技自主研發的小型排爆機器人 RAPTOR-EOD,該排爆機器人可以幫助排爆人員可以在遠距離以無纜操作方式對機器人進行精確操作。

國外研究狀況:

目前,機器視覺技術已經從最初的實驗室階段逐漸走向成熟,并且在工業生產線上已經有實際應用。德國、日本、美國和韓國處在智能工業機器人領域應用研究的前沿。日本從最初的模仿到現在的獨創,找到了自己的技術創新之路。德國西門子公司也緊跟著時代的步伐,將機器視覺滲透到各個領域,應用到汽車發動機裝配,生產線工件分揀等領域。美國更是機器人技術的創新發源地,其機器視覺廣泛應用在工業和軍事上,機械手經銷商,包括 Fanuc 公司,Motman 公司和 Staubli 公司都推出了揀選系統。

今后機器人將逐漸向智能化發展,其語音識別和視覺識別在機器人上的應用實例也越來越多,但是目前仍然存在著很多難以攻克的技術難點,多變的環境、復雜的地形;技術的保密性使得科研成果不能共享,從而造成相關基礎技術重新開發等問題。

本項目學生有關的研究積累和已取得的成績

項目組成員已經掌握了電子與自動化技術的相關基礎理論知識以及專業知識,有較強的電路設計能力,曾經參加過各種校級省級和國家級別的電子設計大賽并取得了較好的成績。

在機器人方面,項目組成員對于語音識別方案及其實現、機器人視覺識別環境的搭建、以及簡單的二維形狀檢測都已完成。對于語音識別模塊,我們已經對于簡單的8字以內的中文語音識別做過前期實驗與測試,識別度較高。而對于電機驅動,電源模塊,攝像頭模塊等,我們都已掌握并做過相關的創新實驗或者設計。

項目負責人參加了全國教育機器人大賽并獲得了國家一等獎證書,其參賽題目就是一個分揀機器人,機器人可以在規定的軌跡地圖上行走,并且可以識別地圖上分散的物塊顏色,并將其分類搬運到指定位置,所以對機器人的運作方式也十分了解。

  

項目的創新點和特色

1、項目采用語音控制和語音訓導技術,機器人通過與用戶的語音溝通能完成用戶所給定的搬運任務,第一次執行搬運任務會需要人工語音教導哪種物塊該放在哪個區域,之后機器人將不需要第二次人工教導,將會自動將此類物塊放到指定區域。

2、項目采用視覺識別傳感技術,通過攝像頭將圖像信息傳送給處理器,經過計算分析實現物塊的識別、分類以及路線導航。

3、能通過WIFI模塊接入互聯網,能對機器人實行遠程監控和在線升級更新。

 

項目的技術路線及預期成果

一、技術路線

機器人系統整體設計方案如圖1所示,整個系統可以分為以下主要部分:電源模塊、控制模塊、攝像頭模塊、語音模塊、電機驅動模塊。其中攝像頭是機器人的眼睛,可以對物體進行識別,包括形狀檢測和顏色檢測;語音識別模塊是機器人的耳朵,可以聽取用戶所要求的任務信息;控制模塊是機器人的大腦,對于語音識別模塊采集的語音信號進行分析然后確立搬運方案,對攝像頭采集的圖像信號進行查找目標、分析確定行程路線、分析物塊形狀、分析物塊顏色,從而確定搬運目的地;電機驅動模塊是機器人的手和腳,手是機器人的機械臂,腳是機器人的輪子,機械臂可以更好的抓取并搬運物塊,輪子能使機器人運行到工作區域的各個位置;而電源模塊是機器人的心臟,用于給所有模塊供電,保證其正常的運行。

1機器人系統整體設計方案

  1)電源模塊

   模塊采用兩節帶保護板的18650并聯電池供電,經過一個DC/DC升壓模塊,將電源電壓穩定到5V供電,再經過線性穩壓器AMS1117-3.3將其降壓到3.3V給芯片供電。一般鋰電池放電到2.8V就會被保護板自動斷電,如果直接采用兩節電池串聯通過7805供電的話,那么當電壓降到5.6V時,7805會因為輸入輸出電壓差值不夠,而使輸出電壓下降到低于5V,這時對于電機的供電驅動就會和5V時候不一致,會導致原來設置好的轉動角度以及其他的新能參數有偏差,從而導致系統不正常工作,而采用升壓的方案就不會因為鋰電池放電導致低電壓,從而保證系統正常工作。

   2)主控單元模塊

   該模塊作為機器人的大腦,對攝像頭和麥克風傳入的信號進行分析處理,再通過GPIO控制電機使機器人動起來。主要由處理器、SRAMflash/EEPROM、GPIOWIFI等部分組成。本項目將采用ARM Cortex A系列的處理器作為核心,ARM公司的Cortex-A系列處理器適用于具有高計算要求、運行豐富操作系統以及提供交互媒體和圖形體驗的應用領域。鑒于本項目需要進行數字圖像處理和嵌入式開發,對于數字計算的能力要求較高,我們將采用Cortex A8以上級別的芯片。

   3)語音模塊

該模塊作為機器人的耳朵,用于聽取命令,使機器人按照命令執行任務。主要由麥克風、放大器、專業芯片組成。為了簡化機器人的編程難度,我們將選用一個語音識別專用芯片LD3320。LD3320芯片由ICRoute公司設計生產。該芯片集成了語音識別處理器和一些外部電路,包括AD、DA轉換器、麥克風接口、聲音輸出接口等。本芯片在設計上注重節能與高效,不需要外接任何的輔助芯片如Flash、RAM等,直接集成在現有的產品中即可以實現語音識別/聲控/人機對話功能。并且,識別的關鍵詞語列表是可以任意動態編輯的。

主要特征有: 

l  1、通過ICRoute公司特有的快速而穩定的優化算法,完成非特定人語音識別。不需要用戶事先訓練和錄音,識別準確率95%。 l 

2、不需要外接任何輔助的Flash芯片,RAM芯片和AD芯片,就可以完成語音識別功能。真正提供了單芯片語音識別解決方案。 l 

3、每次識別最多可以設置50項候選識別句,每個識別句可以是單字,詞組或短句,長度為不超過10個漢字或者79個字節的拼音串。另一方面,識別句內容可以動態編輯修改因此可由一個系統支持多種場景。 l 

4、芯片內部已經準備了16A/D轉換器、16D/A轉換器和功放電路,

麥克風、立體聲耳機和單聲道喇叭可以很方便地和芯片管腳連接。立體聲耳機接口的輸出功率為20mW,而喇叭接口的輸出功率為550mW,能產生清晰響亮的聲音。 l  

5、支持并行和串行接口,串行方式可以簡化與其他模塊的連接。 l  

6、可設置為休眠狀態,而且可以方便地激活。 

l  7、工作供電為3.3V,如果用于便攜式系統,使用3AA電池就可以滿足

   4)攝像頭

攝像頭將采用OV7670攝像頭,體積小,工作電壓低,提供單片VGA攝像頭影像處理器的所有功能。通過SCCB總線控制,可以輸入整幀、子采樣、取窗口等方式的各種分辨率8位影像數據。該產品VGA圖像最高達到30/秒。用戶可以完全控制圖像質量、數據格式和傳輸方式。所有圖像處理功能過程包括伽瑪曲線、白平衡、飽和度、色度等都可以通過SCCB接口編程。OmmiVision圖像傳感器應用獨有的傳感器技術,通過減少或消除光學或電子缺陷如固定圖案噪聲、托尾、浮散等,提高圖像質量,得到清晰的穩定的彩色圖像。

    對于機器人數字圖像處理的問題,由于我們并沒有系統的學習過數字圖像處理,而數字圖像處理本身就是一個大難點,導致視覺識別是我們需要重點突破的地方。為了解決這一問題,我們將采用OPENCV的視覺庫來進行圖像處理。OpenCV全稱是:Open Source Computer Vision Library。OpenCV是一個基于BSD許可(開源)發行的跨平臺計算機視覺庫,可以運行在LinuxWindowsMac OS操作系統上。它輕量級而且高效由一系列 C 函數和少量 C++ 構成,同時提供了Python、RubyMATLAB等語言的接口,實現了圖像處理和計算機視覺方面的很多通用算法。由于OPENCV只支持于一些操作系統的環境下,所以在嵌入式系統這一方面,我們也需要全面的學習。優先選擇嵌入式Linux。

   5)電機驅動模塊

   電機模塊主要分為輪子電機和機械臂的電機,輪子控制機器人位置的移動,機械臂控制機器人更好的抓取物塊。電機主要采用伺服電機,伺服電機具有很好的精準度,非常適合用于機器人上。通過給予伺服電機一系列脈沖信號,電機即可根據脈沖數旋轉固定的角度。而對于電機供電方面,需要單獨供電與主控制電路隔離開來,這樣可以有效保護主電路穩定性。

   6)軟件設計

軟件設計基于Linux平臺開發以及模塊單片機開發,其語音模塊上就有一個單片機,用于語音解碼,將語音信號翻譯成搬運任務信號。主控單元搭載Linux操作系統,用于接受搬運任務信號、接受攝像頭的圖像信號、輸出電機控制信號、進行圖像處理和整個機器人的信號交互與處理。

程序開始處于待機狀態,等待用戶的語音命令。這時主控單元等待語音模塊的信號響應,語音模塊檢測到語音命令后會解析命令并向主控單元發送中斷信號以及經處理過得搬運任務信號,主控單元響應中斷信號并接受任務信息,同時將信息存入Flash。

接下來采用視覺導航和超聲波模塊來搜索物塊。找到物塊后,對物塊進行圖像分析識別出物體的形狀和顏色進行歸類。以確定要送到的目標地,并進行搬運。最后找到目標地并將物塊放入目標地。程序判斷是否執行完所有操作,如果沒有完成,繼續執行搬運任務。

機器人搬運程序流程圖如圖2所示

 

                                  2機器人搬運程序流程圖

 

    

 

二、預期成果

1項目總結報告一份。

2制作分揀搬運機器人實物一件。

3. 論文一篇或申請專利一項。

 

  年度目標和工作內容(分年度寫)

進度安排:

1201611月至20172月,完成資料的收集以及方案的確立

220173月至8月,進行圖像處理、嵌入式系統等知識的深入學習以及實驗應用。

320179月至10月,完成機器人硬件電路的設計與實物搭建。

4201711月至12月,完成程序算法等軟件設計。

520181月至3月,完成整個機器人的調試與測試。

620184月至6月,編制研究工作總結報告,發表論文或專利,準備結題。

指導教師意見

人工智能技術已經滲透進我們生活的方方面面,正日益成為新一輪產業革命的引擎。選擇分揀搬運機器人作為創新項目正是適應這一產業發展需求,其中的語音控制和視覺圖像也是應用廣泛的實用技術,體現了本項目以需求為導向的用意。項目所選處理器ARM Cortex A的應用,以及在視覺圖像識別所需C/C++編程上具有一定難度;把語言控制和圖像識別兩種技術融合進機器人的感知系統,也需要一定的綜合應用能力。

 項目組成員均來自創新實驗室,參加過機器人和各級電子設計競賽并獲獎,有能力在已學機器人技術基礎上做好本項目的研究、設計和制作工作。

本項目具有很好的實用性,開展本創新研究有助于提高學生的實踐能力和創新能力,同意申報該項目。

 

 

簽字:  馬鈞       日期:2017.4.13