廣告
廣告
您的位置 資訊中心 > 產業新聞 > 正文

機器學習之深度學習的未來

2019-11-08 17:05:55 來源:CDA數據分析師 點擊:933

【大比特導讀】可以想象到一個未來,其中將使用不會利用梯度的有效搜索過程來訓練(增長)全局不可微(但具有可區分部分)的模型,而可利用優勢來更快地訓練可區分部分。使用一些更有效的反向傳播版本的梯度。

鑒于我們對深網的工作原理,局限性以及研究現狀的了解,我們能否預測中期的發展方向?這是一些純粹的個人想法。請注意,我沒有水晶球,所以我預期的很多事情都可能無法實現。這是一個完全投機的職位。我之所以分享這些預測,并不是因為我希望它們將來能被證明是完全正確的,而是因為它們在當前很有趣并且可以付諸實踐。

機器學習

從高層次來看,我看到希望的主要方向是:

通用計算機程序更接近的模型,是建立在比我們當前的可區分層更豐富的基元之上的,這就是我們將如何推理和抽象的方法,這是當前模型的基本弱點。使上述一切成為可能的新型學習形式-允許模型脫離可區分的變換。不需要人工參與的模型-不斷調整旋鈕不是您的工作。更好地,系統地重用以前學習的功能和體系結構;基于可重用和模塊化程序子例程的元學習系統。此外,請注意,這些注意事項并非到目前為止一直是深度學習的基礎的那種監督學習,而是適用于任何形式的機器學習,包括無監督,自我監督和強化學習。標記的來源或訓練循環的樣子從根本上來說并不重要;機器學習的這些不同分支只是同一構造的不同方面。

模型作為序列模型

正如我們在前一篇文章中指出的那樣,我們可以期望在機器學習領域進行必要的轉型發展,是從執行純模式識別并且只能實現局部概括的模型轉向具有抽象和 推理能力的模型,實現極端概括。當前具有基本推理形式的AI程序都由人類程序員進行硬編碼:例如,依賴于搜索算法,圖操作,形式邏輯的軟件。例如,在DeepMind的AlphaGo中,大多數“智能”都是由專業程序員設計和硬編碼的(例如,蒙特卡洛樹搜索);從數據中學習僅發生在專門的子模塊(價值網絡和政策網絡)中。但是在將來,這樣的AI系統可能會完全被了解,而無需人工參與。

實現這一目標的途徑可能是什么?考慮一種著名的網絡:RNN。重要的是,與前饋網絡相比,RNN的限制略少。這是因為RNN不僅僅是幾何變換:它們是在for 循環內重復應用的幾何變換。暫時的for循環本身是由開發人員進行硬編碼的:它是網絡的內置假設。自然地,RNN的表示能力仍然受到極大限制,主要是因為它們執行的每個步驟仍然只是可微的幾何變換,并且它們從一步到一步傳遞信息的方式是通過連續幾何空間中的點(狀態向量)進行的。

現在,想象一下以類似的方式通過編程原語(例如for循環)來“增強”神經網絡,但不僅僅是for具有硬編碼幾何內存的單個硬編碼循環,而是模型所包含的大量編程原語可以隨意操作以擴展其處理功能,例如if分支,while語句,變量創建,用于長期內存的磁盤存儲,排序運算符,高級數據結構(如列表,圖形和哈希表)等等。這樣的網絡可以代表的程序空間將比當前深度學習模型所代表的程序要廣闊得多,并且其中一些程序可以實現更高的泛化能力。

一言以蔽之,我們將擺脫一方面擁有“硬編碼算法智能”(手工軟件),另一方面不再具有“學習幾何智能”(深度學習)的能力。我們將混合使用提供推理和抽象功能的形式化算法模塊和提供非正式直覺和模式識別功能的幾何模塊。整個系統將在幾乎沒有人參與的情況下學習。

我認為AI的一個相關子領域可能會大有作為,它是程序綜合領域,尤其是神經程序綜合領域。程序合成包括通過使用搜索算法(可能是遺傳搜索,如遺傳編程)自動生成簡單程序,以探索大量可能的程序。當找到符合所需規范的程序時,搜索將停止,該程序通常以一組輸入輸出對的形式提供。正如您所看到的,它是否使人聯想到機器學習:給定輸入和輸出對提供的“訓練數據”,我們找到了一個將輸入與輸出匹配并可以歸納為新輸入的“程序”。不同之處在于,我們生成的不是在硬編碼程序(神經網絡)中學習參數值通過離散搜索過程獲取源代碼。

我絕對希望這個子領域在未來幾年內會引起新的興趣。特別是,我希望在深度學習和程序合成之間出現一個交叉子域,在該領域中,我們不會以通用語言生成程序,而會在其中生成神經網絡(幾何數據處理)。流)增加了一組豐富的算法的圖元,如for循環等等。與直接生成源代碼相比,這應該更容易處理和有用,并且它將大大擴展機器學習可以解決的問題的范圍-在給定適當的訓練數據的情況下,我們可以自動生成的程序空間。象征性AI和幾何AI的融合。當代的RNN可以看作是這種混合算法-幾何模型的史前祖先。

聲明:轉載此文是出于傳遞更多信息之目的。若有來源標注錯誤或侵犯了您的合法權益,請與我們聯系,我們將及時更正、刪除,謝謝。

分享到:
閱讀延展
人工智能 算法 機器學習
  • 上海臨港人工智能開發者大會正式開幕 共話人工智能發展與未來

    上海臨港人工智能開發者大會正式開幕 共話人工智能發展與未來

    上海市政府副秘書長、臨港新片區管理委員會黨組書記、常務副主任朱芝松在致辭中表示,上海將圍繞“打造人工智能人才高地”的目標,重點建設人工智能開發者生態,打造具有全球影響力的人工智能開發者社區和開源開放系統。

  • 百度位列中國人工智能專利申請量榜單第一 成為申請量最高的國家

    百度位列中國人工智能專利申請量榜單第一 成為申請量最高的國家

    報告數據顯示,截至2019年10月,中國人工智能專利申請量累計44萬余件,超越美國成為 AI 領域專利申請量最高的國家。百度、騰訊、微軟、浪潮、華為專利申請數量名列前五。

  • 專家學者星城論道 長沙人工智能產業“利刃出鞘”

    專家學者星城論道 長沙人工智能產業“利刃出鞘”

    人工智能時代的技能人才不僅要有過硬的專業知識,更要有能夠把所掌握的理論、知識和先進做法推而廣之的能力。面對大數據、人工智能、區塊鏈等提出的知識化挑戰以及沖擊高精尖技術的現實需求,我們必須培養一批具有真才實學的執行者,即能“攬瓷器活”的“金剛鉆”。

  • 首批“上海市人工智能創新中心”正式授牌

    首批“上海市人工智能創新中心”正式授牌

    創新中心建設是上海市為加快推動人工智能產業創新發展,激發市場主體創新活力,加強人工智能科研前瞻布局,構建一流創新生態的創新之舉。創新中心的設立主要是針對一些創新能力強、細分領域優勢明顯的人工智能企業,鼓勵其通過創建創新中心,提升創新能力。

  • 人工智能將成為電網和泛在電力物聯網建設發展的重要方向

    人工智能將成為電網和泛在電力物聯網建設發展的重要方向

    電力行業目前已圍繞電網智能運檢、運行控制、企業管理和用電服務等領域開展人工智能自主創新。如何更好地發揮人工智能優勢,為泛在電力物聯網建設添薪?這對企業自身提出了新的要求。

  • 制造創新與工業軟件

    制造創新與工業軟件

    制造業討論的各種發展,無論是基礎的智能制造、工業互聯網、人工智能的發展,其本質是借助于不同的技術來解決制造業中的“質量”、“成本”與“交付”這些精益制造所談的核心問題,而工業互聯網主要是通過數字化將整個制造流程可復用。

  • 從仿生復眼攝像機,談談攝像機未來發展

    從仿生復眼攝像機,談談攝像機未來發展

    在研究上,2015年9月仿生視覺系統實驗室正式成立,通過模仿人類視覺開展類腦智能研究,近年來該實驗室研究成果包括:仿生雙目傳感器及相關算法、仿生雙目攝像機、仿生雙目機器人等。

  • 人工智能可以解決困擾科學家許久的“三體問題”

    人工智能可以解決困擾科學家許久的“三體問題”

    Brutus之類的程序之所以計算得這么慢,是因為它們采用了“蠻力計算法”,即窮舉法,對天體軌跡的每一小步都要進行計算。而神經網絡則僅僅分析了由這些計算產生的運動軌跡、并從中歸納出相應規律,借此預測系統未來的演變結果。

  • AI換臉風波之后,刷臉支付能否確保萬無一失

    AI換臉風波之后,刷臉支付能否確保萬無一失

    眼下,刷臉支付已成為各大科技公司未來爭奪的戰場,這一事件也再次把外界普遍關注的用戶隱私問題拋了出來。當換臉算法更加高明,現有的刷臉支付能否確保萬無一失?

  • 無需調控而勝任不同任務 這種AI更接近人類思考方式

    無需調控而勝任不同任務 這種AI更接近人類思考方式

    人工智能發展到現在的高度,技術上較大的功臣應該屬于深度學習算法。深度學習利用多層神經網絡,從海量的數據中學習,從而實現對未來的預測,并使人工智能系統越來越智能。

  • 零基礎做AI算法開發現實嗎?

    零基礎做AI算法開發現實嗎?

    在2019年深圳安博會上,華為、百度云、海康威視這幾家都有詳細展示自家的AI開放平臺在自定義AI應用模型方面的服務,也讓我們看到了AI開放平臺相比于傳說中的神奇更接地氣的一面。

  • 機器學習是人工智能的核心 機器學習的核心則是算法

    機器學習是人工智能的核心 機器學習的核心則是算法

    從層級上來說,機器學習位于AI的技術層,與其他技術的相融合,構成了計算機視覺、智能語音、模式識別、數據挖掘、統計學習等AI核心技術,并在應用層得以體現。

微信

第一時間獲取電子制造行業新鮮資訊和深度商業分析,請在微信公眾賬號中搜索“大比特商務網”或者“big-bit”,或用手機掃描左方二維碼,即可獲得大比特每日精華內容推送和最優搜索體驗,并參與活動!

發表評論

  • 最新評論
  • 廣告
  • 廣告
  • 廣告
廣告
Copyright Big-Bit ? 1999-2019 All Right Reserved 大比特資訊公司 版權所有       未經本網站書面特別授權,請勿轉載或建立影像,違者依法追究相關法律責任  
双色球合买高手