來源:北大青鳥總部 2023年02月10日 10:05
在人工智能領域,對于AI的開發和服務,經常會需要一個基礎平臺來做技術支撐,這個基礎平臺要求綜合功能多,包括全流程可視化的建模、數據處理、特征工程、算法計算、模型評估、模型發布等能力,這就是AI開發與服務平臺,使用這樣的平臺能夠大大降低構建模型的門檻,提高建模效率。相比傳統的AI開發與服務人員專業要求高,數據處理慢以及建模周期長,人工智能開發與服務平臺大大提高了AI的開發和服務效率,就像航空母艦強大的作戰能力一樣,平臺對于AI的開發和服務有著強勁的支撐能力。本文將對這個人工智能領域的新型“航母”進行功能和思路介紹,希望能借助其來擴寬AI開發人員的思維。 從航空母艦的相應資料來看,其大概結構主要分以下幾個部分: 動力體系:包括供應航母一切動力系統,如燃油庫、動力艙、核反應堆等。 艦載武器:包括航母攻防的相關武器、彈藥、艦載機等。 艦體甲板:包括艦載機的彈射裝置、攔截裝置、甲板、裝甲艦體以及相應的輔助設施等。 綜合艦島:是航母的指揮中心,包括指揮室、控制室、監控室、雷達聲納系統、導航和航海系統等。 機庫系統:存放和維修保養艦載機、以及其他輔助設施的場所。 生活體系:支撐艦上人員生活、雜物、供給等的體系,包括宿舍、餐廳、浴室、廚房、清潔、健身設施等。 本文介紹的人工智能(AI)開發與服務平臺,擁有著類似航空母艦強大作戰支撐能力的功能結構。為更好地幫助讀者理解,我們可以將AI開發與服務平臺和航空母艦進行初步的對比剖析,它們對應的功能結構理解如下圖: AI開發與服務平臺可以看作是AI領域項目開發和服務的“航母”,它提供一站式的AI應用開發、部署、管理、運維監控等功能,提供多算法融合調度、大數據規范化處理、多場景應用服務能力API 開放,能夠降低AI 應用開發成本,節省建模開發、維護成本。 平臺類似航母結構,規劃為“一平臺、一倉庫、四中心”。 下面對各部分做簡單剖析。 AI開發與服務平臺的數據資源中心就如同航母的核動力一樣,提供全艦的動力來源,是平臺運行能力的體現。數據資源中心為AI開發者提供多種數據接入的能力,支持完善的存儲、匯總和分析等服務,實現用戶數據、來源數據、模型數據與平臺服務的全周期連接。功能有數據源管理、數據預處理、數據整理清洗等數據存儲和操作處理。具體包括: 平臺的數據源可以是文件、數據庫、接口等方式 整體的數據處理方式是所見即所得的,類似操作EXCEL一樣簡單。 提供統一數據集成、場景數據、特征數據定義、數據類型轉換等功能,并為不同類型數據提供數據服務組件選擇。 AI開發與服務平臺的建模計算中心就是提供平臺戰斗能力的區域,通過業務數據、業務知識和算法進行結合,將數據中的價值挖掘出來,進行快速可視化建模,形成業務模型。建模開發人員只需要了解建模原理,無需代碼能力,即可獲得較好的可用算法模型。建模計算中心裝備精良,有以下能力: 高維度模型算法和特征工程算法 高性能的分布式計算框架 在大數據和海量特征(支持萬億級以上)的場景下具備優秀的計算能力 比較不同算法的運行結果,通過評估值選擇最優算法,并可以調整模型中的可變參數,包括算法參數配置、算法參數調優、算法評估 以可視效果展示模型迭代變化趨勢,進行模型各維屬性的分布匯總 AI開發與服務平臺的算法模型倉庫類似于航母的艦載機的機庫,是算法模型集中管理的地方。提供算法接入規范和自助接入工具,以及提供自動化托管和自動化適配能力,可兼容多個算法合作伙伴的多種算法,實現多算法統一管理以及提升算法工程化效率和復用能力。算法模型倉庫可以放置很多當前主流的算法模型,以方便開發者直接使用,例如以下算法模型: AI開發與服務平臺的調度管理中心類似于航母的艦島(也即航母的指揮大腦),是平臺的管理核心區域,提供可視化、可拖拽的項目管理、任務編排和調度能力,拖拽構建項目信息、數據流定義、配置,實現多算法融合、多數據組件拼裝和多業務服務組合,快速構建滿足AI業務場景的應用。囊括了算法建模過程的全部調度內容,從數據導入、數據處理、特征選擇、算法選擇、算法評估、算法部署等建模的全部過程。 AI開發與服務平臺的應用服務中心類似于航母的艦體和甲板,是對平臺外應用的服務平臺,能提供數據接入規范和自助接入工具,以及提供自動化適配能力,支持多設備統一分組分類管理,實現便捷地連接智能邊緣終端。提供應用密鑰管理以及數據訂閱推送功能,AI應用開發者可通過API 網關調用平臺提供的多種AI 服務能力,實現快速開發AI 應用以及接收AI結構化數據的推送。同時還具備統計分析分類分析、回歸分析、聚類分析、關聯分析等智能化分析應用功能。 AI開發與服務平臺的技術支撐平臺類似于航母的所有生活基礎支撐體系,提供平臺的設備接入和管理、服務器計算資源以及鏡像倉庫資源的管理功能,為AI應用開發提供完善的資源服務能力。提供AI開發與服務過程中,全生命周期的運營監控、微服務管理、賬號體系管理等能力,保障平臺穩定性和可視化運營,提升平臺開發及輸出能力。 在世界正在從IT時代走向DT時代的當下,越來越多的人工智能應用蓬勃發展,但隨著人工智能、機器學習逐步向信息產業開始普及項目的時候,項目開發和服務過程中的很多實際問題漸漸凸顯出來: 比如算法建模入門門檻較高,需要開發者掌握的背景知識相對較多,需要知曉統計學、概率論、機器學習算法等內容; 如機器學習的算法過多地依賴計算機實現,需要相關從業人員知曉較多的計算機內容; 再者AI的開發通常需要花費較長的時間人工進行數據預處理、特征提取相關內容; 數據維度爆炸,統計分析過程較為復雜和繁瑣; 數據存儲分散,不易集中使用,以及數據安全問題等等。 以上問題都困擾著急需上馬人工智能和機器學習的企業和政府單位,也讓從事AI開發和服務的數據科學家、數據工程師、算法模型師等專業人員經常一籌莫展。為了解決上述問題,AI開發與服務平臺應運而生,并且逐步在各類機器學習項目中大量使用,很多主流大廠如騰訊、百度、阿里巴巴也都打造了自主的AI開發服務平臺。 本文對AI開發服務平臺的常規功能做了初步的介紹,希望能夠讓關注或將要使用該平臺的讀者朋友們有個大概的框架和概念,相信今后AI領域的開發和服務過程中,也會逐步趨向于大規模使用這樣類似的平臺,強大的“航母”戰斗群即將在人工智能的浪潮中啟航。AI“航母”結構簡介
AI“航母”功能淺析
一、動力體系——數據資源中心
二、艦載武器——建模計算中心
三、艦載機庫——算法模型倉庫
四、綜合艦島——調度管理中心
五、艦體甲板——應用服務中心
六、生活體系——技術支撐平臺
AI“航母”啟航