NEWS CENTER

新聞中心

【技術(shù)工場】巨龍信息大數(shù)據(jù)建模與分析技術(shù)淺析

時間：2022-03-28 17:06:12 次數(shù)：3885

產(chǎn)品介紹

智立方是巨龍信息研發(fā)的一款跨數(shù)據(jù)平臺的數(shù)據(jù)挖掘、分析、建模工具。面向各行各業(yè)在大數(shù)據(jù)建設(shè)過程的應(yīng)用訴求，致力于構(gòu)建智能數(shù)據(jù)體系，打造更便捷、更易用的大數(shù)據(jù)生產(chǎn)力平臺，提供從數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)建模、分析探索、數(shù)據(jù)可視化到數(shù)據(jù)API服務(wù)等全鏈路的完整解決方案，充分滿足建設(shè)數(shù)據(jù)過程中的多樣復(fù)雜需求，幫助客戶打通挖掘數(shù)據(jù)價值，促進(jìn)在業(yè)務(wù)場景中應(yīng)用大數(shù)據(jù)。

產(chǎn)品特征

全流程體驗：提供“一站式”體驗，從數(shù)據(jù)接入、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)建模、分析探索、數(shù)據(jù)可視化到數(shù)據(jù)API服務(wù)，覆蓋全流程形成完整閉環(huán)。

可視化建模：提供全程可視化的模型搭建，通過拖拽的交互方式，采用引導(dǎo)式及“搭積木”般的畫圖式界面幫助用戶實現(xiàn)數(shù)據(jù)、組件的靈活的組合，從而快速地獲得高質(zhì)量的模型搭建。

數(shù)據(jù)可視化：提供常見的可視化圖表和探索分析能力，讓用戶可以便捷的將模型結(jié)果采用圖表的形式展現(xiàn)，讓數(shù)據(jù)更生動更直觀。

簡捷高效易用：純拖拽式操作，能夠極大地降低建模的技術(shù)門檻，讓復(fù)雜、繁瑣的數(shù)據(jù)建模過程變更簡單、高效。

數(shù)據(jù)應(yīng)用簡單：模型結(jié)果可便捷的生成儀表盤，以及快速生成數(shù)據(jù)API的能力，以滿足不同的業(yè)務(wù)應(yīng)用場景對模型結(jié)果的使用需求，非常方便實現(xiàn)建模成果的分享和使用。

技術(shù)淺析

標(biāo)準(zhǔn)化數(shù)據(jù)集

■統(tǒng)一數(shù)據(jù)集模型：適配主流關(guān)系庫，NOSQL庫，文件，統(tǒng)一數(shù)據(jù)訪問方式，方便項目的快速擴(kuò)展，打通各個異構(gòu)庫之間的數(shù)據(jù)集計算過程

■標(biāo)準(zhǔn)化SQL解析引擎：實現(xiàn)異構(gòu)庫之間跨庫JOIN，分組統(tǒng)計等查詢檢索業(yè)務(wù)

統(tǒng)一的表達(dá)式框架

■可擴(kuò)展的表達(dá)式定制框架：方便根據(jù)項目定義特定的分析計算公式，滿足多變復(fù)雜的項目定制需求

■統(tǒng)一的表達(dá)式解析器：滿足表達(dá)式邏輯的統(tǒng)一復(fù)用，實現(xiàn)一次編寫，隨處可用

圖形化模型構(gòu)建

■標(biāo)準(zhǔn)化數(shù)據(jù)集：用戶無需關(guān)注使用的庫類型或數(shù)據(jù)類型，統(tǒng)一標(biāo)準(zhǔn)化為二維數(shù)據(jù)集

■過程可視化：通過“拖”，“拉”，“拽”的方式配置模型計算的流程，步驟與步驟之間松耦合，每個步驟輸出新的標(biāo)準(zhǔn)數(shù)據(jù)集，方便用戶控制數(shù)據(jù)的計算和流轉(zhuǎn)

■計算過程插件化：插件化的計算過程，可快速響應(yīng)項目定制的過程插件

■內(nèi)置主流數(shù)據(jù)集計算插件：提供主流的集合運算插件，適應(yīng)各種數(shù)據(jù)集負(fù)責(zé)運算

■快速即席查詢配置：計算出的結(jié)果集可快速通過即席查詢配置構(gòu)建方案，發(fā)布到前臺，給用戶提供快速的結(jié)果集檢索

靈活高效的標(biāo)簽體系

■自定義標(biāo)簽體系：自定義標(biāo)簽項，標(biāo)簽值，標(biāo)簽分類；支持枚舉標(biāo)簽，復(fù)雜業(yè)務(wù)標(biāo)簽，基本類型標(biāo)簽的定義；方便用戶快速構(gòu)建行業(yè)標(biāo)簽體系。

■復(fù)雜標(biāo)簽計算邏輯：支持復(fù)雜標(biāo)簽計算邏輯的表達(dá)式編寫，支持事件觸發(fā)的標(biāo)簽計算。靈活應(yīng)對各種復(fù)雜業(yè)務(wù)場景。

■高效的標(biāo)簽立方體：分布式標(biāo)簽立方體，可擴(kuò)展的存儲架構(gòu)，支持超過10000+的標(biāo)簽項的毫秒級檢索，研判，比對。為行業(yè)用戶的行為決策分析提供強(qiáng)大支撐。

高性能關(guān)系分析模型

■高性能關(guān)系檢索：快速定位帶時間周期的行為關(guān)系人，根據(jù)關(guān)系親密度排分，不落下任何可疑人員。

■復(fù)雜關(guān)系計算邏輯：支持復(fù)雜關(guān)系計算邏輯的表達(dá)式編寫，靈活應(yīng)對各種復(fù)雜業(yè)務(wù)場景，如同車廂，相鄰位置等。

數(shù)據(jù)集的快速比對

■比對數(shù)據(jù)集的快速構(gòu)建：支持文件，數(shù)據(jù)庫表，SQL語句等多種數(shù)據(jù)集的構(gòu)建，適應(yīng)各種復(fù)雜場景。

■高效的比對引擎：分布式比對引擎，實現(xiàn)千萬，億數(shù)據(jù)級數(shù)據(jù)的秒級比對，10億級數(shù)據(jù)的分鐘比對。

■結(jié)果集的自定義存儲與再次比對：可將結(jié)果集根據(jù)用戶要求存儲或再次生成比對方案，方便用戶快速洞察數(shù)據(jù)集與結(jié)果集之間的關(guān)注信息。

■比對隊列的合理調(diào)度：根據(jù)集群情況合理安排比對任務(wù)，保證比對引擎的高可用。

高性能任務(wù)執(zhí)行

■任務(wù)的水平切分

任務(wù)根據(jù)分區(qū)自動被分片到多臺DMC-分析引擎中，每個分析引擎的執(zhí)行容器使用多線程并發(fā)的對數(shù)據(jù)進(jìn)行加工處理后加載到數(shù)據(jù)倉庫中。當(dāng)源頭庫單表數(shù)據(jù)量巨大時，可極大提升整體的數(shù)據(jù)集成效率和性能