技術優(yōu)勢
TECHNICAL
Calin數據采集
零拷貝內存
應用層和驅動之間進行的數據交換全部采用零拷貝技術
讓采集應用曾訪問網卡內核空間的內存,如網卡訪問自己地址空間一樣
沒有系統(tǒng)調用的上下文切換時間,沒有加鎖開銷
高速網絡處理
采用自主創(chuàng)新的高性能處理架構,海量網絡數據包被抓取,優(yōu)先調度和處理,不丟包、不累計
多核數據歸并
每個鏈接的數據包按照分發(fā)規(guī)則分發(fā)到不同CPU上進行處理
同一個連接、同一個用戶的數據包只會分發(fā)到同一個CPU
對用戶和連接資源的處理都是無鎖的高性能內存訪問方式
業(yè)務內存保障
把操作系統(tǒng)的內存分為了兩部分,一部分由操作系統(tǒng)進行管理,另外一部分則構成關鍵業(yè)務內存池
在操作系統(tǒng)層面進行隔離,保證業(yè)務程序有充分內存進行業(yè)務處理,保障數據包暢通
業(yè)務深度識別
能利用DPI和DFI技術,對數據包解析,識別用戶面數據中包含的業(yè)務類型,并提取相關元數據字段
設備能夠支持采用定期或是補丁去方式更新業(yè)務識別能力,持續(xù)跟蹤各種應用的發(fā)展和演進
Mintaka的大數據平臺
高可擴展性:
Mintaka大數據平臺所采用的Hadoop是一個高度可擴展的存儲平臺,Hadoop可以存儲和分發(fā)橫跨數百個并行操作的廉價的服務器數據集群。不同于傳統(tǒng)的關系型數據庫系統(tǒng)不能擴展到處理大量的數據, Hadoop是能給企業(yè)提供涉及成百上千TB的數據節(jié)點上運行的應用程序。
成本效益:
Hadoop還為企業(yè)用戶提供了極具成本效益的存儲解決方案。傳統(tǒng)的關系型數據庫管理系統(tǒng)的問題是,它并不符合海量數據的處理器,不能夠符合企業(yè)的成本效益,而且有些商業(yè)數據庫使用費用非常昂貴。許多公司不得不假設那些數據最優(yōu)價值,然后根據這些有價值的數據設定分類,如果保存所有的數據,那么成本就會過高。雖然這種方法可以短期內實現(xiàn)工作,但是隨著數據量的增大,這種方式并不能很好的解決問題。Hadoop的架構則不同,其版權使用是免費的,其被設計為一個向外擴展的架構,可以以一般的x86服務器集群就提供數百TB的存儲和計算能力,經濟地存儲所有公司的數據供以后使用,節(jié)省的費用是非常驚人的。
最大化數據的價值:
Hadoop可以容納移動運營商中的不同類型的數據,從這些數據中產生價值,這意味著移動運營商可以利用Hadoop的靈活性從用戶行為、用戶位置、用戶標簽等數據中獲得寶貴的商業(yè)價值,并拓展原來的通信業(yè)務到各種大數據運營業(yè)務,與政府及商業(yè)機構開展各種業(yè)務合作。
海量數據的統(tǒng)計分析:
海量數據的統(tǒng)計分析:Hadoop的架構可以以一般的x86服務器集群就提供數百TB的存儲和計算能力,其被廣泛應用于各大互聯(lián)網公司,包括百度、阿里巴巴及淘寶。
實時:
集成Spark Streaming流計算技術,滿足10分鐘實時指標統(tǒng)計;集成HBase滿足歷史數據及詳單查詢響應2秒以內。
穩(wěn)定:
集群在同時垮掉2個節(jié)點情況下不影響生產。
橫向擴展:
集群支持在線、橫向擴展。
資源的靈活調度、可隔離及均衡利用:
利用MESOS進行資源的靈活調度及計算資源的均衡應用,對比于YARN,MESOS可以隔離實時處理模塊及非實時處理模塊的計算資源,以保證實時處理模塊的時效性,避免非實時處理模塊對實時處理模塊的影響。
智能規(guī)則引擎:
能規(guī)則引擎支持對于用戶標簽智能統(tǒng)計及分析,智能規(guī)則引擎使用Spark MLLib技術,其支持四種常見的機器學習問題:二元分類、回歸聚類以及協(xié)同過濾、同時也包括一個底層的梯度下降優(yōu)化基礎算法來智能地計算用戶標簽,以盡可能地精確地為各種業(yè)務定位目標用戶。
