我們開源啦!一鍵部署免費使用!Kubernetes上直接運行大數(shù)據(jù)平臺!
導(dǎo)語:市場上首個 K8s 上的大數(shù)據(jù)平臺,開源了!
智領(lǐng)云自主研發(fā)的首個完全基于Kubernetes的容器化大數(shù)據(jù)平臺
Kubernetes Data Platform (簡稱KDP)
開源啦!
開發(fā)者只要準(zhǔn)備好命令行工具,一鍵部署
Hadoop,Hive,Spark,Kafka, Flink, MinIO ...
就可以創(chuàng)建以前要花幾十萬甚至幾百萬才可以買到的大數(shù)據(jù)平臺
無需再花大量的時間和經(jīng)費去做重復(fù)的研發(fā)
高度集成,單機即可體驗大數(shù)據(jù)平臺
在高級安裝模式下
用戶可在現(xiàn)有的K8s集群上集成運行大數(shù)據(jù)組件
不用額外單獨建設(shè)大數(shù)據(jù)集群
項目地址:
https://github.com/linktimecloud/kubernetes-data-platform
辛辛苦苦研究出來的成果,為什么要開源?
這波格局開大,老板有話說
問題1:我們?yōu)槭裁匆_源?
我們的產(chǎn)品一直是基于大數(shù)據(jù)開源生態(tài)體系建設(shè)的。之前就一直有開源回饋社區(qū)的計劃,但是因為之前Kubernetes對于大數(shù)據(jù)組件的支持還不夠成熟,我們也一直在迭代與Kubernetes的適配?,F(xiàn)在我們的企業(yè)版已經(jīng)在很多頭部客戶落地并且在生產(chǎn)環(huán)境下高效運行,覺得這個版本已經(jīng)可以達到大部分生產(chǎn)級項目的需求,集成度以及可用性是能夠幫到有類似需求的用戶的,希望這次開源能夠降低在Kubernetes上集成大數(shù)據(jù)組件的門檻,讓更多Kuberenetes和big data社區(qū)的同行們可以使用。
問題2:開源版本的KDP,能干啥?
KDP可以很方便的在Kubenetes上安裝和管理常用的大數(shù)據(jù)組件,Hadoop,Hive,Spark,Kafka, Flink, MinIO 等等,不需要自己一個一個去適配,可以直接開始使用。然后KDP也提供集成的運維管理界面,用戶可以從界面管理所有組件的安裝配置,運行狀況,資源使用情況,修改配置。而且KDP會將一個大數(shù)據(jù)組件的所有負載(容器,pod)作為一個整體管理,用戶不需要在Kubernetes的控制平面上去管理單獨的負載。
問題3:最大的亮點是?
只要你已經(jīng)在使用Kubernetes,那么在現(xiàn)有集群上十幾分鐘就可以啟動一個完整的大數(shù)據(jù)集群,馬上開始使用,極大的降低了大數(shù)據(jù)平臺的使用門檻。因為我們這個流程是高度集成的,整個安裝過程在一個單機環(huán)境下也都能啟動(例如使用單機kind虛擬集群都可以),所以在測試和實驗環(huán)境下都可以高效使用。當(dāng)然,啟動之后Day 2的很多好處,例如資源的高效利用和集成的運維管理,也是KDP提供的重要功能。
KDP,即在Kubernetes上使用原生的分布式功能搭建及管理大數(shù)據(jù)平臺。
將多套大數(shù)據(jù)組件集成在Kubernetes之上,同時提供一個整體的管理及運維工具體系,形成一個完全基于Kubernetes的大數(shù)據(jù)平臺。企業(yè)級KDP更是支持在同一個Kubernetes集群中同時運行多個大數(shù)據(jù)平臺以及多租戶管理的能力,充分發(fā)揮Kubernetes云原生體系的優(yōu)勢。
KDP,通過對開源大數(shù)據(jù)組件的擴展和集成,實現(xiàn)了傳統(tǒng)大數(shù)據(jù)平臺到K8s大數(shù)據(jù)平臺的平穩(wěn)遷移。
作為市場上首個可完全在Kubernetes上部署的容器化云原生大數(shù)據(jù)平臺,智領(lǐng)云自主研發(fā)的KDP,深度整合云原生架構(gòu)優(yōu)勢,將大數(shù)據(jù)組件、數(shù)據(jù)應(yīng)用及資源調(diào)度混排,納入Kubernetes管理體系,從而帶你真正玩轉(zhuǎn)云原生!
總體框架
簡單來講,KDP可以允許客戶在Kubernetes上運行它所有的大數(shù)據(jù)組件,并把它們作為一個整體管理起來。
在Kubernetes上運行大數(shù)據(jù)平臺有三個好處:
第一,更高效的大數(shù)據(jù)組件集成:KDP提供標(biāo)準(zhǔn)化自動化的大數(shù)據(jù)組件部署和配置,極大地縮短了大數(shù)據(jù)項目開發(fā)和上線時間;
第二,更高效的大數(shù)據(jù)集群運管:KDP通過大數(shù)據(jù)組件與K8s的集成,在K8s之上搭建了一個大數(shù)據(jù)組件管理抽象層,標(biāo)準(zhǔn)化大數(shù)據(jù)組件生命周期管理,并提供UI界面進一步提升了部署、升級等操作的效率;
第三,更高的集群資源利用率:利用K8s的資源管理和配額機制,與其它系統(tǒng)共享K8s資源池,精細化資源管理,對比傳統(tǒng)大數(shù)據(jù)平臺約30%左右的資源利用率,KDP可大幅提升至60%以上。
社區(qū)
我們期待您的貢獻和建議!最簡單的貢獻方式是參與Github議題/討論的討論。 如果您有任何問題,請與我們聯(lián)系,我們將確保盡快為您解答。
微信群:添加小助手微信拉您進入交流群
釘釘群:搜索公開群組號 82250000662
貢獻
參考開發(fā)者指南,了解如何開發(fā)及貢獻 KDP。
https://linktimecloud.github.io/kubernetes-data-platform/docs/zh/developer-guide/developer-guide.html
免責(zé)聲明:市場有風(fēng)險,選擇需謹(jǐn)慎!此文僅供參考,不作買賣依據(jù)。
標(biāo)簽:
推薦
-
我們開源啦!一鍵部署免費使用!Kubernetes上直接運行大數(shù)據(jù)平臺!
導(dǎo)語:市場上首個 K8s 上的大數(shù)據(jù)平臺,開源了!智領(lǐng)云自主研發(fā)的
來源: -
3E飛龘,七星越朤!AOC顯示器2024年渠道大會在河內(nèi)召開,攜手伙伴「齊聚升龍?新篇」
2024年4月9日,全球知名專業(yè)顯示設(shè)備提供商和品牌商AOC顯示器,與全國渠道伙伴龍年聚首,在越南河內(nèi)這座...
來源: -
港知交所攜手深圳技術(shù)大學(xué)成功開展《深圳市高校大學(xué)生知識產(chǎn)權(quán)意識提升活動成果發(fā)布講座》
港知交所攜手深圳技術(shù)大學(xué)開展《深圳市高校大學(xué)生知識產(chǎn)權(quán)意識提升活動成果發(fā)布講座》,旨在為深圳市培...
來源: -
后代無憂以中醫(yī)智慧賦能農(nóng)業(yè),助力農(nóng)民實現(xiàn)財富增長新篇章!
時代進步和科技發(fā)展,促使傳統(tǒng)農(nóng)業(yè)面臨轉(zhuǎn)型升級的迫切需求,中醫(yī)綠
來源: -
后代無憂:引領(lǐng)綠色發(fā)展風(fēng)尚,“中醫(yī)”比化肥更懂中國耕地
隨著人們對健康飲食的日益關(guān)注,綠色農(nóng)業(yè)呈現(xiàn)出蓬勃發(fā)展的態(tài)勢。然
來源: -
后代無憂:勇?lián)嗅t(yī)農(nóng)業(yè)人使命,開創(chuàng)中國特色生態(tài)農(nóng)業(yè)之路
當(dāng)下,隨著人們對健康生活的追求日益增強,綠色、有機、健康的農(nóng)產(chǎn)
來源: -
后代無憂引領(lǐng)中醫(yī)農(nóng)業(yè)創(chuàng)業(yè)潮,萬億市場等你來戰(zhàn)!
現(xiàn)今人們不僅要求吃得飽,更注重吃得好,健康意識持續(xù)提高,對食品
來源: -
后代無憂:傳承中醫(yī)智慧,化解化肥農(nóng)藥難題
在當(dāng)今農(nóng)業(yè)生產(chǎn)中,化肥農(nóng)藥的濫用現(xiàn)象日益嚴(yán)重,不僅對農(nóng)作物和土
來源: -
何為中醫(yī)農(nóng)業(yè)人?后代無憂開創(chuàng)中醫(yī)農(nóng)業(yè),助推農(nóng)業(yè)高質(zhì)量發(fā)展
現(xiàn)代農(nóng)業(yè)與傳統(tǒng)中醫(yī)的跨界融合,即中醫(yī)農(nóng)業(yè),展現(xiàn)出了顯著的可行性
來源: -
天貓魔屏C2新品發(fā)布,終身會員投影儀引領(lǐng)行業(yè)格局, 亮相中國網(wǎng)絡(luò)視聽大會
3月28日,第十一屆中國網(wǎng)絡(luò)視聽大會在成都開幕。本屆大會以“極視聽
來源: -
聚拍網(wǎng)積極探索廢舊基建物資回收與新質(zhì)生產(chǎn)力發(fā)展新業(yè)態(tài) 推動廢棄物循環(huán)利用
今年兩會強調(diào)“大力推進現(xiàn)代化產(chǎn)業(yè)體系建設(shè),加快發(fā)展新質(zhì)生產(chǎn)力”
來源: -
全國人大代表、中國移動遼寧公司總經(jīng)理劉宏志:推動數(shù)字鄉(xiāng)村建設(shè)、激發(fā)鄉(xiāng)村振興“數(shù)智力量”
“數(shù)字鄉(xiāng)村建設(shè)有助于促進農(nóng)業(yè)全面升級、農(nóng)村全面進步、農(nóng)民全面發(fā)
來源: -
又一爆款!魅族21 PRO首銷場面火爆,99%好評度銷冠拿到手軟
近年來,國內(nèi)智能手機消費市場步入寒冰期,智能手機創(chuàng)新空間有限,消費者換機的周期也在延長。如今一直...
來源: -
專業(yè)影像呈現(xiàn)精細化膚質(zhì) 佳能助力CBS皮膚影像設(shè)備構(gòu)建攻克皮膚難題硬實力
在杭州,隨著電商經(jīng)濟起飛的,還有顏值經(jīng)濟。這里有著全國最大的電
來源:
財富更多》
-
印尼民眾“零距離”體驗雅萬高鐵列車
印尼民眾“零距離”體驗雅萬高鐵列車---...
-
人民幣兌美元中間價報7.1986 調(diào)升162個基點
人民幣兌美元中間價報7 1986調(diào)升162個...
-
茶飲“卷”到健康戰(zhàn)
茶飲“卷”到健康戰(zhàn)---從卷規(guī)模、卷價格...
-
我國清潔能源建設(shè)景氣持續(xù)向好 電力建設(shè)呈現(xiàn)結(jié)構(gòu)優(yōu)化發(fā)展態(tài)勢
我國清潔能源建設(shè)景氣持續(xù)向好電力建設(shè)...
-
劉玉民任北京密云區(qū)委常委
劉玉民任北京密云區(qū)委常委---中國經(jīng)濟網(wǎng)...
動態(tài)更多》
熱點
- realme10系列正式宣布 采用雙曲面屏正面頂部居中挖孔
- 五菱全新微型電動車內(nèi)飾官圖發(fā)布 座椅采用星際形打孔工藝
- 努比亞Z40星空典藏版正式開售 采用微米級油畫筆觸紋理技術(shù)
- iQOO11系列正式官宣 首批搭載驍龍8Gen2機型之一
- 海信34英寸帶魚屏顯示器發(fā)布 支持165Hz刷新率
- OPPO明年將商用240W超級閃充 新一代電芯支持更高倍率充電
- 第一款A(yù)ndroid手機渲染圖曝光 橫向滑蓋設(shè)計和全尺寸鍵盤
- 吉利首款純電皮卡11月9日上市 車輛續(xù)航里程超過610公里
- 努比亞Z40SPro星空典藏版正式公布 堪稱窄邊框天花板
- vivo無線運動耳機2今日正式上市 首銷只要119元
- 智能降噪、多語言轉(zhuǎn)寫,科大訊飛SR302錄音筆助你輕松應(yīng)對各種專業(yè)錄音需求!
- Lexar雷克沙簽約BLG戰(zhàn)隊,成為官方唯一指定存儲品牌
- 聯(lián)想Agent個人助理“小樂同學(xué)”初成型,AI PC生態(tài)新未來正探索
- 成功盛會:2024年深圳PMO年度論壇成功舉行
- 浙商銀行點贊東軟 數(shù)智檔案再獲認可
- CES大展觀察:激光顯示唱主角,顯示界的“變形金剛”引外媒點贊
- 東軟攜手天津濱海新區(qū) 構(gòu)建整合型醫(yī)療健康服務(wù)體系
- XIN.G極聚,競勢能!機械師2024春季新品發(fā)布會全回顧!
- 2023新經(jīng)濟企業(yè)TOP500發(fā)布 騰訊連續(xù)三年蟬聯(lián)桂冠
- 幾何之美 全按心境——施耐德電氣境尚系列開關(guān)插座評測
- 在科技與人文的十字路口,星紀(jì)魅族為聽障人群帶來新的希望
- 2023百度品牌之夜石家莊站成功舉辦抓住大模型時代商業(yè)機遇
- 為各種工作負載加速 全新英特爾至強可擴展處理器創(chuàng)“芯”無所不及
- 讓電視更“綠”!海信激光電視打造千家萬戶的綠色客廳
- 生成式AI就緒 英特爾發(fā)布第五代至強可擴展處理器
- Flat Ads入選《中國數(shù)字營銷生態(tài)圖(2023版)》5大賽道,獲行業(yè)認可
- KIDE榮獲“中國光伏20年創(chuàng)新先鋒獎”,助力中國光伏蓬勃發(fā)展
- 居家養(yǎng)老喜迎國家標(biāo)準(zhǔn),三胞袁亞非曾建言智慧養(yǎng)老標(biāo)準(zhǔn)化建設(shè)
- 交強險和第三者責(zé)任險的區(qū)別
- 數(shù)字世界的基石:英特爾以太網(wǎng)800系列適配器技術(shù)指南
- ?重新定義人像新美學(xué)標(biāo)準(zhǔn) vivo S18 系列新機即將正式發(fā)布
- 輕薄機身用上旗艦級配置,vivo S18系列成年底中端領(lǐng)域的卷王
- 讓電影短片被看到:企業(yè)搭臺+鏈接產(chǎn)教+面向觀眾
- 東軟入圍賽迪顧問2023中國數(shù)據(jù)中臺領(lǐng)導(dǎo)者象限
- 東軟獲國家數(shù)據(jù)管理能力成熟度四級認證
- 強基建鏈 共融共贏 | 2023大理數(shù)字經(jīng)濟階段成果匯報暨生態(tài)共建簽約儀式成功舉辦
- 對話李傳剛:以顛覆式創(chuàng)新,洞見消費電子未來
- 祝寧斯主任是整形外科專業(yè)出身
- 融資消息 | 長揚科技完成新一輪戰(zhàn)略融資!
- 與兄弟DCP-T426W共度寒冷冬日
- 兄弟DCP-T426W助您歡度圣誕節(jié)
- 全國示范!東軟助力北京市檔案館數(shù)字化通過國家檔案局專家組驗收
- 首屆全球?qū)嶒炇医ㄔO(shè)創(chuàng)新與發(fā)展高峰論壇在廣州舉辦
- 復(fù)雜任務(wù)拆解、物體尋找,星火大模型助力機器人發(fā)展
- 不停拿獎還有超多福利?哈弗二代大狗別提有多香了
- 看病、買藥、查報告,一個APP全搞定!訊飛曉醫(yī),你的私人AI健康助手來了
- 出海服務(wù)選擇海外VPS供應(yīng)商Tothost
- 東軟宣布將打造下一代智能化解決方案
- 華為負一屏外賣“18元大額神券”來襲!搶券當(dāng)天領(lǐng)取當(dāng)天花
- AI時代,F(xiàn)PGA如何全線賦能云網(wǎng)邊
- 宇視亮相中國電信數(shù)字科技生態(tài)展,鑄造數(shù)字科技新生態(tài)
- 聯(lián)發(fā)科第二代硬件光追上線,天璣9300帶來游戲主機級的全局光照
- 數(shù)智重塑企業(yè)增長,2023愛采購城市行深圳站圓滿落幕!
- 全新天璣9300支持第二代硬件光追,可支持熱門手游60FPS順暢運行
- 騰訊再赴“烏鎮(zhèn)之約”,助力建設(shè)包容普惠有韌性的數(shù)字世界
- 天璣9300帶來首款硬件生成式AI引擎,強悍AI算力生圖只需1秒
- 天璣9300全大核架構(gòu)上演高能效魔法,性能猛增40%,功耗大降33%
- 創(chuàng)新提速眼病防控數(shù)字化 協(xié)同構(gòu)建臨床診療新范式
- 如何贏在大模型時代,百名年輕創(chuàng)業(yè)者在Create@AI創(chuàng)客松上給了答案
- 相約臨港新片區(qū)! 首屆國際頂尖孵化器論壇將于12月5日至6日舉行
- 僅剩1天 | 11月8日愛采購城市行亮點劇透!快來報名
- 2023年第三屆和田地區(qū)“京和科技月”參與人數(shù)再創(chuàng)新高
- 為創(chuàng)新成長提速—「阿里云創(chuàng)業(yè)者計劃」云棲大會專場活動圓滿舉行!
- 中運恒通(廣東)能源科技完成一千萬A輪融資
- 讓MPV也能開出樂趣,從此高端MPV市場只有魏牌高山MPV和其他
- 引入創(chuàng)新火種,33家創(chuàng)業(yè)公司入選第二屆寧波海曙“科創(chuàng)中國”賽道明星
- 佳能“巴蜀影像爭霸賽”火熱進行中 戶外潮流文化節(jié) 快閃活動“坐標(biāo)重慶”
- 好貨提前GO,福利享不停!這些雙十一優(yōu)惠不允許你還不知道
- 雙11打印好物推薦:兄弟Brother DCP-T426W
- 7位企業(yè)家齊聚騰訊產(chǎn)業(yè)科技大會,分享中國產(chǎn)業(yè)創(chuàng)新經(jīng)驗
- 2023CITC·網(wǎng)易創(chuàng)新創(chuàng)業(yè)大賽全國12強出爐!
- Veritas宣布微軟成為首個通過Veritas REDLab安全解決方案驗證的Veritas 360 Defense合作伙伴
- 北斗航天科技發(fā)展集團有限公司出海馬拉西亞,促進科技合作,共享創(chuàng)新成果
- 2023CITC·網(wǎng)易創(chuàng)新創(chuàng)業(yè)大賽全國半決賽即將啟幕
- 科大訊飛智能辦公本X3:讓你的工作更輕松,生活更美好
- Veritas推出Veritas? 360 Defense,為企業(yè)本地部署和跨云提供網(wǎng)絡(luò)韌性
- 奧運冠軍林丹、抖音大V小黑兄弟空降Cleer抖音直播間,引爆雙十一購物熱潮!
- Farseer洞視科技助力香港金融探索深度數(shù)字化轉(zhuǎn)型
- 世界冠軍林丹,演員朱梓驍、趙奕歡....空降Cleer抖音直播間,雙十一開門紅超多福利送不停!
- 云思智慧, 助力華建集團數(shù)字化泛辦公轉(zhuǎn)型
- 海爾勁爽空調(diào),以可變分流技術(shù)引領(lǐng)行業(yè)技術(shù)變革
- 格之格專注用戶體驗,打造差異化服務(wù)生態(tài)圈
- 15組創(chuàng)作達人齊聚飛宇科技,穩(wěn)定器新品提前曝光?!
- Veritas最新研究:近半數(shù)的企業(yè)低估其自身風(fēng)險水平
- 充得快、上車快、量產(chǎn)快,見證“神行速度”
- 百利好環(huán)球:WTT球星挑戰(zhàn)賽圓滿落幕 祝賀國乒豪奪4冠!
- 助力便捷辦公,兄弟DCP-B7535DW
- 墨爾本電動汽車展落幕,歐拉好貓力壓比亞迪元榮登最佳用車成本榜
- 奔圖M6700DW Plus,助力業(yè)務(wù)靈動而上
- “創(chuàng)客北京2023”中國電信?5G+AI數(shù)字化創(chuàng)新專項賽決賽成功舉辦
- 無極品牌第五年,隆鑫跑通高端化之路
- 奔圖M6700DW Plus,助力圓夢舞蹈奇跡
- 奔圖P1新品單功能激光打印機,讓學(xué)習(xí)如此輕松
- 三星新一代Thom Browne限量版二輪再售罄 Galaxy Z Fold5持續(xù)熱銷中
- 百利好環(huán)球:杭州亞運熱血開戰(zhàn) 全力支持國乒
- 歐孚科技總經(jīng)理Laura:工具未來式
- 數(shù)通世界,智創(chuàng)未來 | 歐孚科技亮相黃河流域首屆人力資源數(shù)字化主題交流暨數(shù)字化產(chǎn)品應(yīng)用展覽會
- 入手15萬級高品質(zhì)電四驅(qū)SUV,哈弗梟龍MAX帶你暢享美好“車生活”
- 無兄弟,不越野,長城越野家族向你發(fā)來巡游邀請
- 訊飛聽見會寫:智能語音生成文案,顛覆你的工作方式
- ALIENWARE外星人助力BLG選手為國出征
- 戴森開展多元公益科普活動,響應(yīng)全國科普日號召
- 英特爾超能云終端3.0再進化,助力千行百業(yè)云終端新體
- 宮庭海首度打造自己廠牌音樂節(jié)
- AI引領(lǐng)潮流,高效工作新伙伴 數(shù)珩S-GPT明鏡打造全新工作體驗
- G9有足夠的底氣,為中國純電爭氣,做高端內(nèi)銷轉(zhuǎn)出口的先行者
- 國慶長假必備品,Brother DCP-T426W 為你留存記憶
- 自主品牌競爭激烈,哈弗二代大狗與捷途旅行者誰才是真的輕越野?
- 計算機軟件國家工程研究中心成立三十周年,新一屆技術(shù)委員會亮相
- 電動滑板車行業(yè)煥發(fā)新生:HX歡喜引領(lǐng)智能化時代
- 思特奇深度參與國家信息中心數(shù)字政府建設(shè)暨數(shù)字安全技術(shù)研討會
- 人民幣兌美元中間價報7.1986 調(diào)升162個基點
- 實華股份在新三板掛牌公開轉(zhuǎn)讓
- 易事特在廣東成立鈉電科技公司 注冊資本5000萬
- 劉玉民任北京密云區(qū)委常委
- 龍傳君安獲天使輪融資
- 強信心 穩(wěn)經(jīng)濟 促發(fā)展 | 山東:精準(zhǔn)助企紓困 提升民營企業(yè)發(fā)展能級
- “好品山東”金字招牌激揚民營企業(yè)澎湃動能
- 更美APP等被恢復(fù)執(zhí)行5520萬
- 聰脈信息獲數(shù)千萬元A輪融資
- 茶飲“卷”到健康戰(zhàn)
- 我國清潔能源建設(shè)景氣持續(xù)向好 電力建設(shè)呈現(xiàn)結(jié)構(gòu)優(yōu)化發(fā)展態(tài)勢
- 印尼民眾“零距離”體驗雅萬高鐵列車
- 熱搜里的山東文化“兩創(chuàng)”
- “強國復(fù)興有我”全市學(xué)校國防教育系列活動啟動暨全國國防教育示范學(xué)校授牌儀式成功舉辦
- 騰騰窯火出美器 精品陶琉迎客來
- 36氪首發(fā)|服飾創(chuàng)作生態(tài)服務(wù)公司「元衣科技」完成數(shù)百萬天使輪融資
- 同時出戰(zhàn):國足VS弱旅切忌陰溝翻船,國奧想要出線必須狂勝對手
- G15嘉瀏段數(shù)字化改建,打造智慧高速示范樣板
- 太無憂綜合意外險拒保是為什么呢?可以保障哪些方面?
- 一圖看懂華為Mate 60 Pro+:史上最強Mate機皇
- 良品鋪子尋味溯源直播首站走進云南萬畝夏威夷果基地
- 斗破蒼穹:蕭炎對云山懟臉開大,三色火蓮爆發(fā)震退在場所有人!
- 鄧普頓“股票愿望清單”
- Roblox計劃今年10月登陸索尼PlayStation平臺