日立有限公司和企業(yè)數(shù)據(jù)云公司Cloudera宣布已采用日立的“ Pentaho”數(shù)據(jù)集成和分析平臺(tái)(日立Lumada產(chǎn)品組合的核心)和“ Cloudera Enterprise Data Hub”。最近開始運(yùn)營(yíng)的東京證券交易所的新數(shù)據(jù)利用平臺(tái)(“平臺(tái)”)。

該平臺(tái)標(biāo)準(zhǔn)化了整個(gè)日本交易所集團(tuán)的數(shù)據(jù)管理，并簡(jiǎn)化了后臺(tái)辦公操作(例如表單創(chuàng)建和交易費(fèi)用計(jì)算)以及擴(kuò)展信息業(yè)務(wù)的基礎(chǔ)。通過結(jié)合Pentaho和Cloudera Enterprise Data Hub，該平臺(tái)實(shí)現(xiàn)了有效的數(shù)據(jù)集成和簡(jiǎn)單的可視化，同時(shí)還大大提高了處理性能，例如通過縮短處理時(shí)間。

第一步，TSE合并了基于各種數(shù)據(jù)(例如交易)創(chuàng)建表格的系統(tǒng)以及每次每次交易或付款時(shí)都會(huì)計(jì)算傭金的系統(tǒng)。展望未來，計(jì)劃將平臺(tái)逐步擴(kuò)展為日本交易所集團(tuán)的通用基礎(chǔ)設(shè)施，包括從各個(gè)角度分析和生成交易數(shù)據(jù)報(bào)告的系統(tǒng)。

TSE在典型的一天中處理超過千萬筆交易，而在繁忙的日子中處理超過一億筆交易。為了應(yīng)對(duì)將來將要擴(kuò)大的交易量，TSE面臨著加速數(shù)據(jù)處理和開發(fā)可利用數(shù)據(jù)的環(huán)境的挑戰(zhàn)。此外，考慮到將來使用云服務(wù)的可能性以及采用范圍的擴(kuò)大，需要不依賴于特定供應(yīng)商的開放技術(shù)。

Pentaho與Hadoop / Impala環(huán)境具有高度的親和力，并且能夠提供一個(gè)一致的環(huán)境，該環(huán)境不僅可以收集而且可以分析和利用數(shù)據(jù)，包括集成數(shù)據(jù)的可視化和多維分析。同時(shí)，Cloudera受保護(hù)和受管的數(shù)據(jù)平臺(tái)可實(shí)現(xiàn)多功能分析，從而消除了孤島，并加快了數(shù)據(jù)驅(qū)動(dòng)見解的發(fā)現(xiàn)。在開源創(chuàng)新的推動(dòng)下，它具有真正的混合功能，可支持公共云，多云和本地部署。

在全球市場(chǎng)上，包括金融機(jī)構(gòu)在內(nèi)的許多客戶都引入了“ Pentaho”和“ Cloudera Enterprise Data Hub”的組合。

最近開始運(yùn)營(yíng)的平臺(tái)利用了Pentaho的Pentaho數(shù)據(jù)集成(數(shù)據(jù)集成和表單創(chuàng)建)和Pentaho業(yè)務(wù)分析(可視化和分析)組件，以及由Tosho System Service Co.，Ltd構(gòu)建的Cloudera Enterprise Data Hub * 1。 。利用無編碼數(shù)據(jù)集成功能，Pentaho能夠輕松，快速地開發(fā)，同時(shí)重新利用TSE現(xiàn)有業(yè)務(wù)系統(tǒng)的處理程序。

具體來說，Pentaho用于合并以前分散在各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)，例如用于表單創(chuàng)建和費(fèi)用計(jì)算的數(shù)據(jù)，并且對(duì)數(shù)據(jù)集成處理進(jìn)行了標(biāo)準(zhǔn)化。這極大地簡(jiǎn)化了數(shù)據(jù)準(zhǔn)備工作，這尤其需要在數(shù)據(jù)分析過程中花費(fèi)大量時(shí)間和精力，并且可以輕松地在不同系統(tǒng)之間交叉引用數(shù)據(jù)。

Cloudera提供的并行分布式處理和SQL引擎Impala還加快了批處理的速度，從而顯著減少了處理時(shí)間，并確?？蓴U(kuò)展性以處理將來的數(shù)據(jù)增長(zhǎng)。

展望未來，Hitachi和Cloudera不僅將通過增強(qiáng)TSE的系統(tǒng)處理能力來提供穩(wěn)定的企業(yè)級(jí)運(yùn)營(yíng)，還將通過提供允許創(chuàng)建利用累積數(shù)據(jù)資產(chǎn)和服務(wù)的新服務(wù)的環(huán)境來支持?jǐn)?shù)字化轉(zhuǎn)型。為正在進(jìn)行的業(yè)務(wù)改革和發(fā)展做出貢獻(xiàn)。

東京證券交易所有限公司IT開發(fā)部信息系統(tǒng)部經(jīng)理Takashi Kamikura表示：“近年來，與市場(chǎng)有關(guān)的數(shù)據(jù)量一直在顯著增加，這已成為亟待解決的問題。”在Cloudera Enterprise Data Hub的最新采用中，我們顯著提高了數(shù)據(jù)處理能力，我們很高興獲得穩(wěn)定的運(yùn)行。此外，我們能夠通過Pentaho提供的基于GUI的直觀操作，快速，輕松地開發(fā)利用Cloudera Enterprise Data Hub所需的應(yīng)用程序，該操作與Hadoop環(huán)境高度兼容。將來，我們的目標(biāo)是擴(kuò)展到云并利用數(shù)據(jù)來創(chuàng)建新業(yè)務(wù)。”