欧美一区二区三区老妇人-欧美做爰猛烈大尺度电-99久久夜色精品国产亚洲a-亚洲福利视频一区二区

Cloudera流分析中如何引入FlinkSQL

這篇文章將為大家詳細講解有關(guān)Cloudera流分析中如何引入FlinkSQL，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

創(chuàng)新互聯(lián)企業(yè)建站,十載網(wǎng)站建設(shè)經(jīng)驗，專注于網(wǎng)站建設(shè)技術(shù)，精于網(wǎng)頁設(shè)計，有多年建站和網(wǎng)站代運營經(jīng)驗，設(shè)計師為客戶打造網(wǎng)絡(luò)企業(yè)風(fēng)格，提供周到的建站售前咨詢和貼心的售后服務(wù)。對于成都網(wǎng)站制作、成都做網(wǎng)站中不同領(lǐng)域進行深入了解和探索，創(chuàng)新互聯(lián)在網(wǎng)站建設(shè)中充分了解客戶行業(yè)的需求，以靈動的思維在網(wǎng)頁中充分展現(xiàn)，通過對客戶行業(yè)精準市場調(diào)研，為客戶提供的解決方案。

由Apache Flink提供支持的Cloudera Streaming Analytics的1.2.0.0版本提供了廣泛的  新功能  ，包括通過  Apache Atlas  支持血緣和元數(shù)據(jù)跟蹤，支持連接到  Apache Kudu  以及期待已久的  FlinkSQL   API 的第一次迭代。  
Flink的SQL接口使流處理民主化，因為它可以迎合比當前廣泛使用的Java和Scala API（面向數(shù)據(jù)工程人群）更大的社區(qū)。將SQL推廣到流處理和流分析用例提出了一系列挑戰(zhàn)：我們必須解決表達無限流和記錄的及時性的問題。讓我們考慮以下查詢：
SELECT  userId,  
 COUNT(*) AS count,  
 SESSION_START(clicktime,
 INTERVAL '30' MINUTE)FROM clicksGROUP BY  
 SESSION(clicktime, INTERVAL '30' MINUTE)
  userId
該查詢產(chǎn)生每個用戶會話的點擊計數(shù)，該計數(shù)由會話之間30分鐘的不活動狀態(tài)定義，并在遇到新會話時實時更新。這是在流處理中已經(jīng)很好建立的概念的示例，在這種情況下，會話窗口被引入到SQL語法中以表示記錄的及時性。重要的是要強調(diào)Flink支持的語法是ANSI SQL，它不是特定的方言。實際上，F(xiàn)link社區(qū)正在與Apache Beam和Apache Calcite社區(qū)合作，以  統(tǒng)一的方式 應(yīng)對FlinkSQL的挑戰(zhàn)。    
 
轉(zhuǎn)換到流處理組織
從上述查詢來看，很明顯，更大的用戶群可以有效地制定查詢，從而為企業(yè)增加價值。但是，它給組織帶來了以下問題：  

1) 在流媒體領(lǐng)域中可以用SQL制定多少業(yè)務(wù)邏輯？

2) 這如何改變從開發(fā)到生產(chǎn)的流式作業(yè)旅程？

3) 這如何影響數(shù)據(jù)工程團隊的范圍？

我們認為，今天編寫的大多數(shù)流查詢都可以通過FlinkSQL表示，以提供有根據(jù)的猜測，我們希望它能達到今天遇到的流查詢的80％左右，這很適合通過此SQL實現(xiàn)API。首先，這似乎有些夸大其詞，我們將在下一部分中詳細介紹。
當前，我們經(jīng)常遇到使用Flink的組織，其中近實時獲得業(yè)務(wù)價值是數(shù)據(jù)工程師的特權(quán)。數(shù)據(jù)分析人員通常是特定領(lǐng)域知識的專家，他們傾向于使用標準MPP或OLAP系統(tǒng)中存儲的這些流的快照，例如通過Apache Impala查詢存儲在Kudu中的數(shù)據(jù)。這從本質(zhì)上引入了尋找以流的方式對其進行洞察和生產(chǎn)化。分析師在證實其假設(shè)之后，必須與幾個數(shù)據(jù)工程師確保數(shù)周甚至數(shù)月的項目資金投入，以細致地重新實現(xiàn)已經(jīng)用另一種語言（通常是SQL）制定的業(yè)務(wù)邏輯。FlinkSQL使分析人員可以直接與流進行交互，并單擊按鈕即可部署流作業(yè)。
反過來，這又解放了數(shù)據(jù)工程師，使他們可以專注于具有挑戰(zhàn)性的20％的查詢，并建立可重用的特定領(lǐng)域的庫，這些庫可以直接從SQL中作為一組用戶自定義函數(shù)加以利用。 

 
FlinkSQL的功能
為了展示FlinkSQL的功能，我們最近在我們的標準  教程套件 下發(fā)布了  SQL   教程 。讓我們在這里重點介紹一些功能。  
小編針對Apache Kafka主題進行操作，其中包含JSON格式的事務(wù)條目。讓我們?yōu)榇硕x一個表Schema，并指定我們要測量timestamp列記錄的時間的流逝（稱為  event-time語義 ）。
CREATE TABLE ItemTransactions (transactionId    
BIGINT,`timestamp`    
BIGINT,itemId    
STRING,
quantity INT,
event_time AS CAST(from_unixtime(floor(`timestamp`/1000)) 
AS TIMESTAMP(3)),WATERMARK FOR event_time 
AS event_time - INTERVAL '5' SECOND) WITH ('connector.type'      = 'kafka','connector.version'   = 'universal','connector.topic'     = 'transaction.log.1','connector.startup-mode' = 'earliest-offset','
connector.properties.bootstrap.servers' = '<broker_address>','format.type' = 'json');
請注意，在使用事件時間語義時，我們必須指定水印以為Flink提供啟發(fā)式方法以測量事件時間的經(jīng)過。這可以是返回時間戳的任意表達式。在較高級別上，水印指定了正確性（無限期等待潛在的延遲到達）和延遲（盡可能快地產(chǎn)生結(jié)果）之間的折衷。
創(chuàng)建上表后，我們可以提交以下查詢：

SELECT * FROM ItemTransactions LIMIT 10;SELECT TUMBLE_START(event_time, INTERVAL '10' SECOND) as window_start, itemId, sum(quantity) as volumeFROM ItemTransactionsGROUP BY itemId, TUMBLE(event_time, INTERVAL '10' SECOND);
第一個查詢提供了直接的采樣。使用limit子句是可選的，省略會導(dǎo)致結(jié)果以流方式不斷更新。第二個查詢實現(xiàn)一個簡單的窗口聚合。這些查詢的結(jié)果可以返回到交互式Flink SQL cli，或者可以通過INSERT INTO語句直接寫入輸出表。
FlinkSQL還提供了更復(fù)雜的子句，例如，可以按以下公式來查找在每10分鐘的窗口中交易次數(shù)最多的前3個項目：

SELECT * FROM ( SELECT * , ROW_NUMBER() OVER (   PARTITION BY window_start   ORDER BY num_transactions desc ) AS rownum FROM (   SELECT TUMBLE_START(event_time, INTERVAL '10' MINUTE) AS window_start, itemId, COUNT(*) AS num_transactions   FROM ItemTransactions   GROUP BY itemId, TUMBLE(event_time, INTERVAL '10' MINUTE) ))WHERE rownum <=3;
除了這些內(nèi)置語言元素之外，您還可以將以Java和Scala實現(xiàn)的  功能 注冊到FlinkSQL環(huán)境。 
FlinkSQL還支持訪問外部目錄以訪問存儲在外部系統(tǒng)中的Schema和數(shù)據(jù)，當前，我們支持Hive，Kudu和Schema Registry目錄。

 
后續(xù)步驟
在當前版本中，提交SQL查詢的兩個選項是使用SQL CLI或?qū)⑺鼈儼b到Java程序中。正如我們在最近的  主題演講中 所討論的，我們正在積極開發(fā)圖形用戶界面，以幫助進行交互式查詢編輯。  
Cloudera流分析中如何引入FlinkSQL
在添加GUI之后，我們將在短期內(nèi)公開其針對第三方工具的編程后端，以公開與JDBC for FlinkSQL等效的接口，該接口可能更多地基于REST和Kafka構(gòu)建。

關(guān)于Cloudera流分析中如何引入FlinkSQL就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

文章標題：Cloudera流分析中如何引入FlinkSQL
文章轉(zhuǎn)載：http://www.chinadenli.net/article0/goosoo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、網(wǎng)站設(shè)計公司、用戶體驗、App開發(fā)、響應(yīng)式網(wǎng)站、定制開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)

網(wǎng)站托管運營