???? ?? 珠寶首飾網歡迎您!客服熱線:

從Spark Streaming 到 Apache Flink : 及時數據流在愛奇藝的演進

作者:會員投稿 瀏覽量: 發布時間:2019-06-22

整理:劉河本文將為人人推薦Apache Flink在愛奇藝的生產與實踐過程。你能夠借此認識到愛奇藝引入Apache Flink的配景與挑釁,以及平臺構建化流程。主要內容如下:

愛奇藝在及時較勁方面的的演化和遇到的一些挑釁

愛奇藝利用Flink的User Case

愛奇藝Flink平臺化構建流程

愛奇藝在Flink上的改善

未來工作愛奇藝簡介

從Spark Streaming 到 Apache Flink : 及時數據流在愛奇藝的演進

愛奇藝在2010年正式上線,于2018年3月份在納斯達克上市。我們擁有規模宏大且高度活潑的用戶根蒂,月活潑用戶數5.65億人,在在線視連年范疇名列第一。在移動端,愛奇藝月度總有效時長59.08億小時,穩居中國APP榜第三名。一、愛奇藝在及時較勁方面的演化和遇到的一些挑釁

1. 及時較勁在愛奇藝的演化過程

從Spark Streaming 到 Apache Flink : 及時數據流在愛奇藝的演進

及時較勁是基于一些及時達到、速度弗成控、達到遞次自力不保證次序、一經處理無法重放除非專程留存的無序時間序列的數據的在線較勁。

因此,在及時較勁中,會遇到數據亂序、數據延時、變亂時間與處理時間不一致等題目。愛奇藝的峰值變亂數到達1100萬/秒,在精確性、容錯、性能、耽誤、吞吐量、擴展性等方面均遇到不小的挑釁。

愛奇藝從2013年起頭小規模利用storm,布置了3個自力集群。在2015年,起頭引入Spark Streaming,布置在YARN上。在2016年,將Spark Streaming平臺化,構建流較勁平臺,低落用戶利用本錢,之后流較勁起頭在愛奇藝大規模利用。在2017年,因為Spark Streaming的天賦缺陷,引入Flink,布置在自力集群和YARN上。在2018年,構建Streaming SQL與及時闡發平臺,進一步低落用戶利用門檻。

2. 從Spark Streaming到Apache Flink

從Spark Streaming 到 Apache Flink : 及時數據流在愛奇藝的演進

愛奇藝主要利用的是Spark Streaming和Flink來進行流式較勁。Spark Streaming的實現非常節減,經由微批次將及時數據拆成一個個批處理任務,經由批處理的方法完成各個子Batch。Spark Streaming的API也非常節減機動,既能夠用DStream的java/scala API,也能夠利用SQL定義處理邏輯。但Spark Streaming受限于微批次處理模型,買賣方必要完成一個真正意義上的及時較勁會非常難題,好比基于數據變亂時間、數據晚到后的處理,都得用戶進行大量編程實現。愛奇藝這邊大量利用Spark Streaming的場景往往都在于及時數據的采集落盤。

  • 2019-06-21中國移動結合華為完成5G收集多用戶峰值
  • 2019-06-21美團用戶一年消費4.5萬噸小龍蝦
  • 2019-06-21順手記毫無誠信,欺騙用戶 曝光
  • 2019-06-20攜程出海,OYO攪局,飛豬平臺化,2019年的
  • 2019-06-20【得得專欄】一文讀透 Facebook 不亂幣Li
  • 2019-06-204000電池549元 紅米7A詳細評測:百元最強
  • 2019-06-18用戶欲就頭像昵稱所有權與騰訊抖音對簿
  • 2019-06-18風控難、盈利難的假造信用卡,為何金融
  • 2019-06-18互聯網貨運平臺前赴后繼 快狗打車與貨拉
  • 2019-06-17蘋果要還擊:輕松破解iPhone的器械又強大
  • 友情鏈接:

    ??

    聯系郵箱:
    ???
    今天江苏7位数走势图