Linkis是一個非常好用的計算中間件架構軟件，打通了多個計算存儲引擎，例如：Spark，TiSpark，Hive，Python和HBase等。對外提供統(tǒng)一的REST / WebSocket / JDBC接口，提交執(zhí)行SQL，Pyspark，HiveQL，Scala等腳本的計算中間件。支持統(tǒng)一變量、UDF、函數(shù)、用戶資源文件管理，具備高并發(fā)、高性能、高可用的大數(shù)據(jù)作業(yè)/請求全生命周期管理能力。

軟件特色

1、統(tǒng)一作業(yè)執(zhí)行服務：一個分布式的REST/WebSocket服務，用于接收用戶提交的各種腳本請求。

目前支持的計算引擎有：Spark、Python、TiSpark、Hive和Shell等。

支持的腳本語言有：SparkSQL、Spark Scala、Pyspark、R、Python、HQL和Shell等；

2、資源管理服務： 支持實時管控每個系統(tǒng)和用戶的資源使用情況，限制系統(tǒng)和用戶的資源使用量和并發(fā)數(shù)，并提供實時的資源動態(tài)圖表，方便查看和管理系統(tǒng)和用戶的資源；

目前已支持的資源類型：Yarn隊列資源、服務器（CPU和內存）、用戶并發(fā)個數(shù)等。

3、應用管理服務：管理所有系統(tǒng)的所有用戶應用，包括離線批量應用、交互式查詢應用和實時流式應用，為離線和交互式應用提供強大的復用能力，并提供應用全生命周期管理，自動釋放用戶多余的空閑應用；

4、統(tǒng)一存儲服務：通用的IO架構，能快速對接各種存儲系統(tǒng)，提供統(tǒng)一調用入口，支持所有常用格式數(shù)據(jù)，集成度高，簡單易用；

5、統(tǒng)一上下文服務：統(tǒng)一用戶和系統(tǒng)資源文件（JAR、ZIP、Properties等），用戶、系統(tǒng)、計算引擎的參數(shù)和變量統(tǒng)一管理，一處設置，處處自動引用；

6、物料庫：系統(tǒng)和用戶級物料管理，可分享和流轉，支持全生命周期自動管理；

7、元數(shù)據(jù)服務：實時的庫表結構和分區(qū)情況展示。

軟件功能

1. Linkis管理臺

用戶可以查看和管理自己的Job

用戶可以查看和管理自己的引擎

用戶可以查看Yarn的資源使用情況和用戶資源使用排名

用戶可以配置引擎的啟動參數(shù)

用戶可以設置變量

2. 支持標簽功能

支持給EngineManager打標簽

啟動引擎時，支持為引擎打標簽

支持通過標簽訪問目標引擎

3. AppGovernance應用治理實現(xiàn)

系統(tǒng)級、用戶級應用全生命周期管理，包括離線批量、交互式查詢和實時流式應用

為離線和交互式應用提供復用能力和智能切換能力

智能限流、應用智能保護

4. 支持Flink和Spark Structured Streaming