導航:首頁 > 證券期貨 > 證券數倉架構

證券數倉架構

發布時間:2021-02-23 06:08:41

證券公司的管理架構是怎樣的,一般人員配置如何,每個部門或每種崗位會有多少人

這個問題很難回答啊,每個公司的規模不一樣,人員配置也不一樣,想了解架構很簡單啊,找家券商,進官網查查組織架構就知道了哈。

② 只有私募證券基金能夠採取公司型架構對嗎

基金採取哪種形式沒有一定之規,主要管理人綜合考量決定,每種組織形式都有利弊,股權類的亦可採用公司型架構

③ 誰能告訴我證券營業部的組織架構和工資構成啊

我是聯通財務部的
我們聯通沒有網路部
我們聯通每年年底都會在我們自己的網版站上發布權招聘信息的
你可以留意一下我們的網站有沒有你合適的職位
具體時間各個省份不太一樣
一進來就希望當部門經理是不太實際的
最起碼本科以上學歷
y9

④ 求證券業協會培訓C18056S證券公司交易系統的架構和應用答案

網路文庫搜索試一下。

⑤ 數據倉庫與數據挖掘問題

sc-cpda 公眾交流平台
1 介紹
數據倉庫是面向主題的、集成的、與時間相關的、不可修改的數據集合。數據倉庫技術是基於信息系統業務發展的需要,基於資料庫系統技術發展而來,並逐步獨立的一系列新的應用技術。數據倉庫系統可以看作是基於數學及統計學嚴謹邏輯思維的並達成「科學的判斷、有效的行為」的一個工具,也是一種達成「數據整合、知識管理」的有效手段。隨著數據倉庫技術應用的不斷深入,越來越多的企業開始使用數據倉庫技術建設自己的數據倉庫系統,希望能對歷史數據進行具體而又有針對性的分析與挖掘,以期從中發現新客戶和客戶新的需求。
目前主要的數據倉庫產品供應商包括Oracle、IBM、Microsoft、SAS、Teradata、Sybase、Business Objects(已被SAP收購)等。Oracle公司的數據倉庫解決方案包含了業界領先的資料庫平台、開發工具和應用系統,能夠提供一系列的數據倉庫工具集和服務,具有多用戶數據倉庫管理能力,多種分區方式,較強的與OLAP工具的交互能力,及快速和便捷的數據移動機制等特性;IBM公司的數據倉庫產品稱為DB2 Data Warehouse Edition,它結合了DB2數據伺服器的長處和IBM的商業智能基礎設施,集成了用於倉庫管理、數據轉換、數據挖掘以及OLAP分析和報告的核心組件,提供了一套基於可視數據倉庫的商業智能解決方案;微軟的SQL Server提供了三大服務和一個工具來實現數據倉庫系統的整合,為用戶提供了可用於構建典型和創新的分析應用程序所需的各種特性、工具和功能,可以實現建模、ETL、建立查詢分析或圖表、定製KPI、建立報表和構造數據挖掘應用及發布等功能;SAS公司的數據倉庫解決方案是一個由30多個專用模塊構成的架構體系,適應於對企業級的數據進行重新整合,支持多維、快速查詢,提供服務於OLAP操作和決策支持的數據採集、管理、處理和展現功能;Teradata公司提出了可擴展數據倉庫基本架構,包括數據裝載、數據管理和信息訪問幾個部分,是高端數據倉庫市場最有力競爭者,主要運行在基於Unix操作系統平台的NCR硬體設備上;Sybase提供了稱為Warehouse Studio的一整套覆蓋整個數據倉庫建立周期的產品包,包括數據倉庫的建模、數據集成和轉換、數據存儲和管理、元數據管理和數據可視化分析等產品;Business Objects是集查詢、報表和OLAP技術為一身的智能決策支持系統,具有較好的查詢和報表功能,提供多維分析技術,支持多種資料庫,同時它還支持基於Web瀏覽器的查詢、報表和分析決策。
根據IDC發布的2006年數據倉庫市場分析報告,上述公司占據了全球近90%的市場份額,提供的數據倉庫產品的功能特性已經成為市場的主流。這些公司在推出各自的數據倉庫產品的同時也提供了相應的數據倉庫解決方案。本文後續內容將針對這些數據倉庫產品和解決方案的主要支撐技術進行比較,並結合IDC和ChinaBI相關報告給出相應的市場情況分析。
2 支撐技術
在數據倉庫系列技術中,主要的支撐技術包括資料庫技術、ETL技術、OLAP技術、報表技術、數據挖掘技術。
2.1 資料庫技術
資料庫技術是支撐數據倉庫技術的基礎技術。盡管在數據倉庫技術存儲模型方面,基於資料庫技術而發展的關系模式的理念已經被顛覆,取而代之是各種各樣的數據倉庫數據模型,如星型模型,雪花模型等。然而,在已有的數據倉庫實踐中,關系資料庫仍然是實質的資料庫存儲工具,只是將資料庫表改稱為了事實表和維表,將屬性域之間的關系重新定義為維度,量度,層次,粒度等。
成熟的數據倉庫後台資料庫包括Oracle、DB2、SQL Server、Teradata和Sybase IQ。在查詢效率方面,Sybase IQ由於採用了列存儲技術,查詢效率比較高;在兼容性方面,Teradata從軟體到硬體都必須是專用的,因而兼容性最差;在管理平台和海量數據管理方面,Oracle、DB2和SQL Server都提供了一系列完整的工具,相對於其它產品有著明顯的優勢;在磁碟空間利用方面,Sybase IQ的壓縮比是所有資料庫中最好的,而Teradata最為浪費。
另外,SAS公司和BO公司也擁有自己的數據管理能力,但對於大型數據倉庫的數據管理,仍然需要使用上述資料庫產品,SAS和BO都提供了與這些資料庫進行連接的專門介面。
2.2 ETL技術
數據倉庫系統是集成的、與時間相關的數據集合,ETL作為數據倉庫的核心,負責將分布的、異構數據源中的數據進行抽取、清洗、轉換、集成,最後載入到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎。ETL能夠按照統一的規則集成並提高數據的價值,是負責完成數據從數據源向目標數據倉庫轉化的過程,是實施數據倉庫的重要步驟。要實現數據倉庫中數據的自動更新運轉,ETL技術是必不可少的關鍵技術之一。
主流數據倉庫產品供應商都擁有各自的ETL能力。IBM的ETL工具稱為IBM WebSphere DataStage,它為整個ETL過程提供了一個圖形化的開發環境,支持對多種操作數據源的數據抽取、轉換和維護,並將其輸入數據集或數據倉庫;Teradata的ETL工具稱為ETL Automation,它利用Teradata資料庫本身的並行處理能力,通過SQL語句實現數據的轉換,提供對ETL流程的支持,包括前後依賴、執行和監控等;SAS的ETL工具稱為ETL Studio,提供管理ETL流程和建立數據倉庫、數據集市和OLAP結構的單控制點。其他幾家公司則將其工具融合在大的數據倉庫組件中,如Oracle的Oracle Warehouse Builder (OWB)、SQL Server的Integration Services、Sybase的Data Integration Suite、BO的可擴展數據整合平台Data Integrator。
上述各公司提供的ETL相關工具功能相近,在易用性、效率、價格等方面各有千秋,但就工具的二次開發、集成和開放性而言,與專業的數據集成平台,如Informatica公司的PowerCenter,相比還是存在一定的差距。
2.3 OLAP技術
聯機分析處理(OLAP)是針對特定問題的聯機數據訪問和分析,通過對信息進行快速、穩定、一致和互動式的存取,對數據進行多層次、多階段的分析處理,以獲得高度歸納的分析結果。聯機事務處理(OLTP)已不能滿足終端用戶對資料庫查詢分析的需要,SQL對大資料庫進行的簡單查詢也不能滿足用戶分析的需求。用戶的決策分析需要對關系資料庫進行大量計算才能得到結果,而查詢的結果並不能滿足決策者提出的需求,由此出現了多維資料庫和多維分析的概念。
目前主流的OLAP產品有Oracle Express/Discoverer、SQL Server Analysis Services、DB2 OLAP Server、SAS OLAP Server等,這些產品都可以生成多維數據立方體,提供多維數據的快速分析,支持所有主流關系型資料庫如DB2,Oracle,SQL Server,Sybase等,同時可讀取關系資料庫中細節數據,實現混合在線分析(HOLAP)或關系型在線分析(ROLAP)。並且,各廠商的OLAP Sever對自己的資料庫產品的支持均好於其它資料庫,各自的分析工具也都基於開放的OLE DB標准,可以訪問支持OLE DB標準的數據立方體。
BO公司和Sybase公司則分別提供了各自的OLAP分析工具OLAP Intelligence和Power Dimension,支持標准OLAP API,如OLEDB for OLAP,能夠對Microsoft、IBM等OLAP數據進行劃分、鑽取等處理,兼容第三方報表和展現工具。Teradata盡管不提供獨立的OLAP工具,但提供了相關技術,用於提升運行於Teradata資料庫上的OLAP應用系統的性能。
2.4 報表技術
報表技術主要是將集成在數據模型里的數據,按照復雜的格式、指定行列統計項,計算形成的特殊表格。一般的簡單報表可以使用通用的前台展現技術實現,而復雜的報表則需要使用特定的報表技術。主流的報表技術都可以靈活的制定各種報表模版庫和指標庫,並根據每個區塊或單元格的需要引用指標,實現一系列復雜的符合要求的報表的自動生成。
主流數據倉庫廠商的報表工具中較為有影響包括IBM的Cognos ReportNet、BO的Crystal Reports、Oracle的Oracle Reports。IBM通過收購Cognos公司獲得了完整的報表產品Cognos ReportNet,覆蓋了各種報表需求,包括管理報表、商業報表、賬單和發票等;BO公司提供了一個完整的企業報表解決方案Crystal Reports Server,支持通過Web快速便捷的創建、管理和交付報表;Oracle Reports工具提供了自由的數據格式方式,可以自動生成個性化字母或矩陣風格的布局,包括動態、數據驅動的圖表;SQL Server的報表功能包含在Reporting Services (SSRS)中,包括處理組件、一整套可用於創建和管理報表的工具、在自定義應用程序中集成和擴展數據和報表處理的API。與上述產品相比,Sybase的InfoMaker、Teradata的BTEQ和SAS的Report Studio等報表產品在功能、性能、二次開發等方面都還存在著一定的差距。
總的來說,這些產品在大部分通用軟體領域相對國產軟體都要優秀,但在有中國特色的報表領域內卻是例外,在處理能力存在一定的不適應性。另外這些產品的數學模型都是基於SQL/OLAP理論設計的,在技術上也不能滿足國內復雜報表的製作需求。
2.5 數據挖掘技術
當數據積累到一定數量時,某些潛在聯系、分類、推導結果和待發現價值隱藏在其中,可以使用數據發掘工具幫助發現這些有價值的數據。數據挖掘就是從海量數據中,提取隱含在其中的、人們事先不知道的但又可能有用的信息和知識的過程。通過數據挖掘能找出資料庫中隱藏的信息,實現用模型來擬合數據、探索型數據分析,數據驅動型的發現,演繹型學習等功能。
目前,IBM公司的IBM Intelligent Miner支持典型數據集自動生成、關聯發現、序列規律發現、概念性分類和可視化呈現,可以自動實現數據選擇、數據轉換、數據發掘和結果呈現這一整套數據發掘操作;Oracle公司提供的數據挖掘平台稱為Oracle Data Miner,它提供了的一個圖形用戶界面,通過簡單易用的向導來指導完成數據准備、數據挖掘、模型評估和模型評價過程,根據需要自動生成將數據挖掘步驟轉換成一個集成的數據挖掘/BI應用程序所需的代碼;SAS公司的SAS Enterprise Miner將數據挖掘過程簡單流程化,支持關聯、聚類、決策樹、神經元網路和經典的統計回歸技術;Teradata公司的挖掘工具稱為Teradata Warehouse Miner,它通過將數據挖掘技術整合到數據倉庫來簡化數據挖掘流程,該工具還可實現將多家廠商的數據挖掘技術嵌入Teradata企業級數據倉庫環境中運行;Microsoft數據挖掘平台不同於傳統數據挖掘應用程序,它支持組織中數據的整個開發生命周期,允許第三方添加自定義演算法以支持特定的挖掘需求,支持實時根據挖掘的數據集進行數據驗證。對比於上述公司,Sybase和BO公司並沒有推出專門的數據挖掘平台或工具。
和前幾項支撐技術相比,數據挖掘技術的專業性更強,與應用領域的特殊背景結合得更加緊密。上述產品除了在性能、通用性、數據展示、二次開發上有一定差異外,沒有一個能夠占據絕對技術和市場優勢,反而是一些專門領域內的專業挖掘工具更具競爭性,如Fair Isaac公司占據了全球信用卡積分市場近7成的份額。
3 市場分析
國際權威市場分析機構IDC將數據倉庫平台工具市場細分為數據倉庫生成(Data Warehouse Generation)工具市場和數據倉庫管理(Data Warehouse Management)工具市場兩個部分,前者涵蓋數據倉庫的設計和ETL過程的各種工具,後者指數據倉庫後台資料庫的管理工具,如DBMS。根據IDC發布的《全球數據倉庫平台工具2006年度供應商市場份額》分析報告,2006年該市場增長率為12.5%,規模達到57億美元,其中數據倉庫生成工具和數據倉庫管理工具兩個市場的比重分別為23.3%和76.7%,相對於數據倉庫管理工具市場,數據倉庫生成工具市場的增長進一步放緩。可以預見,整個數據倉庫市場將進一步向擁有強大後台資料庫系統的傳統廠商傾斜。從供應商看,Oracle公司繼續占據數據倉庫管理領域的領先供應商地位,並且與其主要競爭者IBM之間的這種領先優勢正逐漸擴大。Microsoft緊追IBM之後,與其之間的差距則在逐漸縮小。
在國內,商業智能已經成為企業信息化中最重要的組成部分,而數據倉庫相關技術在其中扮演著無可替代的重要角色。據ChinaBI統計,2007年中國大陸地區的BI市場份額約為20億元人民幣,同比2006年增長35%,其中BI產品許可證約為9億元人民幣,BI系統集成約為11億元人民幣。現有BI廠商包括產品提供商、集成商、分銷商、服務商等有近500家,在未來幾年內商業智能市場需求旺盛,市場規模增長迅速。從國內數據倉庫實踐看,根據ChinaBI評選的2007年中國十大數據倉庫的初步結果,傳統資料庫廠商占據7個,分別是IBM 3個、Oracle 3個、SQL Server 1個,其餘3個屬於NCR/Teradata公司;從數據倉庫規模來看,傳統資料庫廠商更佔有巨大優勢,總數據量為536.3T,Teradata則為54T。涉及的行業包括通信、郵政、稅務、證券和保險等。
在數據倉庫市場快速發展的同時,市場競爭也日趨激烈,其中尤其以Oracle收購Hyperion、SAP收購BO、IBM收購Cognos具有代表意義。截至2007年底,混亂的市場已經基本明朗化,三個層次逐漸浮現出來。Oracle,IBM,Microsoft和SAP位居第一層次,能夠提供全面的解決方案;第二層次是NCR Teradata和SAS等產品相對獨立的供應商,可以提供解決方案中的部分應用;第三層次是只專注於單一領域的專業廠商,但其在並購的硝煙中日趨難以存活。

⑥ 數據倉庫在證券業如何應用

那麼究竟數據倉庫的「行」在何處:它可以為我們帶來什麼?為什麼「不行」:它的應用為什麼不能達到其預期的效果?怎樣才能使數據倉庫從「不行」的模式轉到到「行」的模式?本文試對此進行探討,並認為數據的集中統一是數據倉庫應用的基礎;確立合理的數據模型是數據倉庫應用的核心;高效的應用系統是數據倉庫應用的動力;良好的外部環境是數據倉庫成功應用的外部保障。 數據倉庫的「行」 這里所說的數據倉庫的「行」主要是指數據倉庫可以做什麼,它的使用能為證券業帶來哪些好處,為什麼對券商來說是一個行之有效的工具。 數據倉庫(Data Warehouse)是在資料庫基礎上發展而來的,是一個面向主題的、集成的、穩定的、不同時期的數據集合,用以支持企業經營管理中的決策過程。它通常由三個部分構成:數據倉庫、聯機分析處理及數據挖掘,它們之間具有極強的互補關系。數據倉庫用來對大量的數據按一定的結構進行組織存儲;聯機分析處理則可進行靈活豐富的多維分析與查詢,可以從不同的角度去分析企業的運作情況,並對未來進行預測;數據挖掘則是對現有數據進行深層次的研究分析,從中找出對經營管理有用的結論。 由上述對數據倉庫的敘述,不難看出特別是對券商這種數據密集型的企業而言,數據倉庫技術的應用在以下三個方面有其得天獨厚之處和現實的意義: 提升客戶服務 雖然大部分券商已積累了大量的客戶信息和交易數據,但現在還沒有辦法對客戶的貢獻度、盈虧情況、持倉情況及操作習慣等進行統計和分析,為客戶提供針對其個人習慣的投資組合建議。而通過建立數據倉庫,為客戶資料的統計分析提供基本的信息源和輔助工具,已成為券商提高市場競爭能力和客戶服務水平的關鍵。 提高資產質量 數據倉庫中強大的分析和預測功能為此提供了有力的支持,可根據股市行情走勢、上市公司的資料以及宏觀微觀經濟數據等對未來市場進行預測,為客戶和自有資產的經營管理提供合理的建議,從而有效地提高資產質量、防範經營風險。 降低成本 數據倉庫的建立可使券商更加及時、准確地掌握自身的經營狀況、資金情況、利潤情況、客戶群分布等重要的信息,從而能有效地提高管理水平、降低經營成本,使整個證券公司的經營管理更加高效、科學、規范。 數據倉庫的「不行」 雖然從理論上說數據倉庫技術的應用可以為券商帶來很大的收益,但實際情況卻並不盡如人意,完全意義上的數據倉庫的應用在證券業中還鮮有成功的案例,這也使得相當部分券商對它「望而卻步」,為什麼數據倉庫從「行」變成了「不行」,不能有效發揮其應有的作用呢?究其主要原因就是數據倉庫技術沒有做到與證券業務的有機融合 。 系統平台不統一 目前大部分券商所用的業務系統平台並不統一,如交易系統用一種軟體,清算系統又用另一種軟體,還有的證券公司中各家營業部所採用的業務系統的平台也不一樣,而且大部分採用的都是分布的管理模式,這種情況造成了數據的分散、數據結構的多樣。而數據倉庫的基礎是大量集中的、豐富的、按統一規則組織存放的數據,分散的、結構不同的數據使得數據採集困難,數據倉庫不能有效地發揮其作用。 技術與業務部門欠協調 數據倉庫的提出和應用通常都是技術部門在其中扮演重要角色,業務部門參與得較少,但實際上沒有業務部門與技術部門之間的很好協調,數據倉庫是不可能應用成功的。因為數據倉庫技術是管理科學、計算機科學、網路科學和分析手段的大融合,從技術上來說資料庫技術的發展已使數據倉庫的實現並不困難,而關鍵在於怎樣使用它。數據倉庫的成功使用離不開管理思想和業務經驗的完美結合,在有了相應的技術支持以後,只有同時具備豐富的業務經驗和先進的管理思想的使用者才能成功使用數據倉庫,得到有用的信息。 缺乏管理經驗 數據倉庫不乏失敗的案例,如美國在對越戰爭中根據越軍對美軍攻擊的時間和次數而得出了一個「越軍在有月亮的晚上最易展開攻擊」的無用結論。數據倉庫使用時一個重要問題是建立模型,數據倉庫的產品一般可使用多種建模方法,如關聯法、依賴法、時序法、神經網路以及利用統計分析等等,然後利用模型去對問題進行分析得出相應結論,建立在數據倉庫之上的系統都是決策支持系統。而要進行決策,針對一個具體的問題怎樣分析,從什麼角度進行分析,何種因素是主要的、何種因素是次要的,採用何種方法建模以及怎樣建模都要依使用者的經驗而定,這就要求使用者對相關的業務非常熟悉並具備相應的管理和分析能力,否則得出的結論就很可能是無用的。而對我國大部分券商而言,缺少的恰好就是這種經驗,而且券商經營管理中的不規范也為數據倉庫的成功應用增加了難度。 受政策影響較大 人們將市場對經濟的自動調節比喻為「一隻看不見的手」,而股市則是反映經濟情況的晴雨表,經濟學家一直試圖通過對市場的研究找出經濟發展的規律,數據倉庫的主要效用之一也就是通過對已有數據的分析藉以揭示市場內在的發展規律,從而得出市場可能的走向。但縱觀中國證券市場十多年的風風雨雨,國家政策與宏觀調控這只「看得見的手」在其中起了舉足輕重的作用,當然這是由於我國證券市場先天基礎不好,發展不規范使得國家不得不採取措施加以調整,但這也使得證券市場無可避免地打上了國家政策的烙印。這種情況下,單純根據市場規律,用數據倉庫進行分析得到的預測結果與實際情況就會有所偏差。 從「不行」到「行」 如何將數據倉庫的「不行」變為「行」,使其在我國的證券業發展中發揮巨大的作用,是廣大券商普遍關心的一個問題 。那麼在找出「不行」的原因之後我們就可「對症下葯」採取相應的措施了。 數據的集中統一是數據倉庫應用的基礎。首先要統一券商所用信息系統的平台,各營業部均應採用統一的系統平台,同時各業務系統也採用統一的平台,統一數據結構。並採用集中的經營管理模式,使所有的數據都按相同的結構集中存放在一起,方便數據採集,做好數據倉庫應用的基礎工作。 確立合理的數據模型是數據倉庫應用的核心。電腦技術人員知道數據倉庫可以「做什麼」,業務人員則知道具體的分析要「怎麼做」,為此應將技術部門與相關的業務部門進行很好的協調,充分發揮技術人員和業務人員的優勢,根據證券業和本公司的具體情況選用合適的方法建立模型,這些模型經過檢驗正確後就可作為整個數據倉庫的核心,為經營管理提供決策建議。 高效的應用系統是數據倉庫應用的動力。數據模型建好以後,要使其發揮應有的作用就應在其上建立相應的應用系統,包括客戶關系管理系統、市場分析和風險控制系統等等,只有當建立於數據倉庫基礎之上的應用系統在券商的發展中起了很好的作用以後,證券公司的老總們才能充分意識到數據倉庫的重要性,這就是數據倉庫應用發展的動力所在。 良好的外部環境是數據倉庫成功應用的外部保障。令人欣慰的是國家已意識到證券市場健康穩定的重要性,證監會等領導機構對券商和上市公司的要求越來越嚴格,監管力度不斷加強,這一切都促使中國股市朝健康穩定的方向發展。我們有理由相信隨著我國證券市場的逐步規范,股市也必將按市場規律進行發展,數據倉庫就會發揮越來越大的作用。 結束語 數據倉庫的應用在國外取得了很大的成功,但中國與外國在數據倉庫的應用環境方面有很大的區別,所以數據倉庫在中國的應用成功的案例並不多。為了促進這項技術在證券業的成功應用,除了證監會等領導機構對證券市場進行規范為其創造良好的外部環境之外,更重要的是各證券公司注意業務系統平台的集中統一和技術與業務的有機融合,做好數據倉庫應用的准備,勇敢面對加入WTO所帶來的挑戰。

閱讀全文

與證券數倉架構相關的資料

熱點內容
中國銀行貨幣收藏理財上下班時間 瀏覽:442
中國醫葯衛生事業發展基金會公司 瀏覽:520
公司分紅股票會漲嗎 瀏覽:778
基金定投的定投規模品種 瀏覽:950
跨地經營的金融公司管理制度 瀏覽:343
民生銀行理財產品屬於基金嗎 瀏覽:671
開間金融公司 瀏覽:482
基金從業資格科目一的章節 瀏覽:207
貨幣基金可以每日查看收益率 瀏覽:590
投資幾個基金合適 瀏覽:909
東莞市社會保險基金管理局地址 瀏覽:273
亞洲指數基金 瀏覽:80
金融公司貸款倒閉了怎麼辦 瀏覽:349
金融服務人員存在的問題 瀏覽:303
怎樣開展普惠金融服務 瀏覽:123
今天雞蛋期貨交易價格 瀏覽:751
汕頭本地證券 瀏覽:263
利市派股票代碼 瀏覽:104
科創板基金一周年收益 瀏覽:737
2016年指數型基金 瀏覽:119