Advances in Financial Machine Learning的作者,著名的量化大佬,Marcos Lopez de Prado昨天在AI&Data Science in Trading的線上論壇,分享了其對于量化職業發展的主題演講《Escaping The Sisyphean Trap: How Quants Can Achieve Their Full Potential》。 從初入量化行業所可能遇到的問題和挑戰,談到了當前量化機構的兩種模式,投資經理模式和流水線模式。 作者認為,在機器學習時代,流水線模式的量化研究更適合Quant的職業發展。像科研一樣做量化策略的研究,才是最符合這個時代量化投資機構的發展路徑。 金融行業技術及人才需求的變革 Marcos首先回顧了過去100多年,投資行業所使用的技術和所需技能的演進。 20世紀初,投資交易主要是由投機占主導,沒有系統的金融理論,更沒有計算機,數據也非常有限。即使涉及到數學,所使用也都是非常簡單的數學模型,更多的是采用技術分析。這個時期,投資管理的從業人員基本沒有接受專業的訓練,投資決策主要依靠故事或主題。 20世紀50年代開始,經濟學家開始關注怎么對經濟和金融系統進行建模。系統性的金融理論開始得到發展,比如現代組合管理理論,資產定價理論等。專業的金融分析師開始在投資決策中占主導,他們利用基本面分析及計量經濟學的方法進行投資決策。在這個階段CFA成為金融認證的黃金標準。 2000年開始,隨著技術的發展,包括算力、數據存儲及互聯網的發展,還有數學建模的發展,市場微觀結構也在這時候成為很多高頻交易的理論工具。這時候開始,很多投資管理的公司開始傾向雇用STEM專業的畢業生進行研究及技術開發。但這時候,大部分的Quant還是Q side。 2015年以來,隨著機器學習的發展及另類數據的爆發,Quant的研究也從定價轉向了預測,機構對于機器學習、數據科學家及自動化專家的需求達到了新高度。 是什么推進了這個變革,Marcos總結了三個方面:數據、算法和算力。數據正以指數級的速度增加,根據IDC的估算,過去兩年產生的數據總量,已經占到了歷史所有數據總量的90%以上。這當中有80%的數據是非結構化數據,在處理非結構化數據又需要強大的機器學習算法和算力。這三個方面共同的作用,是對科學背景的人才的高需求。金融投資行業的數據處理,對數據科學家提出了很高的挑戰。 金融研究的五大困境 與傳統的科學研究相比,金融研究存在了哪些困難與挑戰?Marcos闡述了金融研究相比科學研究最顯著的五個困境: 實驗的障礙:相對于傳統科研,量化策略的研究并沒有那么明顯的因果推斷關系,很難使用傳統的控制變量法。 非平穩的數據:金融系統是一個動態的系統,金融市場的數據大多是非平穩,這種非平穩性往往是市場結構的變化所導致的,比如監管的變化、投資者結構的變化等。非平穩性帶來很多問題,會導致預測的不可靠及多發的黑天鵝事件等等。如下圖所示,在數據存在結構性突變的情況下,依據歷史數據預測未來的可行性就大大降低。 嚴苛的競爭:不同為科學研究上創新性的競爭,能夠提高生產力。策略的研究,本質上是一個零和的游戲,是一種內卷,這種競爭降低了金融市場的信噪比。比如一樣策略研究的發表會使其在將來失去有效性,增加了有效策略挖掘的難度,加快了alpha的衰減。 系統的復雜性:金融系統是一個復雜的系統,傳統的統計學假設我們知道每一個變量的分布,及變量之間的相關性。但這些假設都是不現實的,特別是第二個假設。我們知道金融市場的數據存在層級性、高緯度等未知的特性,某一個相關性的錯誤假設都會導致模型的失敗,得出錯誤的結論。 少量的樣本:雖然說金融市場有大量數據,但相對系統的復雜性,數據還是不夠,更何況這些數據還存在序列自相關,及多個序列之間的相互依賴。這就造成了大量假陰性研究結果的出現。 如何克服困境:像科研人員一樣工作 面對以上困境,什么樣的研究體系能夠有助Quant直面這些挑戰呢?Marcos首先明確表示傳統的投資經理主導的模式(稱為Silos模式)阻礙的Quant的發展,及投資者利益的最大化。什么是Silos模式呢?傳統的機構會雇用獨立的投資團隊,這個團隊通常由一個投資經理及幾個研究員組成,不同的投資團隊之間相互獨立(確切說是相互競爭)。團隊共用公司的研究平臺及技術設施(如數據API、風控系統及回測交易設施),獨立研發策略,對策略研發的整個生命周期負責,并根據策略的表現獲得相應報酬。在這種模式下,團隊之間沒有任何激勵去進行合作,而是存粹的競爭關系。采用這個模式的公司希望通過競爭達到團隊的分散化,但這種模式存在如下明顯的缺點:
所以,Solios模式的公司很難適合想做科研一樣做量化研究的Quant。Solios公司需要的是通才而不是專才。在某方面突出的Quant,進入這類公司會有專才變成通才,每天花費很多時間在重復性的工作上,比如回測、數據整理,而在策略創新方面失去動力。Marcos把這種情況比作了Quant的西西弗斯困境。 與Silos模式對立的是另一種模式,Marcos稱之為Big Science模式或Assembly Line模式,把策略的研究作為一個系統化的科學研究工作,在這樣一個框架下精細化分工,每個來自不同專業背景的角色承擔整個系統的某一個細分部分的工作。美國著名物理學家Ernest Lawrence在1931年創立了伯克利實驗室,就通過跨專業團隊的合作解決了很多在大學里很難解決的問題。 以實驗室的形式,通過不同分工進行量化研究,是Marcos所推崇的模式,他認為這種模式相對Solios模式有很大的優點: Assembly Line模式把整個量化研究分成了多個部分,具體可以參考Marcos的書《Advances in Financial Machine Learning》。以下為部分截圖,整個生產線主要包括:研究、策略及生產三個大部分。每個部分有分為多個角色,比如研究中有特征分析的角色主要從海量數據中挖掘因子。生產中,有負責部署的角色,也有負責訂單執行的角色。 在這種模式下,量化研究更像是一個科研人員,為了解決整個系統中某一個部分的優化而不斷努力研究,最終掌握的是一種技能,而不是一個策略。團隊成員間的合作,更利于解決更困難的問題,挖掘更優質的Alpha。獨立的策略測試團隊,更能保證策略的有效性,避免了策略的過擬合。在沒有組合經理這個角色的情況下,團隊更扁平,更具自我糾錯的能力。 Marcos認為,在這樣一個Quant研究朝向團隊合作發展的情景下,2-3人的量化團隊將更難生存,因為隨著技術及算法的發展,很難有人能夠獨自掌控整個量化策略研究到生產的全過程,即使有這樣的人,在面對大型團隊的時候,也幾乎沒有競爭優勢,這樣的團隊在未來將很難生存。 回到國內量化機構 關于國內量化機構采用的管理模式,之前公眾號在知乎上也看到廣泛的討論,有些大的機構從發展初期就確定了流水線模式。有些機構則依賴幾個核心的投資經理,不斷擴大規模。 關于投資經理模式(Silos)/ 流水線模式(Assembly Line)在國內的情況,歡迎大家在評論區討論。 |
|