雷鋒網(wǎng) AI 科技評論按，日前，在中國運(yùn)籌學(xué)會的閉門會議——現(xiàn)代運(yùn)籌學(xué)發(fā)展討論會上，馮?諾依曼理論獎得主、斯坦福大學(xué)管理科學(xué)與工程系教授，杉數(shù)科技奠基人葉蔭宇老師發(fā)表了精彩的演說。

葉蔭宇：斯坦福大學(xué)李國鼎工程講席教授，管理科學(xué)與工程系工業(yè)聯(lián)盟計劃主任，從事最優(yōu)化、運(yùn)籌學(xué)、供應(yīng)鏈方法、傳感器網(wǎng)絡(luò)、市場平衡與價格、數(shù)據(jù)與計算等方向的研究。他是運(yùn)籌管理學(xué)領(lǐng)域最高獎項(xiàng)——馮·諾依曼理論獎的唯一一位華人得主，國際最知名的運(yùn)籌學(xué)專家之一。

葉蔭宇教授先是介紹了自己最近做的一些研究工作，提到了運(yùn)籌優(yōu)化與目前大熱的領(lǐng)域如 machine learning、deep learning 互相結(jié)合的點(diǎn)。他表示：「優(yōu)化要結(jié)合實(shí)際來解決問題，也不一定是局限于哪一個領(lǐng)域，比如傳統(tǒng)的計算機(jī)領(lǐng)域、統(tǒng)計或者是其他領(lǐng)域。」

在演講結(jié)束之后，他對現(xiàn)場的提問進(jìn)行了精彩的回答，比如說如何一直保持旺盛的精力來進(jìn)行科學(xué)研究，如何進(jìn)行有品位的研究。

在最后，他也對中國運(yùn)籌學(xué)的發(fā)展提出了自己的看法：一，不要固步自封，要時刻保持新思路、新想法；二，要做點(diǎn)實(shí)際的事，而不是只沉迷于紙上的研究。

以下為他的演講內(nèi)容，雷鋒網(wǎng) AI 科技評論做了不改變原意的編輯整理。

最近的一些研究工作

說下我最近做的一些工作，以及其中有可能跟 machine learning、deep learning 有關(guān)系的點(diǎn)。

眾所周知 policy iteration 這個算法一直工作得非常好，在MDP（馬爾科夫決策問題）中幾乎都是用這套方法。可惜大家一直不知道這個算法在理論上到底好不好，但是我們證明了在理論上它就是好的，而且收斂速度是線性的。這是 OR（運(yùn)籌學(xué)）中間的結(jié)果，也是傳統(tǒng) OR 的問題，但是在 machine learning 中情況會有不同。最近我們做了一些 value iteration 的工作，主要解決的問題是 sample complexity（樣本復(fù)雜度）。具體來說，傳統(tǒng)的 value iteration 算法需要知道所有的狀態(tài)轉(zhuǎn)移概率，對 information 的要求很高。而我們的算法會對轉(zhuǎn)移概率進(jìn)行采樣，不需要用全部的信息，而且依然保留了較好的理論性質(zhì)。

其實(shí)最近炒得比較火的 AlphaGo Zero，它也是個 stochastic game（隨機(jī)博弈），即在馬爾科夫決策過程中，有部分決策者是想把它 maximize（最大化），有部分決策者是想把它 minimize（最小化）。在 stochastic game 中有一個跟 policy iteration method 比較相像的方法叫 strategy iteration method。很多人說我不要訓(xùn)練集就可以把 AlphaGo Zero 訓(xùn)練好，其實(shí)完全是可以理解的，因?yàn)槟阃耆梢宰约喝?sample 產(chǎn)生訓(xùn)練集。這個一點(diǎn)不奇怪，所以可能做 machine learning 的人可以注意一下這一點(diǎn)。

非凸優(yōu)化問題

再另外一個我想講講非凸的問題，我們最近也研究了很多非凸問題。像 machine learning、deep learning 就是利用梯度法去解一些非凸問題找到比較好的解。其實(shí)我們在 1996 年已經(jīng)有研究帶約束的二次規(guī)劃。在優(yōu)化理論中間有所謂的一階條件，也有二階條件，二階有充分條件，也有必要條件。我們可以證明很多很多的算法收斂到的解是滿足二階最優(yōu)條件的。對于非正交規(guī)劃，我個人覺得找起始點(diǎn)非常重要。我不熟悉 machine learning、deep learning 里所謂的 tune up 這些東西，我覺得在某種意義上來說，很多工作也在找起始點(diǎn)。

我以前在通信領(lǐng)域，或者是物聯(lián)網(wǎng)領(lǐng)域解一些問題。例如知道某兩點(diǎn)之間的距離，能不能反過來把位置信息找出來，這實(shí)際上是一個非常非凸的問題。我個人認(rèn)為，有一個解這些非凸優(yōu)化非常好的方法，就是能不能找到一些所謂的 convex relaxation（凸松弛）。很多非凸問題肯定都是找到了一些 convex relaxation，通過 convex relaxation 找到一個解，說不定就是原問題的最優(yōu)解。

我發(fā)現(xiàn)我們在很多問題上解得很好。我們最近在幫美國一個系統(tǒng)解流體管道的壓力最優(yōu)化問題，針對他們的水管道石油管道等等。它的決策變量其實(shí)就是壓力，然后再就是流量。大家知道電流里面我們有歐姆定律；流體力學(xué)就是相當(dāng)于壓力差等于阻力乘以流體的平方。歐姆定律是線性的，盡管壓力是變量，流量也是變量，但它是線性關(guān)系，流體力學(xué)就不是線性關(guān)系，壓力差，HI 減去 HJ 等于電阻，電阻是跟管道的直徑有關(guān)聯(lián)，等于 Q 乘以 R 的平方。這個等式中，因?yàn)?Q 是變量，壓力也是變量，那么肯定就不是凸的了。這邊是二次，那邊是線性，那么是不是線性項(xiàng)大于等于 Q 的平方就可以了。因?yàn)?Q 的平方是一個凸函數(shù)，小于某個線性函數(shù)，如果我們能最終找到一個點(diǎn)，然后反過來再用梯度法來算，就可以最終求解。一個城市管道他們以前幾天算不了的問題，現(xiàn)在幾分鐘就可以算出來。

找到一個好的起始點(diǎn)，所以我說我們能不能搞 smart tuning。我知道搞 deep learning 的人通?；◣讉€月去 tune 那些東西，也得到了很好的結(jié)果，但實(shí)際上花了很多人力和時間。

我個人認(rèn)為現(xiàn)在優(yōu)化的方向，是必須跟一些數(shù)據(jù)結(jié)合起來。反過來，應(yīng)該也想想這些 machine learning 中一些比較流行的方法對優(yōu)化有什么幫助，例如一些 ADMM 算法怎么更快地解傳統(tǒng)的優(yōu)化問題。

將 robustness 引進(jìn)到 learning 里

我今天早上的講座關(guān)于是怎么把 robustness 引進(jìn)到 learning 里。這個在我們 optimization 里面已經(jīng)有了 10-20 年的歷史了。我最近看到的一些學(xué)術(shù)論文說，其中有些 learning 的算法對于一些 attack、noise 比較 vulnerable。我今天早上講，一個熊貓的圖像，稍微加一點(diǎn) noise，我們?nèi)搜劭磥磉€像熊貓，但是機(jī)器學(xué)習(xí)的算法會識別出它是一個猴子。

現(xiàn)在關(guān)于 AI 有一種看法，說它是一種不太嚴(yán)格的科學(xué)，甚至有人說它是煉金術(shù)，我倒不至于同意這種說法，倒覺得它更像我們的中醫(yī)，即沒有很多的科學(xué)證明，但是長期的經(jīng)驗(yàn)證明還是有效的。中醫(yī)經(jīng)常有人說，這個病人治好了，這個病人也好了。我覺得機(jī)器學(xué)習(xí)的算法如果能夠把 robustness 再提高一點(diǎn)，那么大家就可以放心大膽地使用了。

我覺得如果本來就沒有嚴(yán)格的科學(xué)依據(jù)，比如說你送飛船上去，到底是用 physical 上的流體力學(xué)，以科學(xué)的方法來設(shè)計軌道，還是用 machine learning 來 design 這個軌道，我想大家目前還是比較相信用嚴(yán)格的數(shù)學(xué)方法來 design 這個軌道。但是到了一定的時候，沒有 physical 的東西來 design 軌道，但 machine learning、deep learning 已經(jīng)到了某一個可以 trust 的地步的話，我覺得這個時候就可以用了。另外，這個里面必須引進(jìn)一些所謂 robustness，如果太 vulnerable，那人家稍微破壞一點(diǎn)，給你搞亂一下，馬上學(xué)習(xí)結(jié)果就錯了。我覺得我們 make decision 的時候，必須要非常小心，必須要能 trust。

這個時候，例如找最短路徑時，原來那些基于線性規(guī)劃的方法，在某些問題上，已經(jīng)有成條的理論。不過同樣也可以用 machine learning 找最短路徑。我覺得可以加一些 robustness 在里面，這個方面在優(yōu)化里面已經(jīng)研究得很成熟了。其實(shí)它跟正則化又有關(guān)系，實(shí)際上算法復(fù)雜性不會增加，就是在 objective function 里面稍微加一點(diǎn)抗干擾因素。我們系里面也有一些學(xué)生在做。我的學(xué)生最近也在自己開發(fā)一些解大型非凸優(yōu)化問題的算法，寫一個 open source 庫。他們那些方法不太實(shí)用，完全是理論性的，我倒是希望找到一些比較實(shí)用的方法，我比較喜歡做一些工具，沒有什么理論基礎(chǔ)，但是我會想辦法。比如說 policy iteration method，實(shí)際中有些問題幾乎比內(nèi)點(diǎn)法好多了，很多年前就能夠從理論上說明了，目前跟 AI 也是有關(guān)系的。我覺得既然工作得這么好，它一定有點(diǎn)道理。

我覺得我們優(yōu)化要結(jié)合實(shí)際來解決問題，也不一定是局限于哪一個領(lǐng)域，比如傳統(tǒng)的計算機(jī)領(lǐng)域、統(tǒng)計或者是其他領(lǐng)域。

問答環(huán)節(jié)

問：我想請教一下葉老師一個看法，在優(yōu)化里面，boundary 一直在變，如果是線性的方式容易，非線性的就難了，后來發(fā)現(xiàn)這不對，是 convex、nonconvex，現(xiàn)在發(fā)現(xiàn)又不對了，nonconvex 有時候也還是容易的，但是有些 nonconvex 問題又不行，您覺得下面這個可能會怎么樣。

答：我個人倒沒有從這個方面來看，我現(xiàn)在發(fā)現(xiàn) machine learning 中的一些問題和 deep learning 中，以及我們優(yōu)化中的問題有一個不同的地方，就是很多的問題都是沒有約束的。然后通常優(yōu)化中如果這個問題沒有約束，就可以用梯度法、牛頓法、擬牛頓法等進(jìn)行求解。從優(yōu)化角度來說，好像不是那么具有挑戰(zhàn)性。我覺得長期以來 deep learning 的問題忽略了約束，而這一點(diǎn)正反映了 deep learning 的問題多把它當(dāng)成是一個 black box，我的參數(shù)是沒有什么物理背景，正負(fù)、無窮大、零，都沒有關(guān)系。但是我覺得有一點(diǎn)，就是在我們學(xué)習(xí)的時候，如果參數(shù)有一定的物理背景，我們應(yīng)該引進(jìn)它的基本的機(jī)理，還要讓他 obey 一些 basic science rule。比如說流體力學(xué)的 rule，你必須把那個條件加進(jìn)去，作為約束放進(jìn)去。但是有一點(diǎn)我不知道，像這種解的比較好的非約束的算法，怎么能夠解到約束上面去?；蛘?deep learning 的很多模型，是不是也應(yīng)該要加一些簡單的 science base。

對于所有的線性規(guī)劃，我們總是要評內(nèi)點(diǎn)法好，還是單純形法好，其實(shí)現(xiàn)在看來這個沒有什么意義。我覺得所有的算法都要把它定制化，定制到什么樣的結(jié)構(gòu)上，你才能說哪一個是最好的。

剛才有人問我，machine learning 對優(yōu)化算法有沒有什么幫助，我說肯定有幫助，就是把優(yōu)化算法的定制化。你根據(jù)問題的不同結(jié)構(gòu)、不同特點(diǎn)，在所有的優(yōu)化函數(shù)中找一個對他最實(shí)用的。這個方法可能人學(xué)不出來，只能通過大量的數(shù)據(jù)學(xué)出來。而且我覺得特別解非凸問題等，對于不同的問題，最好的解的方法不一樣。能不能用 machine learning，根據(jù)這些問題的特點(diǎn)，找一個對癥下藥的方法，然后這樣我倒覺得對我們優(yōu)化算法很有幫助。哪怕就是解整數(shù)線性規(guī)劃，不同方法的計算量差別也會很大。比如說解二次規(guī)劃的問題，到底是用二階錐規(guī)劃好，還是原來的凸規(guī)劃好，這個差別會很大的。

我覺得優(yōu)化算法對不同問題的定制化這應(yīng)該是一個方向，包括怎么樣定制，參數(shù)怎么寫，解線性規(guī)劃。我們也調(diào)參數(shù)，不調(diào)不行，有的對這個問題好，對那個問題不好，這里你很難調(diào)到一個配方，對所有的算法都好。所以這個本身就是一個定制化的問題。

問：葉老師在我們心目中是大神，剛才有人提到，葉老師精力特別旺盛，我有個很自然的問題，您是怎么做到的？您有什么秘訣。

答：你們當(dāng)老師的一定要鼓勵學(xué)生熱愛體育，我以前搞田徑，我現(xiàn)在快 70 歲了，我 1965 年的時候，是全國中學(xué)生的跳高冠軍，三級跳也是冠軍，跳遠(yuǎn)拿的是第幾名我忘記了。當(dāng)時沒有全國運(yùn)動會，就是各個省自己開運(yùn)動會，然后把成績報到全國進(jìn)行匯總，進(jìn)行排名。這個成績還是在那里，我們當(dāng)初跳高是剪式跳高，當(dāng)時不像現(xiàn)在這樣。總結(jié)起來，我的意思就是說，要熱愛體育。

問：您為什么能夠在這么多領(lǐng)域里面，做出這么多有品味的研究，在這方面有什么分享？

答：我個人認(rèn)為，自己只是江湖中的一個小角色。我做研究就是喜歡想。我不知道你們是不是非要寫在紙上，我通常把問題想通，我自己喜歡想一環(huán)一環(huán)的問題。其實(shí)我下棋下得不好，我想這些問題的思路我覺得應(yīng)該可以證明出來，其實(shí)不用紙寫出來我覺得應(yīng)該就可以了。然后我就告訴學(xué)生這個問題應(yīng)該過得去，比如現(xiàn)在我的學(xué)生做的這些東西。主要是想這個問題的關(guān)鍵，如果能夠推過去，推導(dǎo)的關(guān)鍵在什么地方，你把關(guān)鍵想通了，就沒有什么問題了。然后就是這樣先想，再寫。再就是自己要有一個品位，我覺得小打小鬧，有些人開始可以搞一點(diǎn)，但是到了一定的時候就不能這樣了。

我比較容易看出學(xué)生的一些特長，是搞組合比較好，還是分析隨機(jī)算法很好，例如線性方程解得蠻漂亮等。我始終認(rèn)為，其實(shí)在運(yùn)籌學(xué)中間的一些問題，不一定要運(yùn)用到非常高深的數(shù)學(xué)，有些算法是非?；镜摹Ｕ业阶C明的方向，比用到證明的方法更重要。方向找對了，證明非常的簡單，就是線性代數(shù)，加上一些馬爾科夫等，分析一下基本上就過去了。所以這些我覺得還是要有個 sense，這個方向?qū)Σ粚?，一步一步走過來，這是我的一點(diǎn)體會。然后再就是對學(xué)生，因人而異，找到比較切合他的點(diǎn)，觀察他比較擅長什么。

我有個習(xí)慣，其實(shí)我很喜歡看電視劇，我太太也說我，在電視前一天看兩、三個小時電視劇。其實(shí)我看電視節(jié)目都在想問題，我可以同時 enjoy 這些電視劇，比如《人民的名義》等，我自己也有很多問題是在那個時候想出來的，可以同時進(jìn)行。

問：您在斯坦福工作也會關(guān)注國內(nèi)的運(yùn)籌學(xué)，在您看來，我們中國的運(yùn)籌優(yōu)化發(fā)展，怎么樣往前走一大步？您能提點(diǎn)見解嗎？

答：現(xiàn)在很多搞統(tǒng)計、machine learning、計算機(jī)等的優(yōu)秀的人才都回來了，對于運(yùn)籌學(xué)，我個人有一點(diǎn)感覺，我們把自己封閉起來了。再加上國內(nèi)大環(huán)境也比較強(qiáng)調(diào)管理，這個在學(xué)科內(nèi)屬于運(yùn)籌控制等，我覺得現(xiàn)在我們一定要打破這個 boundary，包括在斯坦福等很多地方，學(xué)術(shù)研究很多方面都沒有 boundary，只要有興趣的問題，大家都可以去做研究。

第一，搞優(yōu)化的時候，我們運(yùn)籌學(xué)會要不被潮流 left out，現(xiàn)在 AI、machine learning、計算機(jī)蓬勃發(fā)展，我們要跟上潮流，比如關(guān)注 machine learning 中的優(yōu)化問題。另外，我們能不能提供新的思路、新的方法，更好地幫助他們解決問題，這點(diǎn)很重要，我們一定要跟他們結(jié)合起來。

第二，還是要針對實(shí)體的經(jīng)濟(jì)，對比較大的公司，不管是前面發(fā)言的華為，還是其他 BAT 這樣的公司，都要有用。這一點(diǎn)是非常不容易的，不光靠學(xué)術(shù)。可能是我年紀(jì)大了，反而覺得覺得光紙上談兵不行，必須對實(shí)際有意義。中國運(yùn)籌學(xué)，長期還是得將學(xué)術(shù)研究與深層的應(yīng)用結(jié)合起來，想一些東西。再深層意義上，我覺得老師到一定的年齡，還是需要考慮到這一點(diǎn)：現(xiàn)在各個公司的研發(fā)力量都很強(qiáng)，包括 BAT 等，他們現(xiàn)在自己內(nèi)部都有很多搞統(tǒng)計、計算機(jī)的，所以老師們可以去稍微指導(dǎo)一下，說一說，提供一些最新的信息。

我還是擔(dān)心運(yùn)籌學(xué)長期干我們之前的那些事，比較封閉。另外，我倒非常希望看到有些東西，比如將原有算法和新的 deep learning 算法比較，我非常期望看到，到底是結(jié)合的好，還是 AI 的好，還是運(yùn)籌搞的這些基礎(chǔ)的比較好。這些很有意思，都是需要去試的。

一個是 OR 要走出去，不要孤芳自賞；第二就是要做點(diǎn)實(shí)際的事。這是我個人的看法。

（完）

雷鋒網(wǎng) AI科技評論編輯整理。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。