尋夢新聞LINE@每日推播熱門推薦文章,趣聞不漏接❤️
機器之心轉載
來源:知乎
作者:褚則偉
Kevin Gimpel 是 TTIC 和芝加哥大學計算機科學系的一位助理教授、博士生導師。他不會手把手教你做研究,但總會留很長的「comments」。在這種「放養」的模式下,學生依然能夠體會到他的認真負責和一絲不茍…… 在這篇文章中,Gimpel 的學生、芝加哥大學計算機博士褚則偉總結了他從導師身上學到的幾件事。
在芝加哥大學讀博士的 5 年中(其實只有 4 年在做 NLP),我從導師 Kevin Gimpel 身上學到了不少東西,有關於學術研究的,也有關於工作方式的,這裡寫下來和大家做個分享。
Kevin 自己寫過一篇給 PhD 學生的建議:https://ttic.uchicago.edu/~kgimpel/etc/phd-advice.pdfttic.uchicago.edu。裡面不少建議的工作方式也是他自己一直在踐行的。
工作時長
Kevin 提倡保持「可持續發展」的工作時長,既不能太短,也不能太長。他個人的建議是每天工作 8 小時,每周工作 5 天。這一點我做得並不好,我總是在 deadline 前高強度工作,平時則過得過於悠閒。
從我和他的日常合作中,我能很明顯地感覺到他對於時間的掌控做得很好。每次開會到了 55 分鐘的時候,他就會說「會議的時間就要結束了,我們可以來總結一下」。
到了 deadline 前修改 paper 的時候,他會說「明天早上我有 1 個小時可以修改一下你的論文,能不能告訴我你希望我關註哪一個 section?」到了晚上,他又會說「我差不多要下線了,如果你遇到了任何困難我們可以郵件溝通」。事實上,當他發完這封郵件之後,我基本上就不會再去麻煩他了,因為我知道這已經到了他的休息時間。
導師和學生的關係
在 Kevin 的眼中,他是我的導師(advisor)。advisor 顧名思義就是給出建議的人。所以他和我的關係幾乎就一直僅限於「提供建議」。在四年的工作中,他從來沒有給我布置過一次工作任務。我們之間的關係僅限於每周一次 1 小時的會議。在這個會議中,我們會討論我最近的工作情況、研究進展。他會基於我的工作給出一些工作的「建議」。至於這個建議是否採納,完全是我的事情。當然經過我自己走的多次彎路,我才意識到大部分時候他給的「建議」、尤其是「研究建議」,多半是非常優化的解決方案,我自己的探索大部分時候是徒勞。
這種「建議」的關係也體現在寫論文上。對於是否要投遞論文,投遞哪個會議,Kevin 一向只是提出「建議」,從不會「要求」我去提交任何一篇論文。他的口頭禪是「This is your work, so I will let you decide whether you want to make a submission this time.」每次到了 deadline 前要提交論文的時候,Kevin 一般會幫我修改一次論文。除了一些顯然的語法錯誤之外,Kevin 一般盡可能避免幫我直接修改論文。他的做法一般是在我們的文檔上留下很長的 comments,並且建議我可以修改如下,緊接著長篇大論的修改。但是最終是否採納他的版本,則依然是我自己的選擇。
不過組內有同學告訴我,一般來說 Kevin 給我提的「建議」,建議我還是直接當做「要求」來做即可。事實上如果從工作效率角度來說,直接聽導師的命令或許更高一些。但是我認為導師給學生提供足夠的自由度對於學生的能力培養和未來的工作發展是大有裨益的。
另一方面是,Kevin 似乎總是在工作中保持著高度的 professional。任何時候他幾乎從來不聊一些與工作無關的問題,有時候會顯得非常 nerd。
關於研究課題
Kevin 從來不會要求我們做任何特別方向的 research。不過並不是因為他沒有想做的 idea,其實他自己經常會在不經意間(也許是故意的)向我們推銷他的 research idea。例如 2017 年他給我推銷 text style transfer,平時幾乎不間斷推銷 commense knowledge 之類的 work,不過我最終並沒有過多涉獵。我認為他之所以盡可能避免給我們灌輸具體做研究的想法,一方面是他認為讀博士做研究是學生的事情,他不應該越俎代庖,另一方面也是他希望盡快讓我們培養自己選擇課題做研究的能力。所以更多的時候我們都是學生之間互相討論想做的項目,而不是找 Kevin 去要一個項目過來。
不過 Kevin 對於很多我們討論過的 idea 會非常執著。例如某天討論了一個問題,然後我決定去做一做。做完後發現不太行,Kevin 總會不停地再次提起,問這個能不能再試一試,有沒有可能把它做 work?或者非常假裝不經意間地再提起這件事情,說是不是可以稍微改一改再看看能不能做出來?由於 Kevin 講話總是過於禮貌或者顯得有些隨意,以前我會忽視這些他似乎漫不經心的提議。不過慢慢地我就發現一件事情如果他提了兩次,大概率就是他認為我的實驗做得有問題,他認為應該是可以做成功的。
工作方式
Kevin 的整體風格非常一絲不茍。可能這與工作的性質有關,很多時候寫論文就是要反覆斟酌遣詞造句。
我在寫論文的時候,有時會有一些比較隨意的地方,例如說這裡我用了 cross entropy loss 來訓練,那裡用了 hinge loss 來訓練。他就會留下 comments:為什麼這裡要用 cross entropy,那裡要用 hinge loss?然後我告訴他其實沒有什麼特別的原因,他就讓我在這裡加上一些解釋,告訴作者「這裡其實可以採用不同的 loss function,但是我們這裡實驗了這兩種做法。」他說他不希望讀者以為我們在告訴他們這兩個 loss 在這裡表現最好。
我相信很多 PhD 學生可能會了解一些所謂的「論文 presentation 技巧」。事實上這種技巧在某種程度上是一個 grey area,比方說一個模型在 A 數據集上表現好,在 B 上表現不好,這個時候我們可以把 B 扔了,隻 present A 的結果。這樣論文被接收的幾率就提升了。Kevin 似乎從來不會給我這樣的 presentation 建議,他總是會問,為什麼 B 上面表現會不好,我們要研究一下。如果實在說不清為什麼,他也會讓我把 B 的結果放到 paper 上,至少也得在 appendix 裡面。原因是不能誤導讀者。但是這樣也直接導致了 paper 比較容易被 reject。很多時候把不好的結果扔掉,paper 看起來就會光鮮亮麗很多。
Kevin 的 professionalism 還體現在他對流程和制度的尊重上。有一些教授是默認他的博士生暑假會在自己的實驗室工作,但是 Kevin 卻一直是按照學校的規章制度辦事。學校的規章制度如果是讓學生工作 9 個月,那麼他會默認暑假學生就不會在學校裡了。當我碩士和博士答辯的時候,Kevin 也會詢問我,學校對於碩士和博士的畢業要求是什麼?我心中的想法是,「我畢不畢業還不是看你答不答應嗎」,不過我發現他的想法是,我是否畢業是我和學校的事情,他的工作是按照學校的規章制度考察我有沒有符合學校的畢業標準。
工作量
前面也提到了我導師「8×5=40」小時的每周工作量。Kevin 對於每周的工作量是有比較嚴格的控制的。又由於他對待工作非常認真,所以他幾乎不會在主要的學術工作之外給自己增加工作量。例如審稿之類的工作,他就會根據自己的時間來具體安排,教學任務忙的時候,他就會少開一些 research meeting。如果正好某天要去度假,他就會提前發郵件給大家,自己某段時間要去度假了,這期間的會議就只能挪時間或者取消了,加班是不可能加班的。不過 Kevin 出去度假的一周一般來說就是我在家度假的一周。暑假期間,Kevin 偶爾也會接一些公司的 consulting 工作,但是據我觀察他的工作時間依然非常固定,幾乎不可能出現加班的情況。
Kevin 一直嚴格控制自己的學生數量。一方面,他的 funding 有限,沒有辦法大量招博士生。但是,即便有一些本科生、碩士生自願「免費工作」(這些年 AI/NLP 非常火爆,所以想要來參與研究工作的,有才華的本科生和碩士生非常之多),大部分情況他也不會輔導額外的學生。一般來說除了博士生之外,他會有 1-2 個本科生或者碩士生額外輔導,這幾乎已經是他的學生數量上限。這一點與一些研究組動輒二三十人的規模非常不同。Kevin 會盡可能把自己的時間花在自己的學生上,一旦學生的 meetings 填滿了他的工作時間表,他就不再招收新的學生了。
教學
Kevin 對於教學的認真也令我非常吃驚。我在上他的 NLP 課程的時候,他會自己設計所有的作業,並且自己寫代碼把自己的作業寫一遍,才會發出來讓學生做。某一次作業他晚了將近一周才布置,然後他本人給出的解釋是,他還沒有寫完自己創建的作業。他覺得如果自己沒寫完的話不想布置給學生做。
由於他自己對待教學工作如此認真,這直接導致了他的助教的工作量非常小。例如我曾經做過他「機器學習」課程的助教,基本上他會提供一切作業的答案,我們只要照著答案回答學生的問題即可(作業有 grader 來批改)。
presentation 和提問
一般在我們去 conference 上給 talk 之前,Kevin 會建議大家在組內做個 practice talk。Kevin 一般會在下面計時,讓我們在規定時間內完成 talk。在 talk 之後,他會讓大家提問,如果沒有人提問的話,他總是能夠自己提出幾個問題來。很多時候因為他自己完全參與了整個項目,我會默認他應該沒什麼問題可以提的,但是他卻總是能夠找出幾個細節來提出一些有價值的問題。在 talk 之後,他一定會發送一大段長篇大論的 email 給主講者,裡面是他自己針對每個 slide 給出的建議。
喝茶聽 talk
TTIC(Kevin 所在的研究所)經常有各種日常 research talk。主要是邀請各個領域的人來給講座,談一談最近的新工作。放眼望去,大家會發現不少聽 talk 的人開著一臺電腦,手頭幹著事情,順便聽一聽主講者的演講。但是 Kevin 似乎永遠都是泡好一杯茶,拿著茶杯進來聽講座,一邊品茶一邊聽講。這讓我想到了「關註當下」似乎是禪修的一個高級境界,Kevin 毫無疑問已經達到了極高的境界。
社交
總的來說 Kevin 是個非常 nerdy 的人,但是他卻非常熱衷於讓我們參加他的「學術圈子」的社交活動。例如每次去開會,如果他的導師 Noah Smith 也來參會,他們就會找個酒吧組織一個大型的 Noah’s Ark party。在裡面和大家談笑風生還是很愉快的。
疫情期間,Kevin 特別熱衷於組織 Zoom social,一直組織和各個學校的 NLP 組社交 + 討論,豐富了宅家的生活。
「佛系青年」
我認為 Kevin 在某種程度上是個「佛系青年」。他似乎也不著急發 paper,也不催他的學生幹活,一切都是順其自然地發展著。
「白左」
Kevin 的身上有很多「白左」的特征。事實上「白左」可能不是一個正確的標簽,我這裡主要是想要強調他是一個非常注重禮貌的人。
每當有人向他提出一個問題,無論這個問題的本身有多麼無聊,他都會給出非常詳細的解釋。我聽一個同學說他當年在 Kevin 的考試中某個問題上隨便寫了個答案,結果 Kevin 非常認真地研讀了他的答案,給了很長的評論,最終表示自己沒有看懂這位同學的解法,給了個 1 分(應該是個很大的簡答題吧)。認真程度可見一斑。
每周的開會結束之後,即便我這一周工作量很小,只是與 Kevin 隨意扯 research,他也必定會說「Thanks Zewei for the updates. There are so many interesting things going on with your research. I think it’s promising. I am optimistic.」各種溢美之詞讓我聽了都不好意思。每當提交一篇論文,Kevin 又必定會說,「Congratulations for this great submission! Thanks Zewei for the work.」 仿佛論文中不中都不重要,我們自己開心就好 :)
口頭禪
「This is interesting.」據說 interesting 翻譯成中文是「呵呵」。不過 Kevin 總是能把他的「interesting」說出更高的境界。例如,他總是在 interesting 過後加上一段很長的評論,表示為什麼這件事情很「interesting」。
總結
Kevin 寫任何文章總是有一個「conclusion」,所以我這裡也繼承一下他的衣缽。
我覺得 Kevin 其實代表了一大類美國研究者的風格。整個人非常一絲不茍,工作方式非常 professional,對於學生「似乎毫無要求」、學術放養。從某種程度上來說這是北美比較寬鬆的學術氛圍導致的,大部分教授和學生並沒有特別巨大的發論文壓力,所以他們更有興趣研究一些他們認為有意義的問題,而不是湊夠文章好升遷。我在和國內同行交流的時候,發現很多人會問芝加哥大學有什麼畢業要求,需要發幾篇論文。事實上很多美國的學校根本就是沒有論文要求的,甚至有不少人發了 0 篇論文直接畢業。這種寬鬆的制度對於科研的長期發展孰優孰劣,我就不好評判了。
原文鏈接:https://zhuanlan.zhihu.com/p/242592577
優必選語音合成技術在服務機器人上的應用
9月23日,優必選語音技術科學家黃東延將帶來分享,主要介紹三方面內容:基於神經網路的參數語音合成以及端到端語音合成技術、語音轉換技術和語音情感生成技術。
添加機器之心小助手(syncedai5),備註「語音」,進群一起看直播。
©THE END
轉載請聯繫本公眾號獲得授權
投稿或尋求報導:[email protected]
預覽時標簽不可點