一緒提示您:看后求收藏(詩鼎小說網網m.gzstf.cn),接著再看更方便。
<script>theme();</script></dt>
34
當晚王青青青一行人先行回去了。次日上午,同行兩輛車駛出度假村,沿著89號公路一路向南。太浩湖的藍在后視鏡里越來越遠,越來越小,最后被一個彎道吞沒了。
車里很安靜。薛意開車,曲悠悠坐副駕。暖氣開著,窗外是連綿的雪松。
薛意全程眉心微蹙,目光直直鎖在前方,時不時看幾眼后視鏡,嘴唇抿成一條線。
曲悠悠偷偷看了她好幾眼,沒敢說話。
怎么了,這是?
出了山區后,車速加快。儀表盤上的數字穩定在85英里每小時左右,時不時的一不留神就能躥上90。前面陶予之的特斯拉也開得飛快,兩輛車在空曠的荒野公路上一前一后,像在賽車。
曲悠悠問AI ,93英里每小時相當于國內的多少碼。AI告訴她,150碼。
嘶…
她尋思這后邊也沒人追啊。默默扯了扯安全帶,確認系緊了。尬里尬氣開始找話說。
今天天氣挺好哈。
“…”
沉默一陣,薛意忽然想起來剛有個人說話了似的:嗯。
路上沒什么車。
嗯。
你…是不是不太高興?
沒有。“
“哦…“
“怎么了?
從上車起就皺著眉頭。
薛意眨了眨眼,單手碰碰眉心,好像這才意識到:哦。我在想一個問題。
什么問題?曲悠悠耳朵豎起來了。
Transformer架構里attention機制的數學本質,能不能用微分幾何的框架重新表達。陶予之昨晚給我看了一篇新的預印本,我覺得他們的證明路徑有一個gap。
……
曲悠悠傻了。
???
這啥?
每一個字好像都能明白,但連起來就是聽不懂。
類似于,“我個人認為這個意大利面就應該拌42號混凝土。因為這個螺絲釘的長度,它很容易會直接影響到挖掘機的扭距,你往里砸的時候,一瞬間它就會產生大量的高能蛋白,俗稱UFO,會嚴重影響經濟的發展…“你懂你悠姐的意思吧?
曲悠悠感到一絲悲涼:“你說的,這是關于…什么的問題???“
薛意又眨了眨眼:“哦,AI相關的數學問題。”
叮。心里有個微波爐熱好了飯似的,曲悠悠也眨了眨眼,被動觸發尬笑技能:“害,你這么說我就懂了嘛哈哈哈…”
其實也不懂。
所以你是在做數學題。
嗯。
曲悠悠看著薛意嚴肅的側臉,忽然有點想笑。覺著薛意這人挺好玩的。皺著眉頭飆到150碼,不是因為心情不好,是因為在腦子里解微分方程。說起話來也好像AI啊,還是不說人話的那種。
有點可愛。
嘿嘿。
中午在一個公路旁小鎮停下來吃飯。
下車走進路邊一家美式餐館,薛意和陶予之剛坐下就開始聊。
陶予之從包里掏出平板,翻出一篇論文遞給薛意:MIT那組的新預印本你看了嗎?把self-attention寫成球面上的interacting particle system,證了一個token clustering的收斂定理。證明本身挺漂亮的,Wasserstein梯度流那段構造得很干凈。
薛意接過來,眼睛掃了一眼公式。
證明是挺漂亮的,但不能用。她拿過一張餐巾紙,畫了個球面示意圖:他們的Lipschitz假設在實際的softmax下根本不成立,高維空間里梯度直接blow up。你拿這個收斂率去calibrate真實的attention map,差兩個數量級。
陶予之笑了一下。她太熟悉薛意的思路了。純數學家看一篇論文先看證明結構美不美,薛意看一篇論文先看結論能不能拿來賺錢。
那你打算怎么修?
不修,換個框架。薛意在餐巾紙上飛快地畫了起來:我在想Ricci flow。Clustering本質上就是曲率集中,Perelman處理奇點的那套surgery改一改,應該能給一個更tight的bound。
兩人聊得旁若無人…
曲悠悠懵懵地看著兩個神仙似的人嘰里咕嚕說了一堆什么都聽不懂的話,還有來有回的,有點幽怨地開始懷疑自己的智商。
肩膀被輕輕拍了兩下。
“別管她們了,”徐醫生淺笑著,勾了勾她的臂彎,“咱們去點些東西吃。
曲悠悠僵僵地回過神來,“哦…好叻?!?
跟著徐醫生來到點單柜臺,曲悠悠看了眼菜單,又茫然地回頭看著不遠處窗邊座位上兩人之間的餐巾紙上越來越密的符號和箭頭。
徐醫生靠在柜臺上,要了兩份薯條漢堡經典套餐,又問曲悠悠她和薛意吃什么,表情很淡定。
習慣就好了,她說,她們倆一聊起來就是這樣。
經常這樣嗎?
每一兩周就會約一次,每次都去圣馬里奧一家上海生煎鋪子吃小籠包,邊吃邊聊。有時候是理論數學,有時候是金融科技方面的應用,一聊起來沒完沒了的。我偶爾會跟著去一下,坐旁邊吃點東西。
“小籠包?“
“嗯,她倆的最愛。“徐醫生扁了扁眼,淺嘆一口氣,好像有些無語,”機器人似的,每次就吃那幾樣,也不換換口味?!?
“最愛…”曲悠悠看著不遠處的兩人,悄咪咪生出一點美滋滋的僥幸。
薛意在餐巾紙上寫到一半停下來,蹙眉想了幾秒,然后又飛快地動起筆來。陶予之的眉頭也微微蹙著,但嘴角彎起一丁點弧度。不知道是不是快解出來了。