今天是新專欄《AI白身境》的第九篇,所謂白身,就是什么都不會,還沒有進入角色。
咱們這個系列接近尾聲了,今天來講一個非常重要的話題,也是很多的小伙伴們關心的問題。要從事AI行業,吃這碗飯,至少應該先儲備一些什么樣的數學基礎再開始。
下面從線性代數,概率論與統計學,微積分和最優化3個方向說起,配合簡單案例,希望給大家做一個拋磚引玉,看完之后能夠真正花時間去系統性補全各個方向的知識,筆者也還在努力。
作者|言有三
編輯|言有三
01線性代數
1.1向量
什么是數學?顧名思義,一門研究“數”的學問。學術點說,線性代數是一個數學分支,來源于希臘語μαθηματικ,意思是“學問的基礎”。
數學不好,就不要談學問了,只能算知識。
按照維基百科定義:數學是利用符號語言研究數量、結構、變化以及空間等概念的一門學科,從某種角度看屬于形式科學的一種。所以一看見數學,我們就想起符號,方程式,簡單點比如這個。
復雜的比如這個
代數是數學的一個分支,它的研究對象是向量,涵蓋線、面和子空間,起源于對二維和三維直角坐標系的研究。
我們都知道歐式空間,任何一個向量(x,y,z)可以由三個方向的基組成
(x,y,z)=x(1,0,0)+y(0,1,0)+z(0,0,1)
它的維度是3,拓展至n就成為n維空間,這N維,相互是獨立的,也就是任何一個都不能由其他的幾維生成,這叫線性無關,很重要。
Skybridge Capital創始人:現在是投資加密貨幣的時候:金色財經報道,資產管理公司 SkyBridge Capital創始人Anthony Scaramucci 周二表示,比特幣的價格可能已接近底部,因此現在可能是投資比特幣的時機。長期加密貨幣投資者需要保持三到五年的展望,而不是停留在日常表現上。
根據 Scaramucci 的說法,SkyBridge 隨后購買了價值 1000 萬美元的 FTX 原生代幣 FTT,隨后以估計損失 960 萬美元的價格出售。他沒有說明 FTT 何時出售。Skybridge 現在正在考慮是否從倒閉的 FTX 手中回購其股票。Scaramucci 表示,他希望他的公司能在“今年年中”之前做到這一點,盡管他說 Bankman-Fried“從未影響 SkyBridge]業務的運營方式。”Scaramucci 表示他“對加密貨幣領域非常樂觀”。[2023/1/19 11:19:55]
2.2線性回歸問題
用向量表示問題有什么用呢?
假如基友今天約你去吃飯,沒有說好誰買單,而根據之前的慣例你們從來不AA,今天你剛交了房租,沒錢了,那么該不該去呢?我們可以先回歸一下他主動買單的概率,先看一下和哪些變量有關,把它串成向量。
X=(剛發工資,剛交女朋友,剛分手,要離開北京,有事要我幫忙,無聊了,過生日,就是想請我吃飯,炒比特幣賺了,炒比特幣虧了,想蹭飯吃),共11維,結果用Y表示
Y=1,表示朋友付款,Y=-1,表示不付款
好,我們再來分析下:
和Y=1正相關的維度:要離開北京,有事要我幫忙,過生日,就是想請我吃飯,炒比特幣賺了
和Y=-1正相關的維度:想蹭飯吃
暫時關系不明朗的維度:剛發工資,剛交女朋友,剛分手,無聊了,炒比特幣虧了
好,拿出紙筆,今天是2019年1月22日,據我所知,這貨就是一個典型的死宅摩羯工作狂
Binance Labs啟動第六期MVB Web3加速器計劃:11月25日,據BNB Chain官方社交媒體,Binance Labs已啟動第六期“最有價值建設者”(MVB)Web3加速器計劃并提供融資機會等一系列激勵措施,本期孵化方向包括產品設計、數據工具、安全審計、擴容基礎設施、代幣經濟等,目前已開放申請。[2022/11/25 20:46:03]
剛發工資=0,時候沒到
剛交女朋友=0,不可能
剛分手=0,沒得選
要離開北京=0,不像
有事要我幫忙=0,我能幫上什么忙
無聊了=1,估計是
過生日=0,不對
就是想請我吃飯=0,不可能
炒比特幣賺了=?,不知道
炒比特幣虧了=?,不知道
想蹭飯吃=?,不知道
這下麻煩了,有這么多選項未知,假如我們用一個權重矩陣來分析,即y=WX,W是行向量,X是列向量
X1到xn就是前面那些維度。現在等于
假如我們不學習參數,令所有的wi與y=1正相關的系數為1,與y=-1正相關為-1,關系不明的隨機置為0.001和-0.001,那么就有下面的式子
還是3個未知數,問題并沒有得到解決。
不過我們還是可以得到一些東西:
數字證券交易平臺Assetera加入Dino分銷網絡:金色財經報道,受歐盟監管的數字證券和數字資產交易平臺Assetera與通證化解決方案提供商Tokeny達成合作。Assetera將成為與DINO(通證化私人資產的全球分銷網絡)兼容的流動性場所,利用ERC3643協議,為歐洲投資者提供多樣化的全球資產,并促進流動性。(finextra)[2022/10/8 12:49:29]
我們的模型還沒有得到訓練,現在的權重是手工設定的,這是不合理的,應該先抓比如1萬個樣本來填一下報告,把X和Y都填上。當然,要保證準確性,不能在報告中填了說自己會請客,實際吃起來就呵呵呵。這樣就是標簽打錯了,肯定學不到東西。從X來看,這個朋友還是可以的,與y=1正相關的變量更多,但是,未必!因為現在X的維度太低了,比如這個朋友是不是本來就是小氣鬼或者本來就喜歡請人吃飯,比如是來我家附近吃還是他家附近吃,比如他吃飯帶不帶女孩等等。上面提到了一些隨機性,比如權重W的隨機性,0.001或者-0.001,X本身的噪聲α,β,γ。是不是很復雜,現實問題本來就很復雜嘛。不過如果你沒有經濟問題,那就可以簡單點,不管這個模型,只問你今天想不想吃飯,是就去,不想吃就不去。
線性代數就說這么多,后面想好好學,一定要好好修行線性代數和矩陣分析,咱們以后再說,書單如下。
以下是一些關鍵詞,如果都熟練了解了第一階段也就OK了。
標量,向量,特征向量,張量,點積,叉積,線性回歸,矩陣,秩,線性無關與線性相關,范數,奇異值分解,行列式,主成分分析,歐氏空間,希爾伯特空間。
02概率論與統計學
“1P5ZE”開頭巨鯨地址再次轉移25162.6枚BTC,近三日共轉移超10萬枚BTC:7月21日消息,據BitInfoCharts最新數據顯示,巨鯨“1P5ZE”開頭地址今日10:39再次轉移25162.6枚BTC,近三日共減持了103646.6枚BTC,當前該地址余額為29235.29枚BTC。
此前消息,上述地址于今日9:11及9:31分兩筆共轉移16984枚BTC,并于7月19日和7月20日轉移6.15萬枚BTC。[2022/7/21 2:28:08]
2.1概率論
概率大家都知道吧,研究的是隨機性事件。大家應該都曾經飽受貝葉斯公式的折磨。
概率論中有以下幾個概念,還是以之前的吃飯問題,朋友主動叫我吃飯為事件X,也叫觀測數據,他請客了事件為Y,有以下幾個概率,其中P(A|B)是指在事件B發生的情況下事件A發生的概率。
(1)X的先驗概率,即朋友主動喊我吃飯的概率p(X),與Y無關。
(2)Y的先驗概率p(Y):即單純的統計以往所有吃飯時朋友請客的概率p(Y),與X無關。
(3)后驗概率p(Y|X):就是給出觀測數據X所得到的條件概率,即朋友喊我吃飯,并且會請客的概率。
anyway,飯我們吃完了,現在回家,結果未來的女朋友打來電話問去干嘛了,氣氛有點嚴肅,原來是吹牛皮過程中沒有看微信漏掉了很多信息。只好說去應酬了,妹子不滿意問你還有錢吃飯,誰請客。我說不吃白不吃啊,朋友請。
妹子又問,誰主動提出吃飯的!
正好,那不就是要算后驗概率p(X|Y)嗎?也就是飯吃了,誰提議的。
于是故作聰明讓妹子猜,還給了一個提示可以用貝葉斯公式,并且已知p(Y)=0.2,p(X)=0.8,再加上上面算出來的p(Y|X)
三箭資本創始人Zhu Su已在推特個人介紹中刪除ETH、AVAX等代幣:6月13日消息,三箭資本創始人Zhu Su 已在其推特其個人介紹中刪除 ETH、AVAX、LUNA、SOL、NEAR、MINA 等代幣,目前在其介紹中只保留了\"Bitcoin”。[2022/6/13 4:21:37]
好了又回到了這個問題,3個未知變量。
不過沒關系,我們可以先用它們的數學期望來替換掉,數學期望就是一個平均統計。
這說明什么?說明這一次吃飯,是朋友先動的嘴的概率p(X|Y)=0.002,那么今天99.8%是自己跑出去蹭吃吹牛皮了。
接下來的問題就是搓衣板是跪還是不跪,貝葉斯公式解決不了。
事情結束后,要想好好搞下去,肯定是要學好概率論和統計學習的。
同樣,有一些關鍵詞要掌握。
不確定性,隨機變量,大數定律,聯合分布,邊緣分布,條件概率,貝葉斯公式,概率密度,墑與交叉墑,期望,最大似然估計,正態分布/高斯分布,伯努利分布,泊松分布,概率論與統計推斷,馬爾可夫鏈,判別模型,生成模型。
有意思的是:概率論還有一些東西是有點違背認知的,比如生日悖論。
一個班上如果有23個人,那么至少有兩個人的生日是在同一天的概率要大于50%,對于60或者更多的人,這種概率要大于99%。大家都是上過學的少年,你在班上遇到過同一天生日的嗎?
2.2傳統機器學習算法基礎
傳統機器學習算法本來不應該放在這里說,但是因為其中有一部分算法用到了概率論,所以也提一句。
有很多人在知乎上問,搞深度學習還需要傳統機器學習基礎嗎?當然要!且不說這個傳統機器學習算法仍然在大量使用,光是因為它經典,就值得學習一下,依舊推薦一本書。
機器學習完成的任務就是一個模式識別任務,機器學習和模式識別這兩個概念實際上等價,只是歷史原因說法不同。
一個模式識別任務就是類似于識別這個圖是不是貓,這封郵件是不是垃圾郵件,這個人臉是不是你本人之類的高級的任務。
傳統的機器學習算法有兩大模型,一個是判別模型,一個是生成模型,我們以前講過,大家可以去看。
有三說GANs
傳統機器學習算法就不展開了,太多。
03微積分與最優化
3.1導數
機器學習就是要學出一個模型,得到參數嘛,本質上就是優化一個數學方程,而且通常是離散的問題,這個時候大殺器就是微積分了。
微積分是什么,根據維基百科:
微積分學曾經指無窮小的計算,就是一門研究變化的學問,更學術點說就是研究函數的局部變化率,如下。
可知,在不同的X處它的導數是不相等的。如果遇到了一個導數為0的點,它很有可能就是最大值或者最小值,如下面的x=0點取得最小值y=0。
導數反映了y的變化趨勢,比如這個方程x>0時,導數大于0,則y隨著x的增加而增加。x<0時,導數小于0,則y隨著x的增加而減小。
所以看導數,我們就得到了目標y的變化趨勢,而深度學習或者說機器學習中需要優化的目標就是一個Y,也稱之為目標函數,價值函數,損失函數等等。通常我們定義好一個目標函數,當它達到極大值或者極小值就實現了我們的期望。
不過還有個問題,就是導數等于0,一定是極值點嗎?未必,比如鞍點。
上面的小紅點就是鞍點,在這個曲面上,它在某些方向的導數等于0,但是顯然它不是極值點,不是極大也不是極小,正因如此,給后面的優化埋下了一個坑。
如果你真的微積分也忘了,就需要補了。
3.2數值微分
前面說了,機器學習就是要求解目標的極值,極大值極小值是等價的不需要糾結,通常我們求極小值。
上面的函數我們輕輕松松就求解出了導數,從而得到了唯一的極值,這叫做解析解,答案很唯一,用數學方程就能手算出來。
但是實際要優化的神經網絡上百萬個參數,是不可能求出解析解的,只能求數值近似解,就是用數值微分的方法去逼近。
數值微分的核心思想就是用離散方法近似計算函數的導數值或偏導數值,相信同學們在課程中都學過。
向前差商公式:
向后差商公式:
中心差商公式:
有了感覺咱們接著說
那么,一般情況下要求解任意函數極值的方法是什么呢?在深度學習中就是梯度下降法。
梯度下降法可以說是最廣泛使用的最優化方法,在目標函數是凸函數的時候可以得到全局解。雖然神經網絡的優化函數通常都不會是凸函數,但是它仍然可以取得不錯的結果。
梯度下降法的核心思想就是(公式比較多,就截圖了):
這一套對所有的函數f(x)都通用,所以以導數的反方向進行搜索,就能夠減小f(x),而且這個方向還是減小f(x)的最快的方向,這就是所謂的梯度下降法,也被稱為“最速下降法”,參數更新方法如下。
關于微積分和最優化,咱們就點到為止了,不然就超出了白身境系列的要求。要補這方面的知識,就比較多了,建議先找花書中的對應章節看看,找找感覺再說。
最優化的方法還有很多,目前在神經網絡優化中常用的是一階優化方法,不過二階優化方法也慢慢被研究起來,最后還是給出一些關鍵詞去掌握。
導數,偏導數,線性規劃,二次規劃,動態規劃,Hessianmatrix,損失函數,正則項,一階優化方法(梯度下降法),二階優化方法(牛頓法)等等。
好嘞,掌握了這些,就大膽往前走,不用怕了。
總結
數學這種東西,學習就是三步曲,一看書,二做題,三應用,其他學習方法比如看視頻聽課基本都是扯淡。
另外,數學怎么好都不過分。希望小白看完還能愛數學,畢竟這才剛剛開始一點點。
下期預告:下一期我們講AI在當前各大研究方向。
在人類記憶的潛意識里,簡短好記、有排列規律、有特殊寓意...諸如此類的東西往往更容易讓人記住,域名也是一樣,短字符、含義清晰的域名更容易被記住,因此也具有更高的投資價值,容易得到更多人的青睞.
1900/1/1 0:00:00世界上使用最廣泛的加密貨幣是什么?如果您認為它是比特幣,則可能是錯誤的,雖然它約占全球數字資產總市值的70%.
1900/1/1 0:00:00大家好,歡迎來到《精英聊天室》第32期,和平精英SS2賽季今天是正式開啟了,新的精英手冊也是上線了,依舊是熟悉的600點券就能購買,而這次的精英手冊上限也是提升到了100級.
1900/1/1 0:00:00“林昀儒又奪冠了呀?” “對呀,但中國主力沒來呀。”那么,小將林昀儒到底有沒有奪冠實力?林昀儒,大家都喜歡稱他小小林,每次他參賽總會有許多有關他的報道.
1900/1/1 0:00:00幣圈金馬獎社群的「數字貨幣TOP100大探索」行動已經開啟,今天是幣圈金馬獎會員魚做的第五次分享:IOTA.
1900/1/1 0:00:00據外媒報道,大型零售巨頭沃爾瑪(Walmart)正在申請一份數字貨幣專利。美國專利商標局(UnitedStatesPatentandTrademarkOffice,USPTO)在8月1日公布了這.
1900/1/1 0:00:00