找回密碼
 立即注冊

QQ登錄

只需一步,快速開始

機器學習資料整理【內有福利】 加入本站QQ交流群 本站落實實名發帖政策的通知
從20世紀60年代,由MIT的計算機教授組織了第一個面向本科生的Summer Project,經歷了20世紀50年代初到90年代,嘗試用創建?/div>
全球人工智能技術和計算機視覺技術領跑者,肇觀電子(NextVPU),日前正式發布世界?/div>
自語音識別技術進入深度學習時代,語音識別
數據堂自有版權的中國兒童手機采集語音數據產品共計3000小時。發音人均為6~12
TensorFlow官方文檔—中文版 鏈接:https://pan.ba
該教程將通過知識點講解+答疑指導相結合的方式,讓大家循序漸進的了解深度學習模型并通過實操演示掌握相關框架及TensorFlow工?/div>
本帖最后由 周天 于 2018-1-2
最最經典的凸
機器學習算法需要作用于數據,而數據的本質則決定了應
總體而言,這本書從基礎到研究前沿介紹了深度學習的核心概念與理論。我們不僅能了解到全連接、卷積和循環等基本深度神經網絡網絡,同時還
【主講嘉賓】 https://bbs.byr.cn/att/BBSOpenAPI/0/1560/41488 宋 宇 縱目科技無人駕駛事業部首席科學?/div>
近年來,隨著全球自動化生產需求的持續釋放,以及人力成本的不斷上升,以互聯網、大數據、人工智能
1011
“N+”大會是面向全球 AR、VR、AI 等互聯網新技術領域的行業領袖及從業者的盛會。 旨在推動全球
  維塔利克˙布特林(Vitalik Buterin)將蒞臨“2018區塊鏈技術于場景落地峰會”做報告 764   布特林,一個誓言用區塊鏈顛覆真實經濟體系的俄羅斯小子,他打造的全新
優達學院面試技能三件套,包括找工作策略、模擬面試、拓展人脈三門課程
編者按:2017年是不平凡的一年(當然,事實上,每一年都是;P)?/div>
查看: 1584|回復: 2
打印 上一主題 下一主題

香農外傳

[復制鏈接]

164

主題

306

帖子

1萬

積分

管理員

積分
15784
跳轉到指定樓層
樓主
發表于 2017-5-16 10:07:42 | 只看該作者 |只看大圖 回帖獎勵 |倒序瀏覽 |閱讀模式


香農不是人!

其實,他是神,至少是“神人”!

他老爸更神:生下兒子后,不取名,卻直接將自己的名字與兒共享,都叫Claude Elwood Shannon。雖然,這個名字漢譯后,聽起來有點不爽,發音很像“咳癆的.哀兒勿得.現膿”,但是,他老爸也許已經預料到:這個名字,注定將永垂青史!當然,本文紀念的是兒子“香農”,而非老爸“香農”。

他的一個遠房親戚更是“神上加神”!誰呀?!說出來,嚇你一跳:托馬斯·阿爾瓦·愛迪生!對~,就是只用了“1%靈感”,卻流了“99%汗水”,就發明了電燈的那位“發明大王”(此句兒童不宜,請直接跳過)。

唉,真是龍生龍,鳳生鳳,老鼠生來會打洞啊!

都說香農是數學家、密碼學家、計算機專家、人工智能學家、信息科學家等等,反正“這家、那家”帽子一大堆。但是,老夫咋總覺得,他哪家也都不是呢!若非要說他是什么“家”的話,我寧愿選擇他是“玩家”,或者尊稱為“老人家”。其實,他是標準的“游擊隊長”,那種“打一槍換個地方”的游擊隊長。只不過,他“槍槍命中要害,處處開天辟地”!

先說數學吧。

俗話說“三歲看大,七歲看老”。香農同學早在童年時,就給姐姐凱瑟琳當“槍手”,幫她做數學作業。20歲就從密歇根大學數學系畢業,并任麻省理工學院(MIT)數學助教;24歲獲MIT數學博士學位;25歲加入貝爾實驗室數學部;40歲重返MIT,任數學(終生)教授和名譽教授,直至2001年2月26日,以84歲高齡仙逝。他的代表作《通信的數學理論》、《微分分析器的數學理論》、《繼電器與開關電路的符號分析》、《理論遺傳學的代數學》、《保密系統的通信理論》等等,除了數學,還是數學。因此,可以說香農一生“吃的都是數學飯”,當然可以算作數學家了。

既然是數學家,您就應該老老實實地、公平地研究0、1、2、…、9這十個阿拉伯數字呀!可是,他偏不!非要拋棄2、3、…、9這八個較大的數字不管,只醉心于01這兩個最小的數,難道真是“皇帝愛長子,百姓愛么兒”?!更可氣的是,他在22歲時,竟然只用0、1兩個數,僅靠一篇碩士論文,就把近百年前(19世紀中葉)英國數學家喬治·布爾的布爾代數,完美地融入了電子電路的開關和繼電器之中,使得過去需要“反復進行冗長實物線路檢驗和試錯”的電路設計工作,簡化成了直接的數學推理。于是,電子工程界的權威們,不得不將其碩士學位論文評為“可能是20世紀最重要、最著名的一篇碩士論文”,并轟轟烈烈地,給他頒發了業界人人仰慕的“美國電氣工程師學會獎”。正當大家都以為“一個電子工程新星即將誕生”的時候,一轉眼,他又不見了!

原來,他又玩進了“八桿子都打不著”的人類遺傳學領域,并且,像變魔術樣,兩年后,完成了MIT博士論文:《理論遺傳學的代數學》!然后,再次拋棄博士論文選題領域,搖身一變,玩成了早期的機械模擬計算機元老,并于1941年發表了重要論文:《微分分析器的數學理論》。

喂,香老漢兒,您消停點行不?!每個領域的“數學理論”都被你搞完了,我們屌絲咋辦?總該給咱留條活路嘛!

各位看官,稍息,稍息!口都渴了,請容我喝口茶,接著再侃。…

好了,該說密碼了。

小時候,香農就熱衷于安裝無線電收音機,癡迷于莫爾斯電報碼,還擔任過中學信使,冥冥之中,與保密通信早就結下了姻緣。特別是一本破譯神秘地圖的推理小說《金甲蟲》,在他幼小的心靈中,播下了密碼種子。終于,蒼天開眼,二戰期間,他碰巧作為小組成員之一,參與了研發“數字加密系統”的工作,并為丘吉爾和羅斯福的越洋電話會議,提供過密碼保障。很快,他就脫穎而出,成了盟軍的著名密碼破譯權威,并在“追蹤和預警德國飛機、火箭對英國的閃電戰”方面,立下了汗馬功勞。據說,他把敵機和火箭追得滿天飛(對了,這些玩藝兒本來就“滿天飛”嘛。主編~,這句請掐了哈!)。

戰爭結束了,按理說,您“香將軍”就該解甲歸田,玩別的“家家”去了吧。可是,香農就是香農,一會兒動如脫兔,一會兒又靜若處子。這次,他一反常態,非要“咬定青山不放松”,一鼓作氣,把戰爭中的密碼實踐經驗凝練、提高,于1949年完成了現代密碼學的奠基性論著《保密系統的通信理論》,愣是活生生地將“保密通信”這門幾千年來,一直就依賴“技術和工匠技巧”的東西,提升成了科學,而且,還是以數學為靈魂的科學;還嚴格證明了人類至今已知的、唯一的、牢不可破的密碼:一次一密隨機密碼!

你說可氣,不可氣!您為啥“老走別人的路,讓別人無路可走”呢?你這樣,讓凱撒大帝、拿破侖等歷代軍事密碼家們,情何以堪?!

算了,閑話少扯,言歸正傳,該聊聊他神龕上的那個《信息論》了。

伙計,你若問我啥叫“信息”,如何度量信息,如何高效、可靠地傳輸信息,如何壓縮信息?嘿嘿,小菜一碟,老夫一百度(唉,谷哥被墻了嘛),馬上就可給出完整的答復。

可是,在1948年香農發表《通信的數學理論》之前,對這些問題,連上帝都不知道其答案喲,更甭說世間蕓蕓眾生了。雖然,早在1837年,Morse就發明了有線電報來“傳信息”;1875年,Emile Baudot發明了定長電報編碼來規范化“信息的遠程傳輸”;1924年,Nyquist給出了定帶寬的電報信道上,無碼間干擾的“最大可用信息傳輸速率”;1928年,Hartley在帶限信道中,可靠通信的最大“數據信息傳輸率”;1939-1942年,Kolmogorov和Wiener發明了最佳線性濾波器,來“清洗信息”;1947年,Kotelnikov發明了相干解調,來從噪音中“提取信息”,但是,人們對“信息”的了解,卻始終只是一頭霧水

經過至少一百年的“盲人摸象”后,全世界科學家,面對“信息”這東西,仍然覺得“惚兮恍兮,其中有象;恍兮惚兮,其中有物”。

那么,“信息”到底是什么“物”呢?唉~,“其之為物,惟恍惟惚”!

就算使盡渾身解數,抓條“信息”來測測吧,結果卻發現,它具有的只是“無狀之狀,無物之象,惚恍惚恍”。

“信息”呀,求求你,給個面子,讓科學家們只看一眼尊容,總可以了吧!結果,“信息”還是再次“放了人類的鴿子”,只讓大家“迎之不見其首,隨之不見其尾”!

終于,科學家們準備投降了。

說是遲,那是快。就在這關鍵時刻,香農來了!

接下來,老夫真不知該咋寫了。只好燒紙,從陰間請回“評書藝術大師”袁闊成老先生,求他演繹出如下“香農溫酒斬信息”的故事來

只見香農,不慌不忙,溫熱三杯慶功酒,也不急飲,騎著雜耍獨輪車,雙手懸拋著四個保齡球,騰騰騰就出了“中軍大帳”。他左手一揮,瞬間那保齡球就化作“數學青龍偃月刀”,只見一個大大的“熵”字,在刀鋒旁閃閃發光。他右手緊了緊肚帶腰梁,摸了摸本來就沒有的胡子,嘿~,還挺光滑的,這才“嗡嘛呢唄咪吽”地念了個六字咒語,咔嚓一下,就把獨輪車變成了高蹺摩托!

來到兩軍陣前,香農對“信息”大吼一聲:“鼠輩,休得張狂,少時我定斬你不饒!”

“信息”一瞧,心里納悶兒:怎么突然沖出個雜耍小丑來?也沒帶多少兵卒呀?怎么回事?“來將通名!”

“貝爾實驗室數學部香農是也!”

“信息”一聽,“噗哧”笑了,心想:可見這人類真沒招啦,干嗎不叫個清華、北大、什么“985”的教授來呢!

“速速回營,某家刀下不死無名之鬼!”

“信息”這“鬼”字還沒落地,香農舉起“數學青龍偃月刀”,直奔“信息”而來,急似流星,快如閃電,刷~~的一下,斜肩帶背殺向“信息”。好快呀,“信息”再躲,可就來不及啰!耳邊就聽得“撲哧”一聲,腦袋就掉了。于是,“信息容量極限”等一大批核心定理,就被《通信中的數學理論》收入囊中。

就這么快,那個“熵”字都還沒有認清楚,“信息”就成了刀下鬼。

香農得勝回營,再飲那三杯慶功酒,嗨,那酒還溫著呢!

……

好了,謝謝袁闊成老先生,您也忒能侃啦,安息吧!

從此,信息變得可度量了;無差錯傳輸信息的極限知道了;信源、信息、信息量、信道、編碼、解碼、傳輸、接收、濾波等一系列基本概念,都有了嚴格的數學描述和定量度量;信息研究總算從粗糙的定性分析階段,進入到精密的定量階段了;一門真正的通信學科,《信息論》,誕生了。

其實香農剛剛完成《信息論》時,并非只收獲了“點贊”。由于過分超前,貝爾實驗室很多實用派人物,都認為“香農的理論很有趣,但并不怎么能派用場”,因為,當時的真空管電路,顯然不能勝任“處理接近香農極限”所需要的復雜編碼。伊利諾伊大學著名數學家,J. L. Doob,甚至對香農的論文,作出了負面評價;歷史學家 WilliamAspray 也指出,香農的概念架構體系“無論如何,還沒有發展到可以實用的程度”。

事實用于雄辯!到了20世紀70年代初,隨著大規模集成電路的出現,《信息論》得到了全面應用,并已深入到信息的存儲、處理、傳輸等幾乎所有領域,由此足顯香農的遠見卓識。

于是,才出現了如今耳熟能詳的如潮好評:“香農的影響力無論怎樣形容都不過分”、“香農對信息系統的貢獻,就像字母的發明者對文學的貢獻”、“它對數字通信的奠基作用,等同于《自由大憲章》對于世界憲政的深遠意義”、“若干年后,當人們重新回顧時,有些科學發現似乎是那個時代必然會發生的事件,但香農的發現顯然不屬于此類”…。

當人們極力吹捧香農,甚至把他當作圈子中的“上帝”來敬仰時,他卻再一次選擇了激流勇退,甚至數年不參加該領域的學術會議。直到1985年,他突然出現在英格蘭布萊頓舉行的“國際信息理論研討會”上,引起軒然大波,那情形簡直就像是牛頓出現在物理學會議上。有些與會的年青學者,甚至都不敢相信自己的眼睛,因為他們真還不知道“傳說中的香農仍然還活在世上”!

哥們兒,這就叫“雖然你已遠離江湖多年,但你的神話卻仍在江湖流傳”!

老子寫完《道德經》后,就騎青牛出函谷關,升天了。

可是,香農創立《信息論》后,又到哪兒去了呢?

經老夫考察,這次他去了幼兒園,到那里也成仙了。所以,他的名字,也被翻譯成“仙農”。

他將自己的家,改裝成了幼兒園。把其它科學家望塵莫及的什么佛蘭克林獎章、美國工業電子工程協會凱萊獎、美國全國科學研究合作獎、萊伯曼紀念獎、美國電機和電子工程協會榮譽獎章、美國技術協會哈維獎、比利時皇家科學院和荷蘭皇家藝術科學院的院士證書、牛津大學等許多高等學府的榮譽博士證書、美國科學院院士證書、美國工程院院士證書等等,統統扔進一個小房間,只把一張惡作劇似的“雜耍學博士”證書,洋洋得意地擺在顯眼處

“幼兒園”的其它房間可就熱鬧了:光是鋼琴,就多達5臺;從短笛到各種銅管樂器30多種,應有盡有;由3個小丑同玩11個環的雜耍機器;鐘表驅動的7個球和5個棍子;會說話的下棋機器;雜耍器械以及智力閱讀機;用3個指頭便能抓起棋子的手臂;蜂鳴器及記錄儀;有一百個刀片的折疊刀;裝了發動機的彈簧高蹺杖;用火箭驅動的飛碟;能猜測你心思的讀心機等等。這些玩具大部分都是他親手制作的。甚至,他還建造了供孩子們到湖邊玩耍的升降機,長約600英尺,還帶多個座位。

怎么樣,這位身高1.78米的香大爺,不愧為名符其實的老兒童吧。

要不是上帝急著請他去當助理,估計人類的下一個里程碑成果,就會出現在雜耍界了,因為,據說,在仙逝前,老兒童已經開始撰寫《統一的雜耍場理論》了。甚至,他創作的詩歌代表作,也都名叫“魔方的禮儀”,其大意是:向20世紀70年代后期非常流行的“魯比克魔方”致敬。

伙計,還記得大敗棋圣李世石的阿爾法狗吧!其實,香爺爺早就開始研究“能下國際象棋的機器”了,他是世界上首批提出“計算機能夠和人類進行國際象棋對弈”的科學家之一。1950年,他就為《科學美國人》撰寫過一篇文章,闡述了“實現人機博弈的方法”;他設計的國際象棋程序,也發表在當年的論文“Programminga computer for playing chess”中。1956年,在洛斯阿拉莫斯的MANIAC計算機上,他又實現了國際象棋的下棋程序。為探求下棋機器的奧妙,他居然花費大量的工作時間,來玩國際象棋。這讓上司“或多或少有點尷尬”,但又不好意思阻止他。對此,香大牛一點也不覺歉意,反倒有些興高采烈:“我常常隨著自己的興趣做事,不太看重它們最后產生的價值,更不在乎這事兒對于世界的價值。我花了很多時間在純粹沒什么用的東西上”。

你看看,你看看,這叫啥話,上班紀律還要不要了!

香爺爺還制造了一臺宣稱“能在六角棋游戲中,打敗任何人”的機器。該游戲是一種棋盤游戲,幾十年前在數學愛好者中很流行。調皮爺爺事先悄悄改造了棋盤,使得人類棋手這一邊比機器對手一邊的六角形格子要多,人類如果要取勝,就必須在棋盤中間的六角形格子里落子,然后對應著對手的打法走下去。該機器本來可以馬上落下棋子的,但是,為了假裝表現出它“似乎是在思索該如何走下一步棋”,調皮爺爺在電路中加了個延時開關。一位絕頂聰明的哈佛大學數學家,AndrewGleason,信心滿滿地前來挑戰,結果被機器打得落花流水。等到Gleason不服,次日再來叫陣時,香大爺才承認了隱藏在機器背后的“老千”,搞得哈佛教授哭笑不得。

除了玩棋,香兒童還制作了一臺,用來玩賭幣游戲的,“猜心機器”,它可猜出參加游戲的人將會選硬幣的正面還是反面。其最初樣機,本來是貝爾實驗室的同事David W.Hagelbarger制作的,它通過分析記錄對手過往的選擇情況,從中尋找出規律用來預測“游戲者的下一次選擇”,而且,準確率高達53%以上。后來,經過老兒童的改進,“香農猜心機”不但大敗“Hagelbarger猜心機”,而且,還打遍貝爾實驗室無敵手,茶余飯后,讓這里的科學家們“無顏見江東父老”。當然,唯一的例外是老爺爺自己,因為,只有他才知道“香農猜心機”的死穴在哪里。(注:最近,老夫研究《安全通論》時,給出了更好的,能夠打敗“香農猜心機”的新方法,當然,其核心思想,仍然是香農的信道容量極限定理。詳見后面的9篇參考文獻[1]-[9],或見本人的實名(楊義先)科學網博客:“安全通論4:攻防篇非盲對抗之童趣游戲”。網址:http://blog.sciencenet.cn/blog-453322-949155.html

老兒童還發明了另一個趣玩藝兒,迷宮鼠,即,能“解決迷宮問題”的電子老鼠。可見,阿爾法狗的祖宗,其實是阿爾法鼠。香農管這只老鼠叫“忒休斯”,那個在古希臘神話中,殺死“人身牛頭怪”后,從可怕的迷宮中走出來的英雄。老夫我卻偏叫它“香農鼠”。該鼠可自動地在迷宮中找到出路,然后直奔一大塊黃銅奶酪。“香農鼠”擁有獨立的“大腦”,可以在不斷嘗試和失敗中學習怎樣走出迷宮,然后在下一次進入迷宮時,能避免錯誤順利走出來。“香農鼠”的“大腦”,就是藏在迷宮地板下面的一大堆電子管電路,它們通過控制一個磁鐵的運動來指揮老鼠。

好了,寫累了。該對香爺爺做個小結了:

他雖然發現了“信息是用來減少隨機不定性的東西”,可是,其游戲的一生,卻明明白白地增加了“工作與娛樂、學科界限等之間的”隨機不定性。可見,所謂的專業不對口,其實只是借口。牛人在哪里都發光,而屌絲干什么都一樣

他的名言是“我感到奇妙的是:事物何以總是集成一體”。可是,我們更莫名其妙:他何以總能把那么多互不相關的奇妙事物,集成一體?

他預言“幾十年后機器將超越人類…”。可是,像他那樣的人類,哪有什么機器可以超越?!

他承認“好奇心比實用性對他的刺激更大”。可是,我等屌絲如果也這樣去好奇,年終考核,怎么過關?!

在他眾多的卓越發明中,他竟然最中意“W.C. Fields雜耍機器人”。唉,與他相比,我們連機器人都不如了!

總之,香農的故事告訴我們:不會玩雜耍的信息論專家,不是優秀的數學家

哈哈,謝天謝地,終于找到一樣東西,我與香農等同啦!那就是,他與我一樣,都崇拜愛迪生。可仔細一想,還是不平等。因為,他是他遠親,卻只是我偶像。

唉,真是:人比人,比死人。

算了,算了,不說了,說多了滿眼都是淚,做人最重要的是開心嘛!

肚子都餓了,翠花~,翠花~,上酸菜!

再見,我也該玩去啰,沒準哪天玩出一只“阿爾法貓”來!


聲明:本文是作者紀念克勞德·艾爾伍德·香農誕生一百周年所作,轉載自作者博客


回復 論壇版權

使用道具 舉報

35

主題

108

帖子

5525

積分

版主

積分
5525
沙發
發表于 2017-6-5 12:58:55 來自手機 | 只看該作者
童心老爺子
回復 支持 反對

使用道具 舉報

5

主題

28

帖子

4762

積分

版主

積分
4762

優秀版主

板凳
發表于 2017-8-12 14:35:11 | 只看該作者
回復

使用道具 舉報

您需要登錄后才可以回帖 登錄 | 立即注冊

本版積分規則

宸ュ晢钀ヤ笟鎵х収鐢靛瓙璁稿彲璇? />
                             </a>
                             <span class=| QQ|申請友鏈|小黑屋|手机版|人工智能A7論壇(aqinet.cn) ( 滬ICP備15039134號-1 ) 人工智能A7論壇壇友會

GMT+8, 2019-8-15 10:26 , Processed in 0.064750 second(s), 50 queries .

Powered by Discuz! X3.4 Licensed

© 2001-2013 Comsenz Inc.

快速回復 返回頂部 返回列表
世界杯意甲新闻