泡泡妹妹提示您：看后求收藏（詩(shī)鼎小說(shuō)網(wǎng)網(wǎng)m.gzstf.cn），接著再看更方便。

數(shù)據(jù)分析模塊是股神1.0的大腦，除了這個(gè)大腦之外它還需要其他幾個(gè)關(guān)鍵性模塊。既然做大數(shù)據(jù)分析，那么這個(gè)數(shù)據(jù)來(lái)源就需要有一個(gè)功能模塊來(lái)解決，它專門(mén)負(fù)責(zé)數(shù)據(jù)的收集。

這個(gè)數(shù)據(jù)收集模塊就像是股神的手腳，負(fù)責(zé)從網(wǎng)絡(luò)上收集對(duì)應(yīng)的數(shù)據(jù)，這個(gè)模塊一個(gè)關(guān)鍵的組成部分就是爬蟲(chóng)。

國(guó)際互聯(lián)網(wǎng)發(fā)展到今天，變成了體系龐雜內(nèi)容浩繁的網(wǎng)狀系統(tǒng)，這個(gè)系統(tǒng)上的信息節(jié)點(diǎn)規(guī)模數(shù)以十億計(jì)，這些節(jié)點(diǎn)可能包括臺(tái)式機(jī)、筆記本、服務(wù)器、大規(guī)模群組、智能手機(jī)、平板、智能導(dǎo)航終端、各類信息采集終端、信息發(fā)射終端等等等等。

只要能夠鏈接上互聯(lián)網(wǎng)，能夠與互聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)交互的，都可以視為一個(gè)信息節(jié)點(diǎn)，比如遍布城市的各類監(jiān)控探頭，各類通訊基站，嚴(yán)格來(lái)說(shuō)都屬于節(jié)點(diǎn)之一。

這些節(jié)點(diǎn)為互聯(lián)網(wǎng)提供的數(shù)據(jù)類型也各種各樣，有文字，有數(shù)據(jù)，有圖表，有文檔，有視頻，有音頻，有數(shù)據(jù)庫(kù)；它們的表現(xiàn)形式各式各樣，有通用格式，有專用格式；所有這些信息加在一起，共同組成了沉積在國(guó)際互聯(lián)網(wǎng)中浩瀚的數(shù)據(jù)海洋。

這個(gè)數(shù)據(jù)海洋是動(dòng)態(tài)的，它時(shí)刻處在在運(yùn)動(dòng)和更新之中，就好像各種洋流和浪濤一樣，永不停息。

整個(gè)數(shù)據(jù)海洋分散在無(wú)數(shù)個(gè)信息節(jié)點(diǎn)之中，這些信息節(jié)點(diǎn)被各種通訊協(xié)議鏈接起來(lái)，讓它們可以相互通訊。各種通訊協(xié)議中，有我們最熟悉的一種，就是URL，也就是我們總會(huì)遇到的網(wǎng)站鏈接。

如果將整個(gè)數(shù)據(jù)海洋比喻成我們的地球，那么每個(gè)數(shù)據(jù)節(jié)點(diǎn)就是一個(gè)房間，而節(jié)點(diǎn)內(nèi)的數(shù)據(jù)信息就是我們?nèi)祟悾械男畔⒐?jié)點(diǎn)組合起來(lái)，構(gòu)成了地球上的無(wú)數(shù)個(gè)城市，無(wú)數(shù)個(gè)大廈，無(wú)數(shù)個(gè)房屋。

各種各類的數(shù)據(jù)鏈接模式，就是承載人們出行的道路，而URL不過(guò)是道路的一種，算是各個(gè)城市之間，各個(gè)主要的商業(yè)大廈之間互通的鐵路和公路。它主要出現(xiàn)在公共服務(wù)器之間，就是說(shuō)只要有了URL，理論上來(lái)說(shuō)它對(duì)所有數(shù)據(jù)訪客都是開(kāi)放的，任何人都可以抵達(dá)這個(gè)服務(wù)器，只不過(guò)它有沒(méi)有門(mén)禁就是另外一回事了。

既然有公共空間，那相對(duì)應(yīng)的肯定有非公共空間，除了URL，還有很多鏈接模式，這些鏈接模式里，信息節(jié)點(diǎn)就像是私人住宅或者軍事禁區(qū)一樣，它并不是開(kāi)放給公眾的，雖然它同樣存在于數(shù)據(jù)海洋中，但你是無(wú)法隨便訪問(wèn)的。

當(dāng)面對(duì)如此龐大浩繁的數(shù)據(jù)海洋時(shí)就存在一個(gè)問(wèn)題了，世界這么大，我該如何找到目標(biāo)，比如我想找感冒藥相關(guān)的數(shù)據(jù)信息，我該怎么辦？

正是這種需求催生了搜索引擎，搜索引擎可以幫助你快速找到目標(biāo)，它就像一個(gè)找路指南一樣，你只要告訴它想去哪，這個(gè)目的地大概什么特征，它就會(huì)幫助你找到無(wú)數(shù)個(gè)可能合適的目的地，并且把對(duì)方的URL提供給你。

搜索引擎每天的訪問(wèn)量都是海量的，每一秒同時(shí)并發(fā)的搜索請(qǐng)求都是數(shù)以十萬(wàn)計(jì)的，在這么多請(qǐng)求面前，如果來(lái)一個(gè)請(qǐng)求它搜一遍互聯(lián)網(wǎng)，這肯定是不現(xiàn)實(shí)的，不僅速度慢效率低，而且僅僅這類搜索請(qǐng)求就足讓整個(gè)國(guó)際互聯(lián)網(wǎng)陷入擁堵?tīng)顟B(tài)。

為了解決這個(gè)問(wèn)題，搜索引擎就有了它特有的工作模式，它先盡可能多的將數(shù)據(jù)海洋里的信息全部找出來(lái)，然后存儲(chǔ)在自己的服務(wù)器群組中，一旦有了搜索請(qǐng)求，它只要在自己的服務(wù)器里進(jìn)行檢索就行了。