泡泡妹妹提示您:看后求收藏(詩鼎小說網(wǎng)網(wǎng)m.gzstf.cn),接著再看更方便。
而股神通過爬蟲搜集來的數(shù)據(jù)肯定是海量的,至少是T級別的,就是跑到P級別也不算是什么大事。比如1P的數(shù)據(jù),它大概相當于250萬部電影。人的一生也不過3萬天,每天看十部電影,也足夠看十輩子的了。
在如此大量的數(shù)據(jù)面前,莫回必然面臨一個帶寬問題,很容易想象,出租屋里的小區(qū)寬帶肯定是不好使的。
現(xiàn)在超級本的運算能力已經(jīng)獲得驗證了,應該是比較超常的,但是它的存儲能力還未測試,如果存儲能力不成的話,莫回還必須為這海量數(shù)據(jù)尋找一個存儲空間。
諸如此類的問題還有很多,如果莫回想要把股神完成,并且上線運行,那么他必須像是老黃牛一樣,勤勤懇懇的往前走,把這些擋路石一個個的全部處理掉。
本來這些事就是交給一個公司處理,一個成熟的團隊來處理,都未必能夠處理得很好,現(xiàn)在莫回需要一個人搞定,并且很可能必須不顯山不漏水的一個人搞定,這里面的難度就可想而知了。
想想未來的前路,莫回感覺好像是登珠峰一樣,好高啊~~~
好在莫回多少算是業(yè)內(nèi)人士,這些事基本算得上是本職工作,無非就是項目經(jīng)理、產(chǎn)品經(jīng)理、主程、架構(gòu)一肩挑了。難是難了點,工作量大是大了點,但是好歹還算有解決辦法,只要沿著道路一步步走,總會有完成的那一天。
工作量不小,不過也不是沒有捷徑可走,莫回點開網(wǎng)頁,開始搜集他需要的開源軟件。他去開源之家搜了一下,開源的爬蟲就有有一百多個,里面估計會有合用的。
五大模塊他都簡單的搜了一下,大多數(shù)都還有類似的可替代軟件,現(xiàn)在他需要做的就是在里面找到最合適的哪一款,然后修改后進行組裝。
首先需要選擇開發(fā)語言,各種語言都有自己的適用范圍和優(yōu)缺點,一旦選定了,那么五大模塊都需要是同一個語言開發(fā)出來的才行,這樣也方便組裝和拓展開發(fā)。
莫回想了想,他最終選定了C++,因為這種語言更加靠近底層和匯編,整體執(zhí)行效率和速度比較好。
莫回開始在網(wǎng)上尋找和篩選合用的開源軟件,將那些基本符合要求的c++開發(fā)的軟件全部下載下來,各自先歸類存儲起來。
等莫回將合用的三十多個各類爬蟲全部下載下來的時候夜已經(jīng)深了,莫回揉揉僵硬的脖頸,伸伸懶腰,不由得為今后的日子哀嘆:要拼老命了啊,上班拼命回家也要拼命,這是要把自己當驢使喚啊~~~
;