新書推薦:
《
那個男人
》
售價:HK$
109.8
《
做個「快」樂的人:心理健康完全使用手冊
》
售價:HK$
89.1
《
怎樣談科學:將「複雜」說清楚、講明白的溝通課
》
售價:HK$
115.8
《
日本和傘大賣世界:中小企業前進海外市場的必勝戰略
》
售價:HK$
95.0
《
最後的十字軍東征:航海家達伽馬的史詩旅程
》
售價:HK$
187.0
《
時短掃除:日本當紅家事部落客教你分時打掃術
》
售價:HK$
106.9
《
暗網:被窺屏的孩子
》
售價:HK$
133.6
《
選擇性緘默症:不說話的孩子
》
售價:HK$
89.1
|
內容簡介: |
想自動化生活瑣事?想透過程式擷取網路上的公開資訊?學了Python卻不知道有什麼實際應用?正在尋找入門難度低且成就感高的Python專案?想知道網路爬蟲如何與資料分析結合?本書一次教給你!
本書適合閱讀的對象:
●對網路爬蟲程式或資料分析有興趣者
●想自動化生活瑣事(例如自動追蹤網站特價通知、節省資料收集的時間等),化被動資訊接收為主動
●Python新手或入門級讀者(知道何謂變數、if判斷式與迴圈,寫過一些小程式),想練習低門檻及高成就感的Python專案
本書特色:
●基於熱門線上課程與實體教學的學員迴響重新編寫及增補而成的實戰書籍
●以台灣讀者熟悉的網站為範例(PTT、Dcard、台灣證交所、蘋果日報網站、Yahoo奇摩電影、GoogleMapsAPI、IMDB電影資料庫等)的Python網路爬蟲程式教學
●由淺入深,以實務需求為導向,涵蓋爬蟲常用函式庫、資料儲存、文件編碼、表單及登入頁處理、爬蟲程式被封鎖的常見原因等經驗談
●全新的資料分析章節,包含三個爬蟲程式的經典應用:量化投資、影評情緒分析與商品特價通知
|
關於作者: |
林俊瑋
熱門開源專案「PTT網路版爬蟲」作者。加州大學爾灣分校(UCIrvine)博士候選人,研究領域為軟體測試自動化,曾執行包含網頁及手機App爬蟲實作的多個研究專案,也曾在國外知名研究機構及國內軟體公司實習,並有多年政府資訊部門工作與介接政府開放資料經驗。
林修博
台灣大學電子工程研究所畢業,目前任職於軟體公司擔任全端工程師。有多年爬蟲撰寫經驗,並且將其商用化。
|
目錄:
|
Chapter01環境設定與網頁爬蟲初探
1-1環境設定及套件安裝:Anaconda
1-2使用IDE:PyCharm
1-3使用JupyterNotebook
1-4網頁文件解構與網頁爬蟲初探
Chapter02BeautifulSoup講解與網頁解構
2-1不要重複造輪子:寫爬蟲之前
2-2BeautifulSoup重要功能find,find_all,.text,.stripped_strings
2-3網頁結構巡覽(parent,children,siblings)
2-4正規表示式RegularExpression
Chapter03網頁爬蟲範例實戰
3-1PTT八卦板今日熱門文章
3-2Yahoo奇摩電影本週新片
3-3兩大報當日焦點新聞
3-4Google搜尋股價資訊
3-5Dcard今日熱門文章
Chapter04使用API
4-1API簡介
4-2PTT八卦板眾來源分佈ipstack.com
4-3IMDBAPI
4-4GoogleMapsAPIsGoogleGeocodingPlacesAPI
4-5DcardAPI
Chapter05資料儲存
5-1儲存圖片與多媒體檔案
5-2儲存資料到CSV檔
5-3儲存資料到資料庫SQLite
Chapter06不同編碼與類型的文件
6-1非UTF-8編碼的文件
6-2XML文件
Chapter07進階爬蟲議題
7-1處理表單及登入頁:台灣高鐵時刻查詢
7-2處理表單及登入頁:Yelp登入
7-3使用WebDriver:台銀法拍屋資訊查詢
7-4爬蟲程式經驗談:被封鎖的常見原因、常用Header欄位、網站隱藏欄位、使用代理伺服器
Chapter08資料分析實戰
8-1台股每日盤後資訊爬蟲及策略回測(量化投資)
8-2電影評論情緒分析(中文自然語言處理與機器學習)
8-3商品特價Gmail通知:Costco商品網頁
附表本書範例目標網站列表
附錄A在Mac安裝Anaconda開發環境
附錄BPython爬蟲框架Scrapy入門教學
B-1Scrapy環境安裝
B-2簡易部落格爬蟲
B-3Scrapy系統架構
B-4博客來網路書店爬蟲
|
|