課程目標(biāo)

隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)信息呈現(xiàn)指數(shù)式增長(zhǎng)，要在短時(shí)間內(nèi)獲取大量信息，網(wǎng)絡(luò)爬蟲(chóng)無(wú)疑是一種最適合的方法。通過(guò)爬蟲(chóng)獲取的海量信息，可以進(jìn)一步的分析與應(yīng)用，如股票預(yù)測(cè)、畫(huà)像構(gòu)建、話題跟蹤等。
Python作為一門(mén)腳本語(yǔ)言，它靈活、易用、易學(xué)、適用場(chǎng)景多，實(shí)現(xiàn)程序快捷便利，早已經(jīng)成為程序員們的一門(mén)編程利器。Python這門(mén)編程語(yǔ)言包羅萬(wàn)象，可以說(shuō)掌握了python，除了一些特殊環(huán)境和高度的性能要求，你可以用它做任何事。為提升相關(guān)科技工作者的技術(shù)水平，“網(wǎng)絡(luò)爬蟲(chóng)技術(shù)及實(shí)戰(zhàn)”課程從爬蟲(chóng)的基本知識(shí)入手，使用Python作為實(shí)現(xiàn)工具，一步步地講述網(wǎng)絡(luò)爬蟲(chóng)的實(shí)現(xiàn)。

 師資團(tuán)隊(duì)

華清創(chuàng)客企業(yè)內(nèi)訓(xùn)講師，均是來(lái)自各個(gè)領(lǐng)域的資深專家，均擁有6年以上大型項(xiàng)目經(jīng)驗(yàn)。

 培養(yǎng)對(duì)象

學(xué)員學(xué)習(xí)本課程應(yīng)具備下列基礎(chǔ)知識(shí)：
①具備Python語(yǔ)言編程的基本知識(shí)和初步技能；
②了解基本的網(wǎng)絡(luò)通信知識(shí)；

 培訓(xùn)方式

• 第一種：華清創(chuàng)客講師面授
  課時(shí)：共3天，每天6學(xué)時(shí)，總計(jì)18學(xué)時(shí)
  ◆費(fèi)用：2500元
  ◆外地學(xué)員：代理安排食宿（需提前預(yù)定）
  
  第二種：線上直播授課
  直播課時(shí)：共6天，每天3學(xué)時(shí)，總計(jì)18學(xué)時(shí)；
  輔導(dǎo)：授課期間，輔導(dǎo)老師每天有1小時(shí)的輔導(dǎo)直播
  ◆費(fèi)用：2500元
  
  第三種：企業(yè)訂制培訓(xùn)
  課時(shí)：根據(jù)定制的大綱確定課時(shí)
  費(fèi)用：根據(jù)課程難度，每課時(shí)1500~3000元
  

   質(zhì)量保證

• 1、培訓(xùn)過(guò)程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在下期培訓(xùn)班中重聽(tīng)；

  2、培訓(xùn)結(jié)束后免費(fèi)提供一個(gè)月的技術(shù)支持，充分保證培訓(xùn)后出效果；

  3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。

•  課程大綱

  第一部分 網(wǎng)絡(luò)爬蟲(chóng)理論基礎(chǔ)

  1. 網(wǎng)絡(luò)通信基礎(chǔ)

  2. HTTP協(xié)議簡(jiǎn)介

  3. Web開(kāi)發(fā)知識(shí)介紹

  4. 網(wǎng)站分析知識(shí)介紹

   

  第二部分 Python基礎(chǔ)

  1. Python初識(shí): 開(kāi)發(fā)環(huán)境安裝與使用

  2. Python基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)（元組/列表/字符串/字典）

  3. Python語(yǔ)法基礎(chǔ)（條件/循環(huán)/函數(shù)/類/模塊）

  4. Python文件操作實(shí)戰(zhàn)

  5. Python異常處理實(shí)戰(zhàn)

   

  第三部分 網(wǎng)絡(luò)爬蟲(chóng)基本工具庫(kù)

  1. 認(rèn)識(shí)正則表達(dá)式

  2. 正則表達(dá)式實(shí)戰(zhàn)

  3. 基礎(chǔ)Python爬蟲(chóng)庫(kù)（urllib/Requests）

  4. “漂亮”的爬蟲(chóng)庫(kù)-Beautiful Soup

  5. 靜態(tài)網(wǎng)頁(yè)爬取案例分享

  6. Selenium與模擬瀏覽器-PhantomJS

  7. 動(dòng)態(tài)網(wǎng)頁(yè)爬取案例分享

  8. 利用API進(jìn)行數(shù)據(jù)采集

  9. OCR技術(shù)實(shí)現(xiàn)驗(yàn)證碼自動(dòng)識(shí)別，模擬登陸實(shí)戰(zhàn)

   

  第四部分 Scrapy爬蟲(chóng)框架

  1. 認(rèn)識(shí)Scrapy框架

  2. Scrapy框架安裝難點(diǎn)解決技巧

  3. Scrapy常見(jiàn)指令實(shí)戰(zhàn)

  4. Scrapy實(shí)現(xiàn)爬蟲(chóng)實(shí)戰(zhàn)

  5. Scrapy模擬登錄實(shí)戰(zhàn)

  6. Scrapy新聞爬蟲(chóng)項(xiàng)目實(shí)戰(zhàn)

  7. Scrapy網(wǎng)站登陸爬蟲(chóng)與驗(yàn)證碼自動(dòng)識(shí)別項(xiàng)目實(shí)戰(zhàn)

  8. Scrapy與Urllib的整合使用

   

  第五部分 PySpider爬蟲(chóng)框架

  1. 認(rèn)識(shí)PySpider框架

  2. PySpider框架安裝與部署

  3. PySpider常見(jiàn)指令

  4. PySpider實(shí)現(xiàn)爬蟲(chóng)案例分析

   

  第六部分 異步網(wǎng)站數(shù)據(jù)采集

  1. 認(rèn)識(shí)Ajax

  2. Ajax分析方法

  3. Ajax結(jié)果提取

  4. Ajax實(shí)現(xiàn)爬蟲(chóng)案例分析

   

  第七部分 分布式爬蟲(chóng)介紹

  1. 爬蟲(chóng)隊(duì)列設(shè)計(jì)

  2. 多線程爬蟲(chóng)

  3. 多進(jìn)程爬蟲(chóng)

  4. 集群化爬取

   

  第八部分 爬蟲(chóng)的存儲(chǔ)

  1. 文本文件存儲(chǔ)

  2. Excel存儲(chǔ)

  3. 關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)

  4. 非關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)

   

  第九部分 爬蟲(chóng)綜合案例實(shí)戰(zhàn)

  1. 百度百科語(yǔ)料爬取

  2. 京東評(píng)論數(shù)據(jù)爬取與分析

  3. 豆瓣讀書(shū)數(shù)據(jù)爬取

  4. 微博數(shù)據(jù)抓取

  5. QQ空間數(shù)據(jù)爬取

  6. 中國(guó)知網(wǎng)文獻(xiàn)爬取