Guida passo-passo per l'installazione del framework Scrapy su Python 2.7

Poiché i requisiti del progetto di laurea, è necessario catturare grandi quantità di dati sul sito web, quindi l'uso del framework Scrapy può rendere questo processo molto più semplice, poiché Scrapy è un'applicazione framework scritta appositamente per catturare dati di sito web e estrarre dati strutturati. Quindi, è iniziato il mio viaggio di installazione del framework Scrapy. Si può dire che questo processo non è stato molto piacevole, ci sono stati molti errori, ma alla fine, finalmente è stato installato il framework Scrapy. Di seguito, riassumo l'installazione del mio framework Scrapy.

1. Installazione di python2.7

Poiché Scrapy non supporta Python3.0, ho disinstallato Python3.0 e reinstallato Python2.7 (pacchetto di installazione python2.7), durante l'installazione di Python2.7, c'è un'opzione di impostazione automatica delle variabili di ambiente, si consiglia di selezionare questa opzione qui per risparmiare la aggiunta manuale delle variabili di ambiente in futuro. Dopo aver aggiunto manualmente le variabili di ambiente, possiamo aggiungere queste due frasi alle variabili di ambiente path del sistema in base al nostro percorso di installazione effettivo.

Dopo aver configurato l'ambiente, testiamo se abbiamo configurato correttamente l'ambiente di installazione. Basta digitare python –version nel cmd e visualizzare la versione di python corretta. Se non viene visualizzata, riavvia il cmd e prova di nuovo.

2. Installazione di pywin32

Dopo aver configurato correttamente python2.7, non possiamo installare Scrapy direttamente, dobbiamo prima installare alcuni strumenti dipendenti da Scrapy. Quindi installiamo pywin32 (pacchetto di installazione pywin32), per installare questo software, è sufficiente cliccare next.

3. Installazione di pip

pip è uno strumento di installazione di software online molto conveniente, simile a easy install, ora installiamo pip, possiamo utilizzare il comando pip install per l'installazione di software in futuro. Prima di tutto, dobbiamo scaricare get-pip.py(il file get-pip.py) dopo aver completato il download, eseguiamo l'installazione nel cmd, prima di passare alla directory del file, quindi digitiamo la comando python get-pip.py per procedere con l'installazione. Tuttavia, è sorto un problema piuttosto fastidioso, poiché il file scrive automaticamente alcuni file di configurazione nella directory del nostro utente C: il mio percorso utente è un nome cinese, il che causerebbe un problema di encoding.

Dopo aver cercato un po' di informazioni, finalmente ho risolto il problema, per risolvere il problema del percorso cinese, dobbiamo creare una nuova directory chiamata
il file sitecustomize.py.

Poi inserisci il seguente codice nel file:

import sys
reload(sys)
sys.setdefaultencoding('gbk')

Certo, non è necessario che l'encoding sia impostato su gbk, a seconda della codifica del proprio computer. In questo modo, il problema della percorso cinese dei nostri file è risolto, e dopo aver riavviato il cmd e eseguito la comando di installazione pip, pip è stato completato senza problemi. Dopo l'installazione, possiamo fare un controllo, digitando pip –version nel cmd, se viene visualizzato il numero di versione corretto, allora significa che è corretto.

4. Installazione di lxml

Dopo aver completato l'installazione di pip, avevo intenzione di utilizzare il comando pip install lxml per installarlo, ma è successo un imprevisto, poiché pip richiede l'ambiente vc2008 e solo 2008, non funziona con 2013. Non c'è altro da fare per utilizzare questo strumento, quindi devo chiedere a Douya, finalmente ho trovato la soluzione, Microsoft ci ha fornito VcForPython (pacchetto di installazione VcForPython), quindi non dobbiamo installare VC2008, dopo di che possiamo utilizzare pip install lxml per installarlo.

5. Installazione di pyOpenSSL

Quando installiamo questo strumento, possiamo utilizzare la frase pip install pyOpenSSL per installarlo, la velocità dell'installazione dipende dalla velocità di connessione internet.

6. Installazione di Scrapy

Dopo aver superato una serie di difficoltà, finalmente possiamo installare il framework Scrapy, dopo aver inserito il comando pip install Scrapy nel cmd, possiamo aspettarci la gioia del successo. Dopo aver completato l'installazione, possiamo inserire Scrapy nel cmd per verificare se è stato installato con successo.

Finalmente è stato installato, c'è un po' di senso di realizzazione.

Questo è tutto il contenuto dell'articolo, spero che sia utile per la tua apprendimento, e ti prego di supportare e gridare le lezioni.

Dichiarazione: il contenuto di questo articolo è stato tratto da Internet, il copyright spetta agli autori originali, il contenuto è stato contribuito e caricato dagli utenti di Internet, questo sito non possiede il diritto di proprietà, non è stato editato manualmente e non assume responsabilità legali correlate. Se trovi contenuti sospetti di violazione del copyright, ti preghiamo di inviare un'e-mail a: notice#oldtoolbag.com (al momento dell'invio dell'e-mail, sostituisci # con @) per segnalare, fornendo prove pertinenti. Una volta verificata, questo sito rimuoverà immediatamente il contenuto sospetto di violazione del copyright.