Python2.7Schritt-für-Schritt-Anleitung zum Installieren des Scrapy-Frameworks

Aufgrund der Anforderungen der Abschlussarbeit musste eine große Menge an Daten von der Website abgerufen werden. Die Verwendung des Scrapy-Frameworks erleichtert diesen Prozess erheblich, da Scrapy ein Anwendungsrahmen ist, der speziell für das Crawlen von Website-Daten und das Extrahieren strukturierter Daten entwickelt wurde. Daher begann meine Reise zur Installation des Scrapy-Frameworks. Man kann sagen, dass dieser Prozess nicht sehr angenehm war, es gab viele Fehler, aber schließlich wurde das Scrapy-Framework installiert. Nachfolgend eine Zusammenfassung der Installation meines Scrapy-Frameworks.

1.install python2.7

da Scrapy Python3.0 neu installiert, also habe ich Python3.0 neu installiert, also habe ich Python2.7(python2.7Installationspaket), bei der Installation von Python2.7gibt es eine Option zur automatischen Einstellung der Umgebungsvariablen, ich empfehle, diese Option hier zu aktivieren, um später die händische Hinzufügung von Umgebungsvariablen zu sparen. Wenn wir später Umgebungsvariablen hinzufügen, fügen wir diese beiden Anweisungen basierend auf unserem tatsächlichen Installationspfad in das Systemumgebungsvariable path hinzu.

Nachdem die Umgebung konfiguriert wurde, testen wir, ob die Installation und Konfiguration der Umgebung erfolgreich war. Es genügt, python –version in cmd einzugeben, und dann wird die richtige python-Version angezeigt. Wenn dies nicht der Fall ist, versuchen Sie es mit einem Neustart von cmd.

2.install pywin32

Nachdem python installiert und konfiguriert wurde2.7Danach können wir Scrapy nicht direkt installieren, sondern müssen zunächst einige Tools installieren, die Scrapy abhängt. Als nächstes installieren wir pywin32(pywin32Installationspaket), bei der Installation dieses Softwareprogramms genügt es, immer next zu klicken.

3.install pip

pip ist ein sehr bequemes Online-Software-Installationswerkzeug, ähnlich wie easy install. Wir installieren jetzt pip, so dass wir das pip install-Kommando bei der Installation weiterer Software verwenden können. Zunächst müssen wir get-pip.py(get-pip.py) nach dem Download führen wir die Installation in cmd durch, zunächst wechseln wir in das Verzeichnis der Datei und geben python get-pip.py und können die Installation durchführen, aber das größte Problem ist aufgetreten, da diese Datei einige Konfigurationsdateien automatisch in unser Verzeichnis der Benutzerdateien auf dem C-Laufwerk schreibt, und da mein Benutzerverzeichnis chinesische Namen hat, tritt eine Kodierungsfehler auf.

Nachdem ich einige Informationen gesucht habe, habe ich das Problem schließlich gelöst, um das Problem mit den chinesischen Pfaden zu lösen, müssen wir nur in D:\python27\Lib\site-Unterhalb des Verzeichnisses packages einen neuen Ordner mit dem Namen
sitecustomize.py

Dann geben Sie folgenden Code in die Datei ein:

import sys
reload(sys)
sys.setdefaultencoding('gbk')

Natürlich muss nicht unbedingt die gbk-Kodierung eingestellt werden, sondern dies sollte nach der Kodierung des eigenen Computers eingerichtet werden. Auf diese Weise wird unser Problem mit den chinesischen Pfaden gelöst, und nach dem Neustart von cmd und der Ausführung des Installationsbefehls für pip wird pip reibungslos installiert. Nach der Installation können wir einen Test durchführen, indem wir in cmd pip –version eingeben. Wenn die richtige Versionsnummer angezeigt wird, bedeutet dies, dass alles korrekt ist.

4.Installation von lxml

Nachdem pip installiert wurde, dachten wir, dass wir das pip install lxml Befehl leicht verwenden könnten, um zu installieren, aber unerwartet passiert ist. Da pip vc benötigt, trat ein Problem auf.2008Umgebung und nur20082013Nichts funktioniert. Um dieses Tool verwenden zu können, müssen wir zu Dian Nai (einer chinesischen Suchmaschine) greifen und schließlich die Lösung finden. Es stellt sich heraus, dass Microsoft uns VcForPython (VCForPython Installationspaket) bereitstellt, sodass wir VC nicht installieren müssen.2008, danach können wir pip install lxml verwenden, um zu installieren.

5.Installation von pyOpenSSL

Wenn wir diese Anwendung installieren, können wir den Befehl pip install pyOpenSSL verwenden, um zu installieren. Die Geschwindigkeit der Installation hängt von der Internetgeschwindigkeit ab.

6.Installation von Scrapy

Endlich haben wir nach einer Reihe von Schwierigkeiten den Scrapy-Framework installiert. Nachdem Sie den Befehl pip install Scrapy im cmd ausgeführt haben, können wir darauf warten, die Freude des Erfolgs zu genießen. Nach Abschluss der Installation können wir Scrapy im cmd eingeben, um zu überprüfen, ob die Installation tatsächlich erfolgreich war.

Endlich installiert, gibt es noch etwas Erfolggefühl.

Das ist der Abschluss dieses Artikels. Ich hoffe, er hilft Ihnen bei Ihrem Lernen und dass Sie die呐喊教程 mehr unterstützen.

Erklärung: Der Inhalt dieses Artikels wurde aus dem Internet entnommen und gehört dem jeweiligen Urheber. Der Inhalt wurde von Internetnutzern freiwillig beigesteuert und hochgeladen. Diese Website besitzt keine Eigentumsrechte und hat den Inhalt nicht manuell bearbeitet. Die Website übernimmt keine rechtlichen Haftung. Wenn Sie Inhalte finden, die möglicherweise urheberrechtlich geschützt sind, senden Sie bitte eine E-Mail an: notice#oldtoolbag.com (Bitte ersetzen Sie # durch @, wenn Sie eine Beschwerde einreichen, und fügen Sie relevante Beweise bei. Sobald die Beschwerde überprüft wurde, wird die Website die mutmaßlich urheberrechtswidrigen Inhalte sofort löschen).