Scrapy
Scrapy – otwartoźródłowy szkielet do tworzenia aplikacji napisany w języku programowania Python i służący do pisania robotów internetowych, które przeszukują strony internetowe i wydobywają z nich określone dane[2].
| ||
 Logo programu | ||
| Autor | Scrapinghub | |
| Pierwsze wydanie | 28 czerwca 2008 | |
| Aktualna wersja stabilna | 1.8.0 (28 października 2019; ponad rok temu)[1] | |
|---|---|---|
| Język programowania | Python | |
| System operacyjny | Microsoft Windows, macOS, Linux | |
| Rodzaj | framework | |
| Licencja | Licencja BSD | |
| Strona internetowa | ||
Scrapy ma „selektory“, czyli własny mechanizm pozwalający na ekstrakcję danych. Jednakże może być w łatwy sposób łączony z bibliotekami do parsowania takimi jak: BeautifulSoup, czy lxml. Wspiera wykorzystywanie pośredników HTTP. Używa kolejki LIFO do przechowywania oczekujących żądań, co oznacza, że wykorzystuje przeszukiwanie w głąb. Jednakże umożliwia zmianę ustawień skutkującą przeszukiwaniem wszerz. Dodatkowo Scrapy odbiera i przechowuje ciasteczka wysyłane przez serwery i odsyła je w kolejnych żądaniach, w taki sam sposób jak robi to przeglądarka internetowa[2].
Aby wykorzystywać framework potrzebny jest Python w wersji 2.7 lub 3.5+ (implementacja CPython) albo 5.9 (implementacja PyPy)[2].
PrzypisyEdytuj
- ↑ Release notes (ang.). doc.scrapy.org. [dostęp 2020-01-03].
- ↑ a b c Frequently Asked Questions (ang.). doc.scrapy.org. [dostęp 2018-03-27].