ScrapydWeb是一個用于Scrapyd集群管理的Web應用程序，可以有效地管理分布式Web抓取項目。在將SCRAPY_PROJECTS_DIR選項設置為包含Scrapy項目的路徑之后，ScrapydWeb將列出該目錄中的所有項目，并選擇最新修改的項目。只需選擇一個項目并按按鈕即可提交，然后在后臺自動打包。
軟件特色
💠 Scrapyd集群管理
💯 支持所有Scrapyd JSON API
☑️ 分組，過濾和選擇任意數量的節點
🖱️ 只需單擊幾下即可在多節點上執行命令
🔍 Scrapy日志分析
📊 統計資料收集
📈 進度可視化
📑 日志分類
🔋 增強功能
📦 汽車包裝
🕵️♂️ 與整合 🔗 LogParser
⏰ 計時器任務
📧 監控和警報
📱 行動使用者介面
🔐 Web UI的基本身份驗證
瀏覽器支持
最新版本的Google Chrome，Firefox和Safari。
使用說明
訪問http://127.0.0.1:5000，然后使用上面的USERNAME / PASSWORD登錄。
服務器頁面將自動顯示所有Scrapyd服務器的工作狀態。您可以通過分組和過濾來選擇任意數量的Scrapyd服務器，然后只需單擊幾下即可在群集上調用Scrapyd的HTTP JSON API。
與LogParser集成后，“作業”頁面可以自動顯示您的抓取作業的頁面和項目信息。默認情況下，ScrapydWeb會定期創建您的抓取作業的快照并將其保存在數據庫中，以避免在重新啟動Scrapyd服務器時丟失作業信息。
更新內容
新的功能
添加用于通過Slack，Email發送文本或警報的API
改進之處
側邊欄和多節點按鈕上的UI改進
其他
將配置文件更新為scrapydweb_settings_v10.py
標簽： 爬蟲工具
-
本類熱門推薦本類熱門標簽
-
詳情
Tablesaw (數據可視化工具)官方版v0.38.1
15.26MB / 3分
-
詳情
DailyPaper(日報api接口) 綠色版v3.0.7
42MB / 3分
-
詳情
楓葉單本小說系統 免費版v1.0
5.39MB / 3分
-
詳情
悟空crm 免費開源版9.0
60.01MB / 3分
-
詳情
Alternate WebshopEngine Lite 免費版V1.520
1.92MB / 3分
-
詳情
WordPress 官方最新版
9.39MB / 3分
-
詳情
owncloud源碼 V10.0.9
51KB / 3分
-
詳情
-
7 簡單搜索天氣組件
裝機必備軟件
網友評論