刚学scrapy,之前都是在命令行运行scrapy项目,但是据说用pycharm可以debugger,想试试,但会出问题,下面是我看了网上解决方法之后总结的我觉的较好的解决方法
配置过程
首先在项目文件和scrapy.cfg同一级别目录下新建一个main.py
main.py
# -*— coding: UTF-8 -*-
from scrapy.cmdline import execute
import sys
import os
# 打断点调试py文件
# sys.path.append(‘D:PyCharmpy_scrapyjobbole’)
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
print(os.path.dirname(os.path.abspath(__file__)))
execute([‘scrapy’, ‘crawl’, ‘tianmao’])
注意
execute的第三个参数tianmao是你spider文件下执行爬取的py文件里属性name的值