• <nav id="26o4m"><source id="26o4m"></source></nav>
  • 使用scrapy 爬取京东商品名及价格,但是使用CSS并extract() 读不出text.用过scrapy shell 也读出不商品名(我完全是复制的Selector也不行)一直return []

    下鱼了 2021-12-09 21:40:23

    ?

    #Create the Spider class

    class DC_Description_Spider(scrapy.Spider):

    ? name = "dc_chapter_spider"

    ? # start_requests method

    ? def start_requests(self):

    ? ? url_short='https://beauty.jd.com/'

    ? ? yield scrapy.Request(url = url_short, callback = self.parse_front)

    ? # First parsing method

    ? def parse_front(self, response):

    ?

    ? ? parent_node = response.css('#app > div > div.lc-floor.lc-xfloor--id-1574665740220.lc-floor--lg > div > div:nth-child(9) > div > div > div.lc-nav-tabs__body > div:nth-child(2) > div > div > div')

    ? ? item_dict=[]

    ? ? for i in range(4):

    ? ? ? ? item_name = parent_node.css('>div:nth-child({i}) > div > div.goods-item__info > div.goods-item__title.goods-item__title--twoline').extract()

    ? ? ? ? item_price=parent_node.css('>div:nth-child({i}) > div > div.goods-item__info > div.goods-item__content > div').extract()

    ? ? ? ? if item_price == []:

    ? ? ? ? ? item_price="补货中"

    ? ? ? ? ? item_dict.append({"name":item_name, "price":item_price})

    ? ? ? ? else:

    ? ? ? ? ? item_dict.append({"name":item_name, "price":item_price})

    ? ? return item_dict


    ?

    ? ? ? ?

    ? ? #for url in links_to_follow:

    ? ? ? #yield response.follow(url = url,

    ? ? # ? ? ? ? ? ? ? ? ? ? ? ?callback = self.parse_pages)

    ?#Run the spider

    process = CrawlerProcess()

    process.crawl(DC_Description_Spider)

    process.start()

    ?

    # Print a preview of courses

    #previewCourses(dc_dict)

    ...全文
    277 1 点赞 打赏 收藏 举报
    写回复
    1 条回复
    切换为时间正序
    请发表友善的回复…
    发表回复
    李玺 7天前

    对接口分析不熟练的话,建议写解析前先把response内容保存到本地,确认是否有要匹配的内容。

    如果有数据,则是css表达式的问题。

    • 打赏
    • 举报
    回复
    相关推荐
    发帖
    爬虫逆向
    创建于2021-07-26

    1474

    社区成员

    爬虫逆向技术交流社区,有问题可在此发布动态,不限开发语言不限框架技术的综合社区。
    帖子事件
    创建了帖子
    2021-12-09 21:40
    社区公告

    一个综合的爬虫逆向技术交流社区

    天天躁夜夜躁狠狠综合2020,日本二区三区欧美亚洲国,自拍另类欧美图区视频一区,青青草国产免费无码