BeautifulSoup无法找到视频或某些div标签

我不知道为什么它不让我访问视频标签。BeautifulSoup无法找到视频或某些div标签

我试图抓取视频源，但它不让我访问'视频'标签。

<video class="jw-video jw-reset" disableremoteplayback="" webkit- 
 
    playsinline="" playsinline="" jw-loaded="data" 
 
    src="randomsrc2" jw-played="" style="object-fit: 
 
    fill;"></video>

#web scraping stuff 
    #web scraping stuff 
    import bs4 as bs 
    import urllib.request 

    url = 'https://gostream.is/film/cars-3-21095/watching.html?ep=682669' 
    user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; 
    rv:1.9.0.7) Gecko/2009021910 Firefox/3.0.7' 

    headers={'User-Agent':user_agent,} 

    q = urllib.request.Request(url, headers=headers) 
    sauce = urllib.request.urlopen(q).read() 
    soup = bs.BeautifulSoup(sauce,'lxml') 
    print(soup) 

    f=open('testd2.txt','w+') 
    kuk = str(soup) 
    f.write(kuk) #When I search for 'video' in the file it doesn't give me anything 
    video = soup.find('video') 
    print(video) #gives None

来源

2017-08-12 Filip

的'

在火狐浏览器about:config和搜索javascript.enabled为假。打开你的链接。如果您在浏览器中没有看到您的视频链接，那么这意味着标签正在使用JavaScript在运行时插入。而请求将无法做到这一点。

因此，你需要一个浏览器和硒。在这种情况下，你会几率使你的代码如下

from selenium import webdriver 
driver = webdriver.Firefox() 
url = 'https://gostream.is/film/cars-3-21095/watching.html?ep=682669' 
driver.get(url) 
sauce = driver.page_source 
soup = bs.BeautifulSoup(sauce,'lxml')

你甚至可以删除的汤一起，使用类似下面

for elem in driver.find_elements_by_tag_name("video"): 
    print(elem.get_attribute("src"))

来源

2017-08-12 12:03:53

即使使用Firefox，它也不起作用。 – Filip

@Filip，我的标签名称错误。它应该是“视频”而不是“视频”。我运行我的代码并得到了输出'blob：https：// gostream.is/fd3f41ae-e86d-1f48-9a20-8ca60590e4cf' –

BeautifulSoup无法找到视频或某些div标签

回答

相关问题