隐藏的部分，而刮（蟒蛇）

Question

所以我想刮去这个网址的“买入价”整数 https://rsbuddy.com/exchange?id=5502

但是，当我看源代码，我不能达到这些价格。 BeautifulSoup刮刀也没有。这是BeautifulSoup的输出中：

<div class="col-md-7" id="buy-price"> 
    --- 
</div> 

但是，当我使用Chrome的检查元素“，其实我上午能看到价格：

<div id="buy-price" class="col-md-7">29,990 gp</div> 

为什么是代码的一部分”隐'？仅仅是因为他们不希望人们从他们的网站上刮掉？ 有没有办法解决这个问题？

在此先感谢

编辑： 我使用Google Chrome工具跟踪的JavaScript流量找到了答案。 显然，即使api.rsbuddy.com不给你任何东西，它使用API​​： https://api.rsbuddy.com/grandExchange?a=guidePrice&i=5502

Answer 1

的价格大概是被摆在那里由JavaScript。他们可能使用某种AJAX来获取价格。你必须调查他们的JavaScript来获取你想要的数据。

只是为了澄清，它本身不是“隐藏”的，它只是不在HTML中。当您执行检查元素时，它会查看由HTML开始的文档以及JavaScript对其进行的任何更改。

Answer 2

如果页面的某些部分是通过JavaScript插入的，最好的方法是使用类似selenium和PhantomJS作为驱动程序。

Python绑定非常易于使用，这将允许JavaScript在浏览器中执行，并且您可以从中获取价格。

让我知道你是否想要更多的信息，我很乐意提供帮助。