黑羊 房地产数据一部分是公开数据比如土地linz 和各政府的公开数据 还有一部分是和政府机构签约,每周ftp的数据比如valuation 方面和data方面的。 爬数据要看每个网站是不是有反爬虫了,个人感觉意义不大,宏观数据stats nz 给了很多数据了,微观数据每个房也都不一样没啥意义。 爬数据总体来说是个体力活,最好还是和机构达成合作不然整理数据难度很大。 赚钱方面房产数据完全不如做股票数据量化了,一样的技术精力做量化比做房产数据赚钱多得多,这也是为什么做房产数据的机构和公司没法和做金融量化的比了
黑羊 站长 relab房源也是realestate 的,但是不做房源搜索网站所以用途不一样。房源搜索其实新西兰这个房源数量做的细分一点也没几个房了。 如果个人做房源搜索爬一下也没多难,但是要多加层级数据就很难了,现在relab sql 用的是14核cpu 128gb ram, redies elastic lambda docker能上的都上了。。。感觉还是慢
yu 黑羊 感谢业内巨佬解答 最近想买房但是预算巨低所以在看 所以想要更加符合自己实际情况细化一点的搜索和通知设定 。 我临时想到一些问题直接问问 realestate 的接口申请就好了么?还是需要付费使用? 新的上市房子是在政府哪里可以获取么?还是说各个网站自己上自己的list? 也就是说我想实时监控上市房子有可能么? 如果各个网站自己上自己的list。那homes.co.nz 怎么数据感觉全一些。 @站长 加站长一起问。我处于个人目的 随便爬爬数据这个会涉及到法律问题么?严重么 反爬啥的遇招拆招吧 习惯了。
站长 不让爬,新西兰多少有些流量的网站都不让爬的。比如realestate.co.nz. T&C https://click.realestate.co.nz/terms-and-conditions 明确写到,禁止爬。 Trademe也禁止爬的~ 因为爬,会吃掉网站的计算资源影响availability和网页的performance
黑羊 yu 市政府不提供房源数据,房源数据是各房产中介公司发布的。 实时监控上市房源可以用trademe saveseach 订阅推送就可以了,一般不就是设置个区域和价格区间吗。 homes是trademe收购的所以房源是和tm一致的,我个人喜欢用realestate 有些中介省钱不上trademe, trademe太黑了巨贵。 房源搜索来说oneroof 后花园不错的更多一些,当然我这的搜索是最强大的但不开放个人使用,也不需要,因为普通人就是看个房源。
站长 yu 加站长一起问。我处于个人目的 随便爬爬数据这个会涉及到法律问题么?严重么 反爬啥的遇招拆招吧 习惯了。 如果是realestate.co.nz那么你一定违反。因为已经在条款里面写清了,不许爬。无论什么目的。 如果只是被反爬,那真的不是什么事儿。如果人家不理你,然后默默的取证,呵呵吧
Panador 黑羊 我也有一个问题请教,我是房主,我在卖房的时候拍的照片是我付费的,几百刀,我的照片自然是给中介了,中介放到他们家网站上,同步到交易我和realestate.co.nz,这时,照片的版权算谁的?如果算我的,这两家网站用了我的图片,同时我的房子的页面上还有其他广告,这两家网站的广告收入,是不是应该分我点?