大数据_黄山站长网

[bigdata-024] 在centos 6.5上手工安装mongodb 3.2.5

所属栏目：[大数据] 日期：2020-12-30 热度：86

1. 操作系统 centos 6.5 2. 删除旧版本 kill xxxx yum erase mongodb.x86_64 rm /etc/mongod.conf rm /init/mongo* rm /init.d/mongo* locate mongo 删除全部mongo的相关文件 updatedb -U / 3. 下载mongo http://downloads.mongodb.org/linux/mongodb-linux-[详细]
大数幂运算

所属栏目：[大数据] 日期：2020-12-30 热度：56

还是纯模拟，只可意会，不可言传，回到4年级，然后自己体会 #include stdio.h#include string.husing namespace std;#define MAX 40001int s[MAX];int nbit;void Init();void EXP(int nb,int ne);void vout(int x);int main(){ int base,exp; while(~scanf("[详细]
414. Third Maximum Number

所属栏目：[大数据] 日期：2020-12-30 热度：150

Given a non-empty array of integers,return the third maximum number in this array. If it does not exist,return the maximum number. The time complexity must be in O(n). Example 1: Input : [3,2,1] Output : 1 Explanation : The third maximum i[详细]
[bigdata-025] ubuntu 14.04 下用virtualbox安装ghost xp

所属栏目：[大数据] 日期：2020-12-30 热度：194

市面上的各种ghost的iso很多。这里只说关键点 1.? 用xp ghost镜像启动，选择dos 2. 在dos执行 pq，进行分区 ??? 2.1 首先，选择建立一个“主要分割磁区”，这一点千万不要错，设置为C盘。文件格式根据xp ghost 指定的格式来，现在一般是ntfs。大概，4g就行了[详细]
[bigdata-026] 大数据principle No.1 “只有干净数据才能进入存

所属栏目：[大数据] 日期：2020-12-30 热度：129

这个原则是极其重要。 1. 大数据eco，唯一的优点是处理海量数据，但是工具一般都不完善，藏着各种坑。不像传统数据库和传统功能，完备精致。 2. 最佳的使用方式就是：数据是干净清洁完美的，用大数据工具处理，性能很爽。 3. 但是，如果你试图用大数据eco做[详细]
[bigdata-026] 大数据principle No.1~No.4

所属栏目：[大数据] 日期：2020-12-30 热度：174

Principle No.1 只有干净的数据才能进入存储。这个原则是极其重要。 1. 大数据eco，唯一的优点是处理海量数据，但是工具一般都不完善，藏着各种坑。不像传统数据库和传统功能，完备精致。 2. 最佳的使用方式就是：数据是干净清洁完美的，用大数据工具处理，[详细]
大数据处理算法一：BitMap算法

所属栏目：[大数据] 日期：2020-12-30 热度：125

腾讯面试题：给20亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中并且所耗内存尽可能的少？ ?解析:bitmap算法就好办多了 ?所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不[详细]
大数据处理算法二：Bloom Filter算法

所属栏目：[大数据] 日期：2020-12-30 热度：95

百度面试题：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ Bloom?Filter 是由 Bloom 在 1970 年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不[详细]
数据处理的统计学习（scikit-learn教程）

所属栏目：[大数据] 日期：2020-12-26 热度：69

数据挖掘入门与实战 ?公众号： datadw Scikit-learn 是一个紧密结合Python科学计算库(Numpy、Scipy、matplotlib)，集成经典机器学习算法的Python模块。一、统计学习：scikit-learn中的设置与评估函数对象（1）数据集 scikit-learn 从二维数组描述的数据中[详细]
大数版的斐波那契数列

所属栏目：[大数据] 日期：2020-12-26 热度：174

光棍的yy http://acm.nyist.net/JudgeOnline/problem.php?pid=655 时间限制：1000?ms ?|? 内存限制：65535?KB 难度：2 输入第一行输入一个n表示有n个测试数据以下n行，每行输入m个1 (1 = n,m = 200) 输出输出这种组合种数，占一行样例输入 31111122222[详细]
A-B Problem 大数相等

所属栏目：[大数据] 日期：2020-12-26 热度：144

A-B Problem http://acm.nyist.net/JudgeOnline/problem.php?pid=524 时间限制：1000?ms ?|? 内存限制：65535?KB 难度：3 输入有多组测试数据。每组数据包括两行，分别代表A和B。它们的位数小于100，且每个数字前中可能包含+,- 号。每个数字前面和后面都[详细]
大数据时代必不可少的大数据分析和制作工具大全

所属栏目：[大数据] 日期：2020-12-26 热度：177

1.微信大数据分析工具新媒体指数：http://www.gsdata.cn 2.数据可视化工具百度ECharts：http://echarts.baidu.com/ Cytoscape：http://www.cytoscape.org/ 图表秀：http://www.tubiaoxiu.com/ 数据观：http://shujuguan.cn/ 微博足迹可视化：http://vis.pk[详细]
A+B Problem II 大数加法

所属栏目：[大数据] 日期：2020-12-26 热度：148

A+B Problem II http://acm.nyist.net/JudgeOnline/problem.php?pid=103 时间限制：3000?ms ?|? 内存限制：65535?KB 难度：3 输入 The first line of the input contains an integer T(1=T=20) which means the number of test cases. Then T lines follow,e[详细]
NBA篮球运动员大数据分析决策支持系统

所属栏目：[大数据] 日期：2020-12-26 热度：124

package com.dt.spark.sparksql import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{FileSystem,Path} import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession /** ? * NBA篮球运动员大数据分析决策支持系统[详细]
条条大道通罗马：大数据分析工具的十条学习路径

所属栏目：[大数据] 日期：2020-12-26 热度：93

来自：IT经理网（微信号：ctociocom）链接：www.ctocio.com/hotnews/22900.html （点击尾部阅读原文前往）虽然只有极少数人能够修炼成数据科学家这一21世纪最性感多金专业人士，但对于大多数非数据分析专业的IT人士来说，掌握对路的大数据工具同样意味着加[详细]
某种序列-大数计算

所属栏目：[大数据] 日期：2020-12-26 热度：91

某种序列 http://acm.nyist.net/JudgeOnline/problem.php?pid=114 时间限制：3000?ms ?|? 内存限制：65535?KB 难度：4 输入输入包含多行数据? 每行数据包含3个整数A0,A1,A2 (0 = A0,A2 = 100000000)? 数据以EOF结束输出对于输入的每一行输出A99的值样例[详细]
视音频数据处理入门：UDP-RTP协议解析

所属栏目：[大数据] 日期：2020-12-26 热度：132

http://blog.csdn.net/leixiaohua1020/article/details/50535230[详细]
数据挖掘中的模式发现（八）轨迹模式挖掘、空间模式挖掘

所属栏目：[大数据] 日期：2020-12-26 热度：112

这是模式挖掘、数据挖掘的一部分应用。空间模式挖掘(Mining Spatiotemporal Patterns) 两个空间实体之间存在若干拓扑关系，这些关系基于两个实体的位置：分离相交包含如图所示地表示位置信息，可以提取类似下面的规则： i s _ a ( x , l a r g e _ t o[详细]
企业BI系统应用的切入点及五大策略

所属栏目：[大数据] 日期：2020-12-26 热度：64

从技术的角度来看，BI的技术正在走向成熟，处于一个发展的阶段，但它促使了BI的应用在成本方面开始逐步的降低，越来越多的企业在BI应用方面取得了成功。从实施的角度来出发，实施商业智能系统是一项复杂的系统工程，整个项目涉及企业管理，运作管理，信息系[详细]
挖掘隐式启动Activity可能存在的坑

所属栏目：[大数据] 日期：2020-12-26 热度：147

今日科技快讯很早之前，谷歌母公司Alphabet的董事长施密特就曾经表示，在中国市场，谷歌需要寻找到一个商业伙伴来开展自身的一些业务。而近日有消息传出，谷歌和网易正在进行合作磋商，很可能是成立合资公司，在国内推出针对中国市场的Google Play应用商店[详细]
pyhive 连接 Hive 时错误

所属栏目：[大数据] 日期：2020-12-26 热度：111

一、User: xx is not allowed to impersonate xxx' 解决办法：修改 core-site.xml 文件，加入下面的内容后重启 hadoop 。 property namehadoop.proxyuser.xx.hosts/name value*/value/propertyproperty namehadoop.proxyuser.xx.groups/name value*/value/pr[详细]
分布式基础通信协议：paxos、totem 和 gossip（转载）

所属栏目：[大数据] 日期：2020-12-26 热度：186

背景：在分布式中，最难解决的一个问题就是多个节点间数据同步问题。为了解决这样的问题，涌现出了各种奇思妙想。只有在解决了如何进行信息同步的基础之上才衍生出形形色色的应用。这里开始介绍几种分布式通信协议。简单即有效——totem协议: totem协议也[详细]
Hive 导入 parquet 格式数据

所属栏目：[大数据] 日期：2020-12-26 热度：59

Hive 导入 parquet 数据步骤如下：查看 parquet 文件的格式构造建表语句倒入数据一、查看 parquet 内容和结构下载地址社区工具 GitHub 地址命令查看结构： java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d activity.201711171437.0.parque[详细]
Presto 常用配置及操作

所属栏目：[大数据] 日期：2020-12-26 热度：148

一、介绍 Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。推荐阅读 Presto实现原理和美团的使用实践二、安装 2.1[详细]
大数据的技术生态概述（转载）

所属栏目：[大数据] 日期：2020-12-26 热度：189

如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各[详细]

4140

108