Tuo Blog

Thinking will not overcome fear but action will.

Python 与 Hadoop（MapReduce）

Python Hadoop

前言 MapReduce是Hadoop的编程模型。Hadoop使用Java开发，所以MapReduce一般也使用java进行开发。Hadoop 提供了一个叫做Hadoop Streaming的工具，使用这个工具理论上支持使用任何可执行程序或者脚本基于map/reduce模型处理Hadoop集群上的数据。 使用Python开发MapReduce应用有两种方法： 第一种使用hadoop s...

Posted by BY tuo on October 24, 2019

Java 操作Kafka 示例

Kafka

单线程操作 Maven 配置 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.1.1</version> </dependen...

Posted by BY tuo on February 25, 2019

记一次 LeetCode.15 练习题

15. 3Sum

LeetCode的练习题目为：《15. 三数之和》 原题链接：三数之和 给定一个包含 n 个整数的数组 nums，判断 nums 中是否存在三个元素 a，b，c ，使得 a + b + c = 0 ？找出所有满足条件且不重复的三元组。 自我思考 拿到题目的第一刻就想到了用3层for循环组成所有出现的情况，然后对出现的情况进行去重处理。得出以下代码： public L...

Posted by BY tuo on February 13, 2019

CSV Linux下导入到mysql

CSV 批量导入mysql

需要在mysql上建立相应的表结构 CREATE TABLE `2018_score_end` ( `user` varchar(20) DEFAULT NULL, `type` varchar(20) DEFAULT NULL ) ENGINE=MyISAM DEFAULT CHARSET=utf8; CSV转换编码（CSV导入乱码解决） iconv...

Posted by BY tuo on February 13, 2019

Java爬虫搭建(一)

Java 爬虫

原始逻辑

Posted by BY tuo on January 25, 2019

Java 使用免费代理攻略

Java 爬虫代理

Java爬虫使用到的 原始获取网页内容类 /** * 获取页面内容 * * @return 返回获取的网页内容 * @throws IOException */ public static String getPageInfo(String urlStr, String Referer) throws IOException { // 超时时间 int...

Posted by BY tuo on January 24, 2019

机房搭建一(centos服务器优化)

记一次机房升级

centos安装这里就不多描述了。 SSH 服务器很慢怎么办？ 打开 vim /etc/ssh/sshd_config 找到对应属性值修改为下面的值 UseDNS no GSSAPIAuthentication no 保存退出后运行 centos7.x 运行 systemctl restart sshd.service centos6.x 运行 service sshd...

Posted by BY on August 20, 2018

FEATURED TAGS
Java爬虫
ABOUT ME

Goals determine what you going to be!

✉️ tuoxin126@sina.com

FRIENDS