logstash连接不上数据库 spark为啥不能导入kafka相关包?

[更新]
·
·
分类:互联网
3054 阅读

logstash连接不上数据库

spark为啥不能导入kafka相关包?

spark为啥不能导入kafka相关包?

曾经试过了用 spark streaming 读取 logstash 启动的 TCP Server 的数据。不过如果你有多台 logstash 的时候,这种方式就比较难办了 —— 即使你给 logstash 集群申请一个 VIP,也很难确定说转发完全符合。所以一般来说,更多的选择是采用 kafka 等队列方式由 spark streaming 去作为订阅者获取数据。

伴随性数据采集工具有哪些?

伴随性数据采集工具有Flume、Filebeat、 Logstash、 Scribe等。

logstash和filebeat有什么区别?

logstash是同你状态下的插入摩擦,filebeat是说插入收紧力比较舒适

能写服务名吗?

能,通过中配置grok,用正则表达式可以提取出服务名称,然后添加字段service,方便在elasticsearch中做检索。

十大devops工具?

1. Kubernetes
随着微服务和基于容器的软件无处不在,Kubernetes在开源DevOps工具列表中名列前茅并不奇怪。
2. Docker
Docker这个软件是一个用于构建、行一个轻量级的容器的应用程序。
3. Istio
微服务是一种方便的开发方式,然而它们带来了新的开发和架构问题。
4. GitHub Actions
GitHub可以说是全球最流行的源码控制和软件协作平台。
5. Jenkins
DevOps理念的一个重要部分是找到更有效地自动化和部署新迭代的方法。
6. Prometheus
指标和告警系统对于网站可靠性工程师可视化应用和对问题做出反应至关重要。
7. Ansible
Ansible是关于自动化的工具。
8. Chef
Chef是另一个基础设施即代码(IaC)解决方案,用于自动化配置管理。
9. Terraform
Terraform是另一个IaC工具,可用于启动构建、版本管理和使用配置文件的进一步自动化。
10. ELK Stack
ELK Stack是由Elastic维护的三个开源项目Elasticsearch、Logstash和Kibana组合而成。