阿里云日志服务新增四项功能,致力于满足全方位的用户需求

  • 时间:
  • 浏览:0
  • 来源:万人红黑大战棋牌_万人红黑大战棋牌官网

Flink log connector是阿里云日志服务团队提供的用于对接Flink的工具,方便Flink用户在Flink环境中进行日志服务LogHub的数据开发,包括两每段消费者(Consumer)与生产者(Producer)消费者用于从日志服务中读取数据,支持exactly once语义,支持shard负载均衡。生产者用于将数据写入日志服务,使用connector时,需要在项目中加在maven依赖:

l 支持上下文查询:同另另有有另有有一个客户端产生的日志在同一上下文中,支持查看某条日志前后相关日志;

20. </dependency>

5. </dependency>

阿里云API网关提供API托管服务,在微服务聚合、前后端分离系统集成上为用户提供诸多便利。访问日志是由web服务生成的日志,每一次API请求都对应二根访问记录,内容包括调用者IP、请求的URL、响应延迟、返回请况码、请求和响应字节数等重要信息,便于用户了解其web服务的运行请况。

11. <dependency>

l 通过LogHub功能实时计算、流计算对接;

用户可通过访问日志功能进行日志在线查询、完整性调用日志、自定义分析图表和预置分析报表等操作。日志服务支持通过数据接入向导派发API网关的访问日志,提供一键打通API网关日志功能,对API网关中产生实时日志提供如下信息:

阿里云的日志服务提供告警功能,支持保存查询得话为快速查询,对查询设置触发周期(间隔),并对执行结果设定判断条件因此告警,以便实时监控Nginx访问日志。

25. </dependency>

l 本地调试:支持将日志内容输出到本地,并支持轮转、日志数、轮转大小设置;

l 细粒度资源控制:支持针对不类似型数据/日志设置不同的缓存上线、聚合最好的依据;

l 提供消费级exactly once语义支持,保证数据精确性。

22. <groupId>com.aliyun.openservices</groupId>

l Flink Connector工具产品文档

作为IoT设备量身定制的方案,C Producer在以下好多个方面具备明显的优势:

l 客户端日志不落盘:既数据产生后直接通过网络发往服务端。

17. <groupId>com.aliyun.openservices</groupId>

18. <artifactId>aliyun-log</artifactId>

随着IoT正在高速增长,太多的智能设备开始英文英文英文逐步走进人们人们人们 的日常生活,类似智能路由器、天猫精灵、扫地机器人等,让人们人们人们 体验到智能领域的便利。机会IoT设备数目多、分布广,难以调试且硬件受限,传统的设备日志补救方案无法完美满足开发者的需求。阿里云的日志服务团队根据多年Logtail的开发经验,结合IoT设备的特点,为IoT设备量身定制一套日志数据派发方案:C Producer。

16. <dependency>

12. <groupId>com.google.protobuf</groupId>

近日,日志服务团队对告警功能进行升级,新增了WebHook通知推送最好的依据,即钉钉机器人和自定义WebHook等,用户还需要在通知内容和最好的依据上进行自定义配置并推送自定义地址,为开发者、运维及运营人员对日志的使用提供了便利。同去,对告警内容进行优化:新增上下文、账号归属人的信息,方便进行什么的难题定位。

近日,阿里云日志服务团队对日志服务做了更进一步的完善。阿里云日志服务团队专门为IoT(Internet of Things)设备量身定制了一套日志数据派发方案,发布了适用于开发者的面向嵌入式和物联网客户端C Producer;还发布了Flink Connector工具,方便Flink用户进行开发;以及新增了API网关的访问日志(Acccess Log)功能,便于开发和维护人员更完整性的了解其Web服务的运行请况;同去对告警功能进行升级,新增了钉钉和自定义WebHook一种新通知渠道。

l 支持消费实例弹性伸缩、容灾、异常恢复,我太多 关心细节;

6. <dependency>

l 利用LogSearch/Analytics功能进行实时日志查询、分析;

l 告警功能产品文档

此外,C Producer还具备以下IoT设备专享功能,类似:

l 秒级实时派发能力,99.9%请况下10秒内即可消费;

l C Producer产品文档

24. <version>0.1.8</version>

一、面向嵌入式、物联网日志客户端C Producer

15. </dependency>

Flink Connector具有可设置消费起始位置,监控、告警,容灾、异常恢复,准确性高等特点:

l API网关访问日志产品文档

21. <dependency>

l 本地调试:便于在网络不通的请况下本地测试应用应用应用程序。

13. <artifactId>protobuf-java</artifactId>

l 监控,实时获取当前数据消费请况,并通过设置告警知晓延迟的任务;

1. <dependency>

3. <artifactId>flink-streaming-java_2.11</artifactId>

四、全新发布Flink Connector工具

l 通过仪表盘、告警等功能进行线上监控。

23. <artifactId>log-loghub-producer</artifactId>

l 支持多优先级:不通客户端可配置不同优先级,高优先级日志最先发送。

l 客户端计算与 I/O 逻辑分离:日志异步输出,不阻塞工作应用应用程序。

4. <version>1.3.2</version>

10. </dependency>

日志服务通过通知中心告知用户,即在阿里云通知中心还需要设置多个联系人,通知会通过邮件和短信最好的依据发送给用户。

l 日志压缩缓存:支持将未发送成功的数据压缩缓存,减少设备内存占用。

14. <version>2.5.0</version>

8. <artifactId>flink-log-connector</artifactId>

l 低资源消耗:每秒20W日志写入只消耗70% CPU;同去在低性能硬件(树莓派)上,每秒产生400条日志对资源基本无影响。

l 提供多租户概念:还需要对多种日志(类似Metric、DebugLog、ErrorLog)进行优先级分级补救,同去配置多个客户端,每个客户端可独立配置派发优先级、目的project/logstore等;

7. <groupId>com.aliyun.openservices</groupId>

l 通过LogShipper与数据仓库对接;

l 客户端高并发写入:可配置的发送应用应用程序池,支持每秒数十万条日志写入,详情参见性能测试。

更多关于日志服务的介绍及使用请参考以下文章

l 并发发送,断点续传:支持缓存上线可设置,超过上限后日志写入失败。

9. <version>0.1.7</version>

日志服务团队将C Producer Library定位为另另有有另有有一个“轻量级Logtail”,继承了Logtail的稳定、边界特点,我着实没办法 Logtail实时配置管理机制,但也具备除此之外70%的功能,包括:

19. <version>0.6.10</version>

2. <groupId>org.apache.flink</groupId>

二、API网关访问日志

l 设置消费起始位置,方便用户进行消费点的设置;

三、日志告警功能升级