拥有超过10年研发与架构经验,专注数据存储分析领域的高可用、高性能、智能化运维等方面,目前负责京东OLAP的云原生与存算分离建设。
美团数据库自治服务团队负责人,对数据库故障分析、性能优化有丰富的实践经验跟浓厚兴趣,善于从数据库源码(MySQL)的角度深入分析问题,并给出最佳实现方案,最近对AIOps在数据库领域的实践有浓厚的兴趣;在进入美团之前,曾就职于微软(中国)SQL Server团队。
在高可用架构设计、业务逻辑设计和优化方面,有较为丰富的经验。目前负责新浪智能数据分析平台建设,致力于运维大数据价值挖掘,提升运维服务质量和产品用户体验度。ClickHouse中国社区发起人之一,国内最早大规模使用ClickHouse的用户之一,对ClickHouse的架构、使用、优化,有较好的理解和实践经验。
2013年毕业于浙江大学,主要从事大数据存储 计算引擎开发和优化工作 目前就职于网易严选,同时担任网易集团数据委员会委员,是网易严选数据和算法工程团队的负责人,负责严选数据技术体系的建设(大数据平台 中台 数据产品和算法工程)
随着业务的快速发展,数据支撑越来越多的业务场景,我们数据任务和服务也会井喷式的增长,再加上大数据的服务链路是非常长的,涉及到收集、存储、访问、计算、数据加工、数据挖掘、数据服务等。随着数据规模和场景快速变化,特别在互联网公司,开发效率优先的工作模式下,数据体系的快速腐化是不可避免的,这不仅影响到数据研发效率,甚至影响整个公司的决策效率。
本次分享主要给大家介绍的是严选对于数据治理的方法论和落地实践,通过对整个生命周期的数据/任务/服务组件的治理 ,保障数据稳定高质地进行生产,并推进整体的资源优化,以及大数据平台的演进和优化
1、如何提升数据体系的可观测性、可运维能力以及稳定性
2、如何更高效低成本数据治理,发现和减少数据系统的腐化问题
携程云平台研发总监,负责携程云与大数据平台基础设施建设及平台研发。
目前任职平安集团科技会数据管理团队负责人、平安科技副总工程师。北京邮电大学计算机软件与理论专业硕士学位。曾任Teradata大中华区产品及解决方案总经理、就职于IBM GBS、SAS等数据领导者,拥有19年的数据合规、数据治理、数据中台与数据智能相关的实施、咨询服务的经验。开创“合规高效的数据管理及运营体系”,一方面致力于企业数据中台产品和应用的规划建设;另一方面研究落实国家和监管法律法规对企业数据资产管理、数据制度建设、数据合规安全使用等方面的要求。深耕领域涉及银行、保险、通信运营商、交通、医疗、汽车、高科技制造、零售等。
平安集团拥有超过20家的专业子公司,以及多个集团部门、组织,数据平台林立。根据国家和监管频繁出台法律法规以及集团战略的要求,需要加强数据合规管理,规范数据架构,促进数据交互,提升应用价值。2019年底,平安集团启动数据中台建设,采用“共建共享、安全合规、多劳多得、技术为先、面向市场”的设计原则,打造开放共赢的数据中台体系,目的是一方面整合集团内外数据能力,形成合力更加全面立体高效的赋能全业务;一方面建设合规高效的数据管理及运营体系,加强集团对数据资产的管控和治理,保证数据合规安全的使用。
历任蚂蚁数据库SRE,网商银行首席数据库架构师。主导了蚂蚁计费去O,网商银行等核心业务系统的分布式架构升级工作。围绕OceanBase内核构建了产品生态体系(ODC OMS OCP),并在阿里云上完成了产品GTM。当前负责OceanBase泛互联网&海外方向解决方案负责人。
本次分享主要介绍蚂蚁集团发的发展过程中基础设施面临的问题与挑战,
以及我们如何基于OceanBase构建蚂蚁统一存储架构,同时在容器化、单元化、异地多活、大促弹性、智能运维上沉淀最佳实践,提升运维效率与业务连续性,降低硬件成本。
1、蚂蚁业务发展历史与数据库面临的挑战
2、一站式数据迁移最佳实践
3、蚂蚁单元化改造与OceanBase异地多活最佳实践
4、OceanBase大促弹性核心揭秘
5、数据库自愈在蚂蚁的探索
本人在字节跳动负责公司级可观测性领域海量时序数据库,熟悉大数据整套技术与业务体系, 在分布式系统,如Spark、Flink以及Presto等OLAP领域有超过8年的从业经验,擅长深入引擎底层定位和解决问题,擅长系统性梳理和解决问题。
字节跳动的可观测性领域的海量metrics时序数据库从17年演化至今经历了从少量数据到海量数据,从单机到分布式,从开源的拿来主义到坚定自研的道路,逐步构建出了一套相对完善分布式计算与存储的时序数据处理能力。此议题旨在分享这一路走来我们的收获与遇到的问题,帮助观众对此领域有更深入的理解。
现任vivo运维总监,负责vivo互联网业务的业务运维工作;曾先后在百度、腾讯工作过,有客户端、国际化、大数据算法等在离线业务的运维经验;加入vivo后主导建设了业务的高可用性建设,使业务可用性达到99 99%水平。
前IBMer,十年数据中心运维研发经验,主导建立了部门运维工具体系,运维超十万规模服务器。
光大银行大数据平台运维负责人,2006年加入光大银行,负责光大银行数据库和大数据平台的建设和运维管理,长期关注大数据领域技术发展。
介绍光大银行大数据平台的发展历程,包括初期规划、发展现状和未来的规划。以及金融行业数据仓库如何建设既满足业务需求又符合金融要求的应用实践。
唯品会数据平台负责人,主要专注大数据和AI相关技术。
数据湖技术(Hudi等)能够很大提高数据的时效性,降低冗余数据的存储。在此基础上,唯品会探索利用Hudi做增量计算的各种场景,大幅度降低ETL的存储和计算资源消耗。
曾在阿里云和英特尔从事开源大数据框架的开发工作,在大数据领域有多年研究经验,是Apache Hive和Apache Flink项目的Committer,目前在哔哩哔哩基础架构部门负责OLAP平台的建设。
湖仓一体是近阶段非常火热的方向,如何保持湖的灵活性的同时,提供仓的高效分析效率依然是一个亟待解决的问题。本次分享主要介绍哔哩哔哩的OLAP平台遇到的问题和挑战,以及我们如何基于Apache Iceberg建设湖仓一体的架构,在数据分布/索引/预计算等多个方面增强优化,提升数据分析效率,降低分析成本。
1、了解湖仓一体架构的好处。
2、如何基于Apache Iceberg建设湖仓一体的架构。
3、开源Iceberg目前的一些可提升优化的方向。
4、哔哩哔哩在落地实践上的一些经验。
1 摩托罗拉 子公司UniqueSoft Java专家 主导自动逆向工程系统Java方向研发 2 阿里本地生活中间件技术专家负责DAL中间件的研发,同时负责多活体系中全局控制中心和数据层的建设 3 现任货拉拉核心基础设施技术专家、数据库中间件团队负责人。 对数据库中间件研发有深刻的理解跟丰富的实战经验。
随着企业体量不断增长,业务不断丰富和多元化,伴随着单体架构向微服务架构演进&单云环境向混合云环境过渡,DB层稳定性建设迎来了全新挑战。静态的某个DB长期稳定运行已经不能满足企业要求,新的稳定性体系必须是能够应对海量存储以及频繁表结构变更,数据迁移,容量扩缩容的反脆弱稳定性体系。
硕士毕业于东北大学,持续深耕智能运维领域多年,带领团队致力于京东智能运维算法迭代,把智能算法能力落地京东线上横向业务场景,算法在监控、数据库、网络、资源调度等多个纵向场景取得突破,提升了产品和运维的技术竞争力。善于将实践中沉淀的技术与日常算法工作中积累的技术与创新总结成专利和IEEE论文,申请智能运维发明专利30余项,IEEE国际会议论文收录4篇。
2014年加入汇丰 2019年负责大数据平台构建 2020年开始组建跨国数据工程师团队专注交付汇丰工商金融客户数据项目。
我们需要了解数据在汇丰中是如何关联的,以便将这些数据转化为可重用的数字资产并生成可操作且有价值的见解。而实体解析就是其中的关键,它是确定多个记录是否引用相同的现实世界事物的过程,例如人、组织、地址、电话号码、银行账户等。实体解析从外部和内部来源获取多个不同的数据点,并将它们解析为一个唯一的实体。一旦我们有了一个唯一的实体,汇丰就可以使用这个结果来关联不同的数据,增强或自动化决策,进而可以更快、更准确地识别和做出各种决策。
蚂蚁集团基础设施团队SRE技术专家,在蚂蚁基础设施团队从事关于SLO的健康度体系建设,以及异常检测、故障定位、预案推荐等场景下的AIOps实践。曾就职于携程技术保障中心SRE专家岗,负责AIOps的实践探索和落地,以及多个AIOps产品的设计研发。毕业于复旦大学信号处理方向,对人工智能、机器学习、神经网络及数学有浓厚的兴趣,在人工智能技术结合运维场景的实践方面有深入研究。
SLO为应用的服务质量定义了明确的目标,帮助团队提供一致的客户体验、平衡功能研发与平台稳定性,改善与内部和外部用户的沟通。蚂蚁的基础设施团队负责包括K8S资源调度、中间件、L4/7流量调度、数据&智能、缓存等众多异构系统,以SLO构建基础设施侧的健康度体系,除了为各个系统定义明确的性能目标,也为系统可观测性、应急等提供了一套通用的框架,通过将AI赋能SLO数据、结合实际场景(AIOps典型实践场景),从运维数据中挖掘更多的价值,让运维更加提效和智能。
本专题将分享SLO的介绍、如何从0到1构建SLO、AI结合SLO数据发挥更大价值、以及基于SLO的健康度体系在运维场景下的一些成功实践。
在商务智能及大数据领域有近10年的从业经验,之前就职于MicroStrategy、Qlik等国际BI厂商为客户提供商务智能及相关行业解决方案,目前负责Denodo华东地区业务。
利用元数据逻辑架构搭建的最新一代数据中台,使数据贴近数据源进行计算、消费以及实时呈现相关数据报表。同时提供方便快捷的数据分享方式让企业打通行业上下游的物理瓶颈,达到数据协作的功效,最大化实现数据的内在价值。
现就职于快狗打车数据智能部,数据仓库团队负责人 数据仓库架构师。经历过互联网广告平台、电商平台、自营电商等不同业务主体、不同发展阶段的数据仓库建设,积累有丰富的数据仓库建设实践经验。
快狗数据仓库经过多年建设迭代,如何更精细化的管理企业数据资产?如何更好的赋能企业业务发展?如何做好面向未来的数据建设?本次分享将会和大家一起交流快狗数据仓库的技术建设和未来演进之路。