还在用 Excel 和 SQL?火山引擎 VeDI 这款产品帮你更快处理数据

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,并进入官方交流群

对大多数职场打工人来说,看数据、用数据一直是项有“门槛”的工作。

特别是在企业业务快速发展的背景下,为了让参与项目决策的员工、管理层尽快看到业务相关数据(通常包括核心业务汇总数据、业务一线明细数据等),数据团队往往需要竭尽全力应对数据需求,从而导致数据岗位人员、数据开发设备等在内的多项资源成本压力。

另一方面,企业业务系统自带的数据看板一般无法满足直接看数据的需求,因此数据岗位员工会选择手动下载明细数据,并在 Excel 等本地文件中进行汇总分析操作;当面对繁重的需求量时,往往只能做一些简单自动化数据处理,再加载到关系数据库(例如 MySQL、SQL Server、Oracle 等)中,通过 SQL 代码方式实现基础加工处理和呈现。

但无论是 Excel 处理还是 SQL 代码处理,都无法避免因为涉及多层级/多部门跨越,而造成的角色使用数据范围差异、数据实时性差、数据分析看板不易读、美观度差等系列问题。

为了更好地提升企业员工在取数、看数、用数环节的体验,火山引擎数智平台 VeDI 目前已经面向企业级用户推出智能数据洞察 DataWind。

从产品架构上来看,DataWind 可以分为数据源、存储计算引擎、数据建模、数据分析和数据应用五大版块。

 

 

值得注意的是,数据在应用端做数据分析时需要分析引擎加持,DataWind 可依据企业特征支持两种不同模式:一种是产品内置存储的计算引擎 ByteHouse,可以支持千亿级别大数据量的自助分析,数据显示,在大多数分析计算场景(分组、占比、对比、排序等)下,ByteHouse 查询引擎计算速度相较普通分析引擎至少能够提升百倍以上;而另一种则是直连引擎,它可以直接与数据库交互,当企业的数据库性能足够的情况下,可以选择使用。

从数据连接上来看,DataWind 可支持从业务数据库、Excel/CSV、飞书上业务数据填报、外部平台数据(比如广告域、内容域、微信生态等),以及实时/离线数仓等 40 多种途径完成数据链接。

 

 

在数据处理方面,DataWind 着力于尽可能降低操作门槛,比如提供「AI+BI」的可视化建模服务,在此基础上,企业员工可以在数据分析环节实现可视化拖拽式操作,同时 DataWind 还能够自动将数据代码解析为可视化图表。

此外,在面向应用端方面,DataWind 早已可实现多端应用,与目前市场流行的多种 IM 办公产品深度集成,比如飞书、钉钉、企业微信等,保障用户在移动办公场景下,依旧畅享实时数据在线上传、查看、分析、处理、应用等多种服务。

 

从一定程度上来说,火山引擎数智平台 DataWind 集合了当前字节跳动在内部多业务多场景上的智能数据洞察实践能力,并完成了产品式输出,截至 2022 年 12 月,该能力已经在互联网、汽车、零售、金融等多个行业在内的多家标杆企业获得应用实效。

 

点击跳转火山引擎智能数据洞察 DataWind了解更多

本文转载于网络 如有侵权请联系删除

相关文章

  • golang源码分析netlink

    https://github.com/vishvananda/netlink,netlink是Linux系统里用户态程序、内核模块之间的一种IPC方式,特别是用户态程序和内核模块之间的IPC通信。比如在Linux终端里常用的ip命令,就是使用netlink去跟内核进行通信的。例如想在golang代码中实现iplinkaddxx的效果,一种办法是使用exec包执行对应的ip命令,另一种是采用netlink的方式,但是自己操作netlink还是有点繁琐。netlink包为go提供了一个简单的netlink库。Netlink是linux用户态程序用来与内核通信的接口。它可用于添加和删除接口、设置ip地址和路由以及配置ipsec。Netlink通信需要提升权限,因此在大多数情况下,此代码需要以root身份运行。由于底层netlink消息晦涩不好理解和使用,因此该库尝试提供一个简易api,该API模仿了iproute2提供的CLI。诸如iplinkadd之类的操作将通过类似命名的函数(如AddLink())来完成。这个库最初是docker/libcontainer中netlink功能的一个分支。

  • JavaScript Window Navigator

    window.navigator对象包含有关访问者浏览器的信息。WindowNavigatorwindow.navigator对象在编写时可不使用window这个前缀。<script> txt="<p>浏览器代号:"+navigator.appCodeName+"</p>"; txt+="<p>浏览器名称:"+navigator.appName+"</p>"; txt+="<p>浏览器版本:"+navigator.appVersion+"</p>"; txt+="<p>启用Cookies:"+navigator.cookieEnabled+"</p>"; txt+="<p>硬件平台:"+navigator.platform+"</p>"; txt+="

  • Python sklearn中的.fit与.predict的用法说明

    我就废话不多说了,大家还是直接看代码吧~clf=KMeans(n_clusters=5)#创建分类器对象 fit_clf=clf.fit(X)#用训练器数据拟合分类器模型 clf.predict(X)#也可以给新数据数据对其预测 print(clf.cluster_centers_)#输出5个类的聚类中心 y_pred=clf.fit_predict(X)#用训练器数据X拟合分类器模型并对训练器数据X进行预测 print(y_pred)#输出预测结果复制补充知识:sklearn中调用某个机器学习模型model.predict(x)和model.predict_proba(x)的区别model.predict_proba(x)不同于model.predict(),它返回的预测值为获得所有结果的概率。(有多少个分类结果,每行就有多少个概率,对每个结果都有一个概率值,如0、1两分类就有两个概率)我们直接上代码,通过具体例子来进一步讲解:python3代码实现:#-*-coding:utf-8-*- """ CreatedonSatJul2721:25:39

  • 双网口工业路由器 网络传输层的“常青树”

    物联网技术带动了整个生态行业的发展,万物互联的时代引领着新世界到来,对于网络传输层来说无疑是整个物联网的核心枢纽,它完成了数据的连通,信息交互,是万物互联的中枢神经。而作为网络层的通讯设备也如雨后春笋,逐渐走向市场,计讯物联成功推出的“双网口工业路由器”被誉为传输层的“常青树”,为物联网的传输层带来举足轻重的作用。一、什么是双网口工业路由器  TR321-A4G路由器是一款七模全网通小体积工业路由器(又名物联网工业网关),设计完全满足工业级标准和工业用户的需求,采用高性能的工业级32位通信处理器,软件多级检测和硬件多重保护机制来提高设备稳定性。  TR321双网口工业路由器可帮助用户快速接入高速互联网,实现安全可靠的数据传输,广泛应用于交通、电力、金融、水利、气象、环保、工业自动化,能源矿产、医疗、农业、林业、石油、建筑、智能交通、智能家居等物联网应用。二、双网口工业路由器特点  小体积、低功耗,多种供电模式,采用多级休眠和唤醒模式,功耗远低业界同类产品。  高速入网传输,WAN口可自定义成LAN口,通信稳定可靠,多重技术保障“永远在线”。  专有阻抗匹配电路设计、高增益天线,更高信号

  • python基础教程:错误处理和异常处理

    在前面介绍Python语法的过程中,我们已经接触到了解释器给的错误和异常,但并没有详细讲解它们。现在我们就全面的来学习Python是对语法错误等错误进行定义和处理的,这包括至少有两种可以区分的错误,它们是语法错误和异常。语法错误Python的语法错误就是不符合Python语法的错误,又称为解析错误。这种错误是初学Python对语法不是很熟悉时经常犯的。比如下面的例子:In[1]:if2==3print('imposible') File"<ipython-input-1-15af39b28602>",line1 if2==3print('imposible') ^ SyntaxError:invalidsyntax复制解释器在解释上面的代码时,就会发现表达式2==3后面少了一个冒号:,这时它就会报出一个错误SyntaxError:invalidsyntax,并且输出出现语法错误的那一行,并显示一个“箭头”,指向这行里面检测到第一个错误。错误是由箭头指示的位置上面的token引起的(或者至少是在这里被检测出的)。文件

  • fast.ai推出全新的7周实用深度学习课程

    AiTechYun编辑:chuxfast.ai推出了2018年版的7周深度学习入门课程,分为两部分。深度学习入门课程第1部分,为编码人员提供实用的深度学习入门课程,由JeremyHoward(Enlitic创始人)授课。深度学习入门课程不需要研究生水平的数学基础,就可以建立最先进的模型,同时也不会出现其他问题,而且此深度学习入门课程完全免费。另外,还有一个由数以千计的其他学习者组成的社区,随时可以为你提供帮助,如果你需要任何帮助,或者只是想与其他深度学习学习者聊天,只需转到forums.fast.ai。2018版本在更多领域教授更快更准确的模型。这门为期7周的课程适用于至少有一年编码经验以及有一些高中数学的知识的人。你将从第一步开始,学习如何让GPU服务器可用于在线深度学习,并一路走向创造最先进的,高度实用的计算机视觉模型,自然语言处理和推荐系统。此课程总共大约有20个小时,你可以计划每周花费大约10个小时,用7周的时间来完成材料,该课程是基于USF数据研究所的第一个证书课程所记录的课程。课程目录具体如下:识别猫与狗改进你的图像分类器理解卷积结构化,时间序列和语言模型在循环训练中协同过

  • 看完让你彻底理解 WebSocket 原理,附完整的实战代码(包含前端和后端)

    1、前言最近有同学问我有没有做过在线咨询功能。同时,公司也刚好让我接手一个IM项目。所以今天抽时间记录一下最近学习的内容。本文主要剖析了WebSocket的原理,以及附上一个完整的聊天室实战Demo(包含前端和后端,代码下载链接在文末)。2、WebSocket与HTTPWebSocket协议在2008年诞生,2011年成为国际标准。现在所有浏览器都已经支持了。WebSocket的最大特点就是,服务器可以主动向客户端推送信息,客户端也可以主动向服务器发送信息,是真正的双向平等对话。HTTP有1.1和1.0之说,也就是所谓的keep-alive,把多个HTTP请求合并为一个,但是Websocket其实是一个新协议,跟HTTP协议基本没有关系,只是为了兼容现有浏览器,所以在握手阶段使用了HTTP。下面一张图说明了HTTP与WebSocket的主要区别:undefinedWebSocket的其他特点:建立在TCP协议之上,服务器端的实现比较容易。与HTTP协议有着良好的兼容性。默认端口也是80和443,并且握手阶段采用HTTP协议,因此握手时不容易屏蔽,能通过各种HTTP代理服务器。数据格式比

  • 原 探索Intellij Idea 201

    此处指导,意与帮助与更有成效的使用IntellijIDEA,提供一个关于窍门、诀窍、快捷键等最重要的特性的总览。用户界面IntellijIDEA编辑器在一些方面是特殊的,值得注意的是,大多数情况下,你可以在不离开ide的情况下执行任何ide的特性。为了使你有更大的屏幕空间去组织布局,像工具栏和窗体这种辅助面板默认是被隐藏的。访问工具窗体是通过使快捷键获得输入焦点(使用快捷键),所以,你可以在上下文使用所有的键盘命令,当你需要退出窗体,操作ESC按键即可下面罗列了一些你可能常常使用到的快捷键:工具窗体快捷键ProjectAlt+1VersionControlAlt+9RunAlt+4DebugAlt+5TerminalAlt+F12EditorAltEscape4如果你只想关注代码,可以尝试使用自由娱乐模式,它移除了所有的窗体,工具栏和编辑标签。可以在ViewEnterDistractionFreeMode中切换。效果如下图一种替代自由娱乐模式的方式是按ctrl+shift+f12同样可以隐藏所有的工具窗体。你可以再次按下这个快捷键来复原所有布局。导航栏是一种紧凑的替代项目工具窗体的方式

  • 【前沿】人工智能系统的四大趋势与九大挑战,美国Berkeley14位重量级学者(包含机器学习泰斗Jordan)最新观点

    【导读】最近,加州大学伯克利分校大学的大牛们针对目前AI的火爆形势,又总结了一篇《ABerkeleyViewofSystemsChallengesforAI》,从系统研究的角度考虑支持AI的若干有意义的研究课题,可预计的它的影响力也不会低。当然在伯克利谈论AI,肯定少不了MichaelI.Jordan。这篇报告作者之一就是Jordan。伯克利的视角,9大AI系统的挑战,你准备挑战哪个?MichaelI.Jordan简介:LDA作者,机器学习泰斗,美国科学院/工程院/艺术科学院三院院士,ACM/AAAIFellow,认知科学最高奖RumelhartPrize得主,美国人工智能协会的艾伦奖得主,2016年入选最有影响力的计算机科学家。论文:ABerkeleyViewofSystemsChallengesforAI论文链接:https://www2.eecs.berkeley.edu/Pubs/TechRpts/2017/EECS-2017-159.pdf▌文章重点四大趋势:关键性任务的人工智能(Mission-criticalAI)突破生命的极限适应危险的,噪声的,复杂的环境的实时、稳定、

  • 如何彻底卸载sql2019_win10无法卸载软件

    大家好,又见面了,我是你们的朋友全栈君 首先我是因为SQLServer2019突然出现了一些问题然后重新安装了,简直被这个软件整的没脾气,希望我写的这个能帮助曾经和我一样被SQLServer卸载折磨得要疯的人。我是总结了很多前辈写的,然后重新安装SQLServer成功了,希望对你们有帮助。删除SQLServer2019包括sqlserver这个数据库和它的管理工具SQLServerManagementStudio以及他们的注册表信息和安装的目录,以上,最重要的是一定要有耐心,一步一步慢慢来。1.首先打开一定要把SQL的服务都关掉,这个很重要。搜索框搜索服务打开并找到SQL有关服务并关闭(鼠标右键停止服务),有关你之后删除microsoftsqlserver的安装目录是否成功,如果删除不成功就是服务没关掉2.然后打开控制面板,然后找到应用和程序,卸载程序。先把SQLServer2019按照他的提示删除4.点进来是这个样子的,其实你还可以尝试点击修复,修复一下SQLServer2019的,因为当初安装的时候成功的话,你可能不小心动到了他什么功能或者删除了一些插件,在卸载前你可以试一试修复它

  • 传统行业转型微服务的挖坑与填坑

    一、微服务落地是一个复杂问题,牵扯到IT架构,应用架构,组织架构多个方面 在多家传统行业的企业走访和落地了微服务之后,发现落地微服务是一个非常复杂的问题,甚至都不完全是技术问题。 当时想微服务既然是改造应用,做微服务治理,类似注册,发现,熔断,限流,降级等,当然应该从应用开发组切入,一般一开始聊的会比较开心,从单体架构,到SOA,再到微服务架构,从Dubbo聊到SpringCloud,但是必然会涉及到微服务的发布和运维问题,涉及到DevOps和容器层,这些都不在开发组的控制范围内,一旦拉进运维组,对于容器的接受程度就成了一个问题,和传统物理机,虚拟机的差别,会带来什么风险等等等等,尤其是容器绝对不是轻量级的虚拟化这件事情,就不是一时半会儿能说的明白的。更何况就算说明白了,还有线上应用容器,一旦出了事情,谁背锅的问题,容器往往会导致应用层和基础设施层界限模糊,这使得背锅双方都会犹豫不决。   有的企业的微服务化是运维部门发起的,运维部门已经意识到了各种各样不统一的应用给运维带来的苦,也乐意接受容器的运维模式,这就涉及到容器直接的服务发现是否应该运维在容器层搞定,还是应用应

  • 应用程序出现挂死,.NET Runtime at IP 791F7E06 (79140000) with exit code 80131506.

    工具出现挂死问题 1.问题描述 工具出现挂死问题,巡检IIS发现以下异常日志 现网系统日志: 事件类型:   错误 事件来源:   .NETRuntime 描述: Application:DiyRingSet30Tool.exe FrameworkVersion:v4.0.30319 Description:Theprocesswasterminatedduetoaninternalerrorinthe.NETRuntimeatIP791F7E06(79140000)withexitcode80131506.  说明:此日志可以通过“开始”-“所有程序”-“管理工具”-“事件查看器”-“应用程序”,观察类型为错误或者警告的日志,一般出现错误日志都是应用程序错误导致的,请引起重视 2.修复方法 在工具的配置文件中新增以下红色的配置节点内容 <configuration> <runtime>       <gcConcurrente

  • 数据库设计原则(转载)

    数据库设计原则(转载)可以是一对一、一对多、多对多的关系。在一般情况下,它们是一对一的关系:即一张原始单据对应且只对应一个实体。 在特殊情况下,它们可能是一对多或多对一的关系,即一张原始单证对应多个实体,或多张原始单证对应一个实体。 这里的实体可以理解为基本表。明确这种对应关系后,对我们设计录入界面大有好处。   〖例1〗:一份员工履历资料,在人力资源信息系统中,就对应三个基本表:员工基本情况表、社会关系表、工作简历表。        这就是“一张原始单证对应多个实体”的典型例子。 2.主键与外键   一般而言,一个实体不能既无主键又无外键。在E—R图中,处于叶子部位的实体,可以定义主键,也可以不定义主键   (因为它无子孙),但必须要有外键(因为它有父亲)。   主键与外键的设计,在全局数据库的设计中,占有重要地位。当全局数据库的设计完成以后,有个美国数据库设计专   家说:“键,到处都是键,除了键之外,什么也没有”,这就是他的数据库设计经验之谈,也反映了他对信息系统核   

  • 如何提高自己的薪水

    程序员薪水有高有低,有的人一个月可能拿30K、50K,有的人可能只有2K、3K。同样有五年工作经验的程序员,可能一个人每月拿20K,一个拿5K。是什么因素导致了这种差异?我特意总结了容易导致薪水低的九大行为表现,避开这些大坑,你就离高薪不远了。   习惯即刻回报 他不懂得只有春天播种,秋天才会有收获。刚刚付出一点点,甚至还没有付出,就想要得到回报。技术刚刚掌握,能一边百度一边干活了就觉得该拿到多少多少钱了。找工作先想着多少多少钱,入职了没干几个月就想着要加多少多少钱,干了没几个月,薪水要是没涨,就放弃了,准备通过跳槽加薪,不跳槽的话,往往也会因为没加薪而牢骚满腹,工作敷衍了事。 一个程序员的价值,是通过他带给公司的价值体现的。先给公司带来了价值,然后才会反过来在薪水上体现出自己的价值。公司都很现实,很少会为你的潜力买单,在你还没有体现出价值时就给你很高的薪水。 在生活和工作中,一定要懂得付出,不要那么急功近利,马上想得到回报。天下没有白吃的午餐,你想获得什么,就得先付出什么。唯有种下种子,然后浇水、施肥、除草、杀虫,然后才能等来收获。 缺乏学习热情 很少有哪个岗位的人像程序员

  • UI自动化selenium之定位方式

    1fromseleniumimportwebdriver 2importtime 3driver=webdriver.Chrome() 4driver.get('http://ui.imdsx.cn/uitester/') 5time.sleep(1) 6driver.execute_script('window.scrollTo(0,0);') 7time.sleep(1) 8#18种定位方式 9#8种单数形式 10#driver.find_element_by_id('i1').send_keys('123321')#id方式 11#driver.find_element_by_class_name('classname').send_keys('111222')#class方式 12#driver.find_element_by_name('name').send_keys('111222333')#name属性定位 13#driver.find_element_by_tag_name('input').send_keys('哈哈哈')#标签名,默认第一个 14#driver.f

  • Ubuntu 16.04 设置MySQL远程访问权限

    第一步:修改配置文件的端口绑定 打开的目录可能会根据MySQL的版本稍有不同,可以先尝试打开/etc/mysql/my.cnf这个配置文件,若该文件不存在或文件内容为空,则尝试下面的文件路径。 sudovi/etc/mysql/mysql.conf.d/mysqld.cnf 在下面行的开头加上#,注释掉该行,然后保存退出vim: bind-address=127.0.0.1 第二步:修改访问权限 进入mysql,输入如下命令,输入密码,进入mysql命令行 mysql-uroot-p 授权root用户访问权限,并刷新权限,此处的root可用其它MySQL用户替换,pwd部分需替换为该用户对应的密码 grantallprivilegeson*.*toroot@"%"identifiedby"pwd"withgrantoption; flushprivileges; exit; 第三步:重启mysql服务 servicemysqlrestart 备注:本文使用的文本编辑器为vim,若使用图形化界面可用其它编辑器编辑。

  • 编程语言的类型系统

    每学一门新的编程语言时,在看到介绍该门编程语言的特点时,经常会遇到 静态、动态、强、弱 、隐式、显式 类型等字样,似懂非懂,这里结合网上的资料总结一下它们的含义以及区别,描述不一定专业、准确,但求能进一步理解这些词的概念即可。 类型系统(TypeSystem)用于定义如何将编程语言中的数值和表达式归类为许多不同的类型,如何操作这些类型,这些类型如何互相作用。根据这些种种不同,可以将编程语言分为以下类别: 静态类型编程语言vs动态类型编程语言 在静态类型语言,每个变量名字都绑定到: 一个类型,编译时通过变量的定义来绑定 一个对象,这是可选的,如果变量名没绑定到一个对象,那么名字指向 null 例如下面是Java中定义字符串类型变量: Stringstr1;//referencetonull Stringstr2="Helloworld"; 复制 定义了两个变量str1、str2,它们的类型均是 String 类型,而str1并没有指向特定的对象,但str2指向了一个"Helloworld"的字符串对象。 注意的是,静态类型的

  • 训练16

    3991:ElectoralRollsRevision 题意:对n对数排序,从小到大输出 #include<bits/stdc++.h> usingnamespacestd; inlineintread() { intx=0; charc=getchar(); boolflag=0; while(c<'0'||c>'9'){if(c=='-')flag=1;c=getchar();} while(c>='0'&&c<='9'){x=(x<<3)+(x<<1)+c-'0';c=getchar();} returnflag?-x:x; } priority_queue<int,vector<int>,greater<int>>q; intmain() { intt; scanf("%d",&t); while(t--) { intn; scanf("%d",&n); for(inti=1;i<=n;i++) { intx=read(); q.push(x)

  • Buffer ByteBuffer 缓冲区

    http://blog.sina.com.cn/s/blog_4150f50c0100gfa3.html

  • python 恺撒密码

      sr1="abcdefghijklmnopqrstuvwxyz" sr2=sr1.upper()#将小写字母转换成大写字母 sr=sr1+sr1[0:3]+sr2+sr2[0:3]#sr1+sr1[0:3]表示到最后一位时与开头字符相接 in_str=input("")#获取用户输入 out_str=""#自定义输出的字符串为空变量 forjinin_str:#遍历用户输入的值 i=sr.find(j)#检索的字符串的下标序列 if(i>-1):#如果字符串下标序列大于1 out_str=out_str+sr[i+3]#循环输出下标加3的字符 else: print(j) print(out_str) 复制   

  • 样式开发规范

    日常开发中在处理样式时大概有以下六种场景,推荐的开发方式是 原子样式+style作基本开发 需要特殊定义的,如:hover、:before等在<stylelang="scss"scoped>中定义 注意 页面或组件style标签下开发样式,必须加scoped!!! 除了原子样式和SCSS变量,不推荐自己定义通用样式 内嵌样式scoped 样式穿透 在scoped下有时需要覆盖修改第三方组件的样式,这是需要使用“样式穿透” Css .a>>>.b{ /*...*/ }复制 Scss(或less、sass) 有两种写法,推荐第一种 ::v-deep.a{✅ /*...*/ } /deep/.a{ /*...*/ }复制 内嵌样式无scoped?️ 禁止!!! 功能模块目录下的样式文件 最外面加class包裹全部样式 最外层class要求意义明确、易区分,如审批功能的approval-wrapper Style目录下的样式文件 如果用于功能模块,要求相同 如果是通用样式,注意样式冲突 原则上不推荐自定义通用样式 直接使用style=""

相关推荐

推荐阅读