自2023年10月启动以来课程的主要更新—-与存储浏览器和Azure数据厂UI变更有关的最新更新。
Azure 活动目录改名为 Microsoft Entra ID 和 Daude 设置, 更改为 Devops 组织 2023年1月 – 更新到 第 3 节(环境设置) 以反映对用户界面的修改 。
2022年11月 – 增加第15和16节,着重持续融合和连续提供(CI/CD)欢迎!
我期待帮助你们学习云中一个需要的数据工程工具,
教授这一课程是为了利用Azure数据厂(ADF)实施数据工程解决方案,解决报道Covid-19趋势和预测这种病毒传播的真实世界性问题。
这和Udemy的Azure数据厂或数据工程技术大学没有别的课程。
完成包括所有任务在内的课程后,我坚信你将能够自己启动一个真实的世界数据工程项目,并精通Azure数据厂
我还列入了有关储存办法的经验教训,如Azure数据湖存储、Azure Blob储存、Asture SQL数据库等。 此外,还有关于Azuri 人类发展指数和Azre数据砖的教训。
我甚至包括了利用电力局建立关于Azure数据厂数据管道处理的数据的报告的经验教训,我认为机器学习模型已经超出了范围。
您可以使用这些数据构建自己的模型, 并预测其传播情况。
课程遵循现实世界项目执行的逻辑发展,同时解释了技术概念,并建造了Azure数据厂的数据管道。
即使这个课程不是专门设计来教你们通过Azure数据工程师助理证书考试DP203所需的技能,但能大大帮助你掌握大部分必要的技能。
考试要求。 我和我的一样重视你的时间。 因此,我设计了这个课程,要快速、切合点。 另外, 这个课程用简单的英语教学,没有词汇。
我从基础开始课程,到课程结束时你们将精通所使用的技术。
目前,该课程教授你们以下Azure数据厂 构建一个解决方案架构 用于利用Azture数据工程技术(如Azure数据厂、Azuri数据厂)等 Azure的数据工程技术来找到数据工程解决方案
热量湖2、Azure Blob储存库、Asure SQL数据库、Azaure Databricks、Azore HDHNSight和微软PowerBI。利用Azure数据厂将来自HTTP客户、Azire BloB存储和Azuri数据湖Gen2的数据整合在一起。
利用控制流活动,如Get Mental等,在Azure数据厂管道中进行分流和链路活动。如果条件、ForEach、删除、验证等等。
利用管道、数据集和链接服务中的参数和变量,在Azure数据厂(ADF)中创建由元数据驱动的管道,对数据管道进行调试并解决问题。
利用触发事件、排期触发和在Azure数据厂(ADF)的摇动窗口触发器等触发因素,为创建转换逻辑而建立绘图数据流,安排管道布局。
课程涵盖所有转换步骤,如源、过滤器、选择、枢纽、查找、条件分割、衍生列、综合、合并和汇变。
调试数据流、调查问题、解决故障等,实施Azure数据厂管道以援引和进行绘图数据流动。
创建民主同盟军管道,以开展人类发展倡议观察活动并进行数据转换; 建立民主同同盟管道,以执行数据砖笔记本活动,以进行转换。
监测数据管道、建立警报、报告Azure数据中的测量指标
工厂监测:利用Azure监测监测数据厂管道,并设置诊断环境,以便转送到Azture储存账户或测算分析工作空间。
创建对分析工作空间,根据Azure数据厂管道的日志分析制作工作手册和图表,以实施Aztur数据工厂分析分析监测工具以及如何扩大能力
进一步。
建立Azure储存库账户、创建容器、上传数据、访问控制(IAM),利用Azure储存探险器与存储帐户 ” 创造Azuri数据源湖2 ” 互动。
创建容器、上传数据、存取控制(IM),使用Azure存储探索器与存储账户互动
查询数据库。
创建光速指数值集的Azure HDSight & Databricks,与UI互动,使用安巴里,建立蜂窝表,援引Azur数据厂创造Azre数据砖工作空间的人类发展指数活动,创建
数据砖群集、挂载存储账户、创建数据砖笔记本、使用数据砖本笔记、援引Azure数据厂的数据砖笔記本进行转换。
制造Azure Devops环境并配置Azre Devos Git储存库CI/CD程序,向较高环境释放Aztur数据厂人工制品
向高环境发布代码的Azure Devops(测试/验证)配置/参数化CI/CD管道,释放进入Azure数据湖储存区的民主同盟军输油管。