مدل سازي خبره داده ها با Power BI

این کتاب، توسط یکی از خبره‌ترین متخصصان تحلیل داده مایکروسافت، یعنی مهندس سهیل بخشی نگاشته شده است که سال‌ها هم در بخش‌های توسعه‌ای مایکروسافت مشغول به کار است، هم در صنعت، به کار تحلیل داده‌ها می‌پردازد. کتاب به‌صورت سناریو محور، ابتدا در 5 فصل نخست، به معرفی اصول و زیربناهای مهم مدل‌سازی می‌پردازد و سپس کار عملیاتی مدل‌سازی را طی 10 فصل، با پرداختن به جزئیات، و تغییر خواسته‌های کسب‌وکار درخواست‌دهنده تحلیل داده‌ها، راهی برای نفهمیدن موضوع باقی نمی‌گذارد. اگر با مطالعه کتاب مقدمه‌ای بر سلف‌سرویس Power BI مترجم، با محیط Power BI آشنا هستید و مفهوم روابط را در دیتابیس‌ها می‌دانید، این کتاب برای شماست.

پیش‌گفتار 1
این کتاب برای چه افرادی است 2
پوشش مطالب کتاب 2
کسب بهترین بازده از این کتاب 5
دانلود فایل‌های کد مثال‌ها 9
دانلود تصاویر رنگی کتاب 9
بخش 1؛ مدل‌سازی داده‌ها در POWER BI 11
فصل 1؛ مقدمه‌ای بر مدل‌سازی داده‌ها در P.BI 13
شناخت لایه‌های Power BI 14
لایه آماده‌سازی داده‌ها (Power Query) 15
لایه مدل‌سازی داده‌ها 16
نمای Data 16
نمای Model 17
لایه جلوه‌بندی داده‌ها 18
نمای Report 18
نحوه گردش داده‌ها در P.BI 19
مدل‌سازی داده‌ها در P.BI به چه معناست 21
مدل معنایی 22
ساخت یک مدل داده کارآمد در P.BI 23
طرح ستاره‌ای (مدل‌سازی ابعادی) و برف‌ریزان 25
مدل‌سازی تراکنشی نسبت به مدل‌سازی طرح ستاره‌ای 25
برف‌ریزان (Snowflaking) 27
آشنایی با غیرنرمالیزه کردن (denormalization) 28
ملاحظات لایسنسی P.BI 35
بیشترین حجم یک دیتاست شخصی 35
لودکردن تدریجی داده‌ها (Incremental data load) 36
جدول‌های هیبریدی 36
گروه‌های محاسباتی (Calculation groups) 37
دیتاست‌های اشتراکی (Shared datasets) 38
Dataflows P.BI 38
P.BI Datamarts 38
جنبه تکراری مدل‌سازی داده‌ها 39
هدایت کارگاه‌های آموزشی کشف 40
آمایش داده‌ها برپایه منطق کسب‌وکار 40
مدل‌سازی داده‌ها 40
آزمایش منطق 41
مصورسازی منطق تجاری در جلوه‌بندی پایه داده‌ها 41
مانند یک مدل‌ساز حرفه‌ای داده‌ها بیاندیشید 41
خلاصه 42
فصل 2؛ عبارت‌های تحلیل داده و مدل‌سازی داده 43
شناخت جدول‌های مجازی (Virtual Tables) 43
ایجاد جدول‌های محاسباتی 44
نمایش ویژه‌ای از نتایج جداول مجازی 49
ایجاد جداول محاسباتی در P.BI Desktop 50
استفاده از DAX Studio 51
آشنایی با ارتباطات درون جدول مجازی 52
هوش زمانی و مدل‌سازی داده 63
یافتن تاریخ‌های معتبر در بعد تاریخ 63
محاسبات دوره-به-دوره 72
پیاده‌سازی انتخاب پویای مقیاس با Fields Parameters 80
تولید بُعد Date با DAX 83
نشانه‌گذاری یک جدول Date به‌عنوان یک جدول تاریخی 87
ایجاد یک بُعد زمانی با DAX 91
خلاصه 94
بخش 2؛ آماده‌سازی و تدارک داده‌ها در QUERY EDITOR 95
فصل 3؛ تدارک داده‌ها در POWER QUERY EDITOR 97
مقدمه‌ای بر زبان فرمول Power Query M در P.BI 98
پاورکوئری، به بزرگی حروف حساس است 98
کوئری‌ها 99
عبارت‌ها (Expressions) 100
مقادیر (Values) 100
Primitive values (مقادیر اولیه) 101
Structured values (مقادیر ساختاری) 101
انواع (Type) 106
انواع اولیه (primitive type) 106
انواع سفارشی (custom types) 107
مقدمه‌ای بر Power Query Editor 107
ناحیه Queries 109
Tables 109
توابع سفارشی 109
پارامترهای کوئری 109
مقادیر ثابت 109
گروه‌ها 109
ناحیه Query Settings 110
Query Properties 111
Applied Steps 113
ناحیه Data View 114
Status Bar (نوار وضعیت) 117
Advanced Editor 117
مقدمه‌ای بر ویژگی‌های Power Query برای مدل‌سازان داده 118
Column quality 119
Column distribution 123
Column profile 125
آشنایی با پارامترهای کوئری 126
آشنایی با توابع سفارشی 132
توابع بازگشتی (Recursive functions) 138
خلاصه 140
فصل 4؛ جمع‌آوری داده‌ها از منابع گوناگون 141
جمع‌آوری داده از منابع داده مرسوم 141
پوشه‌ها (folders) 142
CSV/TEXT/TSV 147
Excel 154
فایل اکسل ذخیره شده در درایو محلی 155
فایل اکسل ذخیره شده در SharePoint Online 161
روش 1: گرفتن مسیر فایل اکسل از برنامه دسکتاپ Excel 161
روش 2: گرفتن مستقیم مسیر فایل اکسل از SharePoint 164
دیتاست‌های P.BI 166
Dataflows Power BI 173
Power Bi Datamarts 175
SQL Server 177
سرویس‌های تحلیلی SQL Server و Azure (SSAS و AAS) 179
SSAS چندبعدی/جدولی 180
AAS 181
Odata feed 183
Dataverse 185
آشنایی با گواهی‌نامه منبع داده 187
برنزی 187
نقره‌ای 188
طلایی/پلاتینیم 188
کار با حالت‌های اتصال 188
Data Import 189
اپلیکیشن‌ها 189
محدودیت‌ها 189
DirectQuery 190
اپلیکیشن‌ها 190
محدودیت‌ها 190
Connect Live 191
اپلیکیشن‌ها 191
محدودیت‌ها 191
کار با حالت‌های ذخیره‌سازی 192
آشنایی با حالت‌های ذخیره‌سازی دیتاست 193
خلاصه 194
فصل 5؛ گام‌های مرسوم آمایش داده‌ها 195
تغییر data type 197
تفکیک یک ستون با حائل 206
ادغام ستون‌ها (Merging Columns) 209
افزودن یک ستون سفارشی 211
افزودن یک ستون از روی نمونه‌ها 214
تکرار یک ستون 216
فیلتربندی ردیف‌ها 219
کار با Group By 223
پیوست کردن کوئری‌ها (Appending queries) 226
ادغام کوئری‌ها (Merging queries) 230
تکرار کردن و ارجاع دادن کوئری‌ها 234
جایگزینی مقادیر 235
استخراج اعداد از متن 238
کار با Date، DateTime، و DateTimeZone 241
محوری کردن جدول‌ها (Pivoting tables) 245
خلاصه 252
فصل 6؛ آمایش طرح‌واره ستاره‌ای در P.Q EDITOR 251
شناسایی ابعاد و فکت‌ها 251
آشنایی با خواسته‌های کسب‌وکار 252
تعداد جدول‌ها در منبع داده 253
پیوند میان جدول‌های موجود 253
یافتن پایین‌ترین رده لازم برای Date و Time 254
تعریف ابعاد و فکت‌ها 256
تعیین ابعاد بالقوه 257
تعیین فکت‌های بالقوه 258
ایجاد جداول ابعاد 260
جغرافیا 261
سفارش‌های فروش 264
محصول 267
واحد پولی (Currency) 270
مشتری 270
Sales Demographic 273
بعد Date 275
بعد Time 278
ایجاد ابعاد Date و Time، پاورکوئری نسبت به DAX 280
ایجاد جدول‌های فکت 281
خلاصه 290
فصل 7؛ بهترین تمرین‌های مرسوم آمایش داده‌ها 291
رسیدگی به لود شدن بخشی از داده‌ها 292
درک حساسیت به بزرگی و کوچکی حروف در P.Q 296
به‌هوش بودن کوئری فولدینگ و فشار آن به تازه‌سازی داده‌ها 296
شناخت کوئری فولدینگ (query folding) 297
حالت‌های ذخیره‌سازی DirectQuery و Dual و کوئری فولدینگ 297
منابع داده و کوئری فولدینگ 298
نشانه‌هایی برای کوئری فولدینگ 298
بهترین تمرین‌های کوئری فولدینگ 299
استفاده از گزاره‌های SQL 300
فعال‌سازی تا شدن برای کوئری‌های محلی 302
هل دادن آمایش داده در سیستم منبع در صورت ممکن 305
غیرفعالی View Native Query الزاما به معنی تا نشدن یک گام دگرگون‌سازی نیست 305
سازماندهی کوئری‌ها در P.Q Editor 308
پیروی از بهترین روش تبدیل نوع داده 309
تأثیر تبدیل نوع داده روی مدل‌سازی داده‌ها 309
پرهیز از داشتن ستون‌هایی با هر نوع داده 317
درج تبدیل نوع داده در گام تاحد امکان 318
درنظر گرفتن تنها یک گام تبدیل نوع داده 319
بهینه‌سازی اندازه کوئری 320
حذف ستون‌ها و ردیف‌های غیر ضروری 320
خلاصه‌سازی (Group by) 321
غیرفعال کردن لود شدن کوئری 322
استفاده از پارامترهای کوئری 322
پارامتری کردن اتصال‌ها 322
محدودسازی شمار ردیف‌ها در توسعه جدول‌های بزرگ 323
تعریف ستون‌های کلیدی در کوئری‌ها 326
استفاده از قراردادهای نام‌گذاری 327
خلاصه 328
بخش 3؛ مدل‌سازی داده‌ها 329
فصل 8؛ اجزای مدل‌سازی داده 331
مدل‌سازی داده در P.BI.D 331
شناخت جدول‌ها 331
مشخصه‌های جدول 332
جدول‌های شاخص (Featured tables) 335
جدول‌های محاسباتی 336
شناخت فیلدها 341
نوع داده‌ها 341
فرمت‌بندی سفارشی 344
ستون‌ها 347
ستون‌های محاسباتی 347
گروه‌بندی و بسته‌بندی (binning) ستون‌ها 348
مشخصه‌های ستون 352
سلسله‌مراتب‌ها 355
مقیاس‌ها (Measures) 356
مقیاس‌های تلویحی 357
مقیاس‌های صریح (Explicit measures) 360
مقیاس‌های متنی 360
استفاده از ارتباطات 362
کلیدهای اصلی و کلیدهای خارجی 363
رسیدگی به کلیدهای مرکب (composite keys) 363
کاردینالیتی‌های رابطه 368
رابطه‌های یک-به-یک 368
رابطه‌های یک به چند 369
رابطه‌های چند به چند 369
رفتار ترویجی فیلتر 371
روابط دوطرفه 373
خلاصه 376
فصل 9؛ بهترین‌ روش‌های مرسوم مدل‌سازی داده‌ و طرح‌واره ستاره‌ای 377
کار با رابطه‌های چند به چند 377
رابطه‌های چند به چند با استفاده از یک جدول پل 381
پنهان‌سازی جدول پل 387
پرهیز از روابط دوطرفه 388
کار با روابط سست (inactive) 390
قابلیت رسیدن از طریق مسیرهای چند فیلتری 391
چند رابطه مستقیم میان دو جدول 392
استفاده از جدول‌های پیکربندی 395
قطعه‌بندی 396
کدبندی رنگی پویا با مقیاس‌ها 398
پرهیز از ستون‌های محاسباتی تا حد امکان 404
سازماندهی مدل 407
پنهان‌سازی اشیاء بی معنای مدل 407
پنهان‌سازی فیلدها و جدول‌های غیرکاربردی 407
پنهان‌سازی ستون‌های کلیدی 409
پنهان‌سازی مقیاس‌های تلویحی 409
پنهان‌سازی ستون‌های به‌کار رفته در سلسله‌مراتب‌ها در صورت امکان 410
ایجاد جدول‌های مقیاس 410
استفاده از پوشه‌ها 413
ایجاد یک پوشه در چند جدول در یک اقدام 414
درج یک مقیاس در جدول‌های مختلف 415
ایجاد زیرپوشه‌ها 416
کاهش اندازه مدل با محو کردن خودکار تاریخ/زمان 417
خلاصه 420
بخش 4؛ مدل‌سازی پیشرفته داده‌ها 421
فصل 10؛ تکنیک‌های مدل‌سازی پیشرفته داده‌ها 423
استفاده از تجمیع‌ها 423
پیاده‌سازی تجمیع‌ها برای منابع داده غیر-دایرکت‌کوئری 425
پیاده‌سازی تجمیع در سطح تاریخ 425
خلاصه‌سازی جدول Internet Sales 425
ایجاد رابطه‌ها 427
ایجاد مقیاس‌های جدید در جدول خلاصه 427
ایجاد مقیاس‌های کنترلی در جدول پایه 428
پنهان‌سازی جدول خلاصه 429
پیاده‌سازی تجمیع در سطح سال و ماه 431
استفاده از Agg Awareness 436
ایجاد یک جدول تجمیع 439
لودکردن جدول‌ها در حالت DirectQuery 441
ایجاد ارتباط‌ها 442
تنظیم جدول تجمیع و حالت ذخیره‌سازی ابعاد مربوطه آن 443
مدیریت تجمیع 445
آزمایش تجمیع 448
Performance Analyzer 448
DAX Studio 452
SQL Server Profiler 454
پیاده‌سازی چند تجمیع 457
نکات مهمی درباره تجمیع‌ها 460
جدول‌های هیبرید و تازه‌سازی تدریجی 461
پیکربندی سیاست تازه‌سازی تدریجی و جدول هیبرید در P.BI.D 463
آزمایش تازه‌سازی تدریجی 469
نکات مهم درباره تازه‌سازی تدریجی و جدول‌های هیبریدی 473
سلسله‌مراتب‌های Parent-Child (والد-فرزند) 474
پیاده‌سازی عمق سلسله 476
ایجاد سطوح سلسله 478
پیاده‌سازی نقشآفرینی ابعاد 482
استفاده از گروه‌های محاسباتی 485
ملزومات 486
واژگان 486
پیاده‌سازی گروه‌های محاسباتی برای رسیدگی به هوش زمانی 487
آزمایش گروه‌های محاسباتی 493
رفع مشکل فرمت‌بندی رشته 494
توابع DAX برای گروه‌های محاسباتی 496
خلاصه 497
فصل 11؛ امنیت سطح ردیف و سطح شئ 499
معنای RLS و OLS در مدل‌سازی داده 500
واژگان 500
نقش‌ها (Roles) 500
قوانین (Rules) 501
ویرایشگر ارتقاء یافته امنیتی سطح-ردیف 502
معتبر ساختن نقش‌ها 503
تخصیص اعضاء به نقش‌ها در P.BI Service 504
تخصیص اعضاء به نقش‌ها در P.BI Report Server 505
جریان پیاده‌سازی RLS 507
روش‌های مرسوم پیاده‌سازی RLS 507
پیاده‌سازی RLS ایستا 508
پیاده‌سازی RLS پویا 514
جلوگیری از دسترسی کاربران مجاز به داده‌ها 514
دسترسی مدیران به داده‌های اعضای تیم خود در سلسله‌های والد-فرزندی 517
گرفتن داده‌های ورود کاربران از منبع دیگر 522
مقدمه‌ای بر OLS 527
جریان پیاده‌سازی OLS 528
پیاده‌سازی OLS 528
اعتباردهی نقش‌ها 531
تخصیص اعضاء و اعتباردهی نقش‌ها در P.BI Services 532
پیاده‌سازی RLS و OLS در یک مدل واحد 533
ملاحظاتی در استفاده از RLS و OLS 536
خلاصه 538
فصل 12؛ کار با مفاهیم پیشرفته‌تر انبار داده در P.BI 539
کار با SCDها 539
SCD نوع صفر (SCD 0) 541
SCD نوع یک (SCD 1) 541
SCD نوع دو (SCD 2) 551
کار با ابعاد غیر مولد 556
فصل 13؛ مقدمه‌ای بر DATAFLOWS 559
مقدمه‌ای بر Dataflows 559
سناریوهایی برای استفاده از Dataflows 561
واژگان Dataflow 562
ایجاد Dataflows 562
ایجاد نهادهای جدید 564
ایجاد جدول‌های پیوندی از سایر دیتافلوها 569
ایجاد نهادهای محاسبه‌ای 571
پیکربندی تازه‌سازی تدریجی داده‌ها در Dataflows 573
درون‌ریزی/برون‌ریزی دیتافلوها 575
برون‌ریزی دیتافلوها (Export Dataflows) 575
درون‌ریزی دیتافلوها (Import Dataflows) 576
تجربه بدون-کد/کم-کد 577
طرح‌های کوئری در Dataflows 579
خلاصه 580
فصل ؛ اتصال‌های DIRECTQUERY به دیتاست‌های P.BI و ANALYSIS SERVICES در مدل‌های مرکب 581
مقدمه‌ای بر مدل‌های مرکب 581
فعال‌سازی DirectQuery برای اتصال‌های زنده 582
مجاز شمردن اتصال‌های DirectQuery در دیتاست‌های P.BI در سرویس P.BI 583
واژگان جدید 584
Chaining (زنجیری) 584
Chain length (طول زنجیره) 584
RLS در مدل‌های مرکب با دایرکت‌کوئری در دیتاست‌های P.BI 590
تنظیم مجوز‌های دیتاست برای مشارکت‌کنندگان (گزارش‌نویسان) 595
خلاصه 596
فصل 15؛ گزینه‌ها، فیچرها، و توابع DAX جدید 597
پارامترهای Field 597
مقدمه‌ای بر P.BI Datamarts 602
دیتامارت چیست؟ 602
P.BI Datamarts چیست؟ 603
ابهام‌زدایی از شناخت نادرست از P.BI Datamart 604
Datamart Editor 605
ایجاد یک P.BI Datamart ساده 606
لود کردن داده‌ها در Datamart 607
ساخت مدل داده در دیتامارت 610
ایجاد و مدیریت رابطه‌ها 610
گزینه رابطه: Assume referential integrity 611
تحلیل دیتامارت‌ها در Datamart Editor 611
تجربه بدون-کد با Visual query 612
گرفتن کوئری محلی زیرین 617
مشاهده طرح کوئری 617
آزمایش SQL query 618
تحلیل دیتامارت‌ها در ابزارهای کلاینتی SQL 619
RLS در دیتامارت‌ها 621
توابع جدید DAX 625
تابع NETWORKDAYS() 625
تابع EVALUATEANDLOG() 627
توابع Window 631
PARTITIONBY() 632
ORDERBY() 633
INDEX() 633
OFFSET() 640
WINDOW() 642
خلاصه 646

تصحیحات

مخاطبین

علاقه مندان به مدلسازی و تحلیل داده ها

نیازمندی ها

مقدمه ای بر سلف سرویس Power BI