Chinh (lelouvincx) lelouvincx

Note

• Fussy’s use case

  • Figure out all customers that have had a specific product category combination, what’s the distribution of each category looks like.

• Archive some articles

  • Text to SQL Evaluation Techniques: A Comprehensive Guide: https://www.snowflake.com/en/engineering-blog/cortex-analyst-text-to-sql-accuracy-bi/
  • SWE-Bench Verified: https://openai.com/index/introducing-swe-bench-verified/

• Done

  • DONE Prepare a document to align our understanding and communication, then ask a Huy to review

Note

• Anurag

  • Means love, affection in Sanskrit (India and South Asia).
  • In vietnamese, similar to Ái.

• Done

  • DONE Write a query to list all objects from a dashboard of Aurora

• DONE Change the connection on Holistics from serverless to Redshift cluster

  • Grant all privileges for user ‘holistics’.
  • Create a test table and load dump data into.
  • Tear down the EC2 instance -> recreate and setup the holistics connection -> ssh into the instance -> change user’s password -> apt update -> make sure can connect to redshift from the instance.
  • 

• DONE Establish the new reverse tunnel connection with Holistics

• Done

  • DONE Check to find all relevant items such as Shareable Link, Data Alerts,… of a user & the dashboard

Note

• Comfort Zone

  • Stretch - Reflex - Recharge.

• Done

  • DONE Setup the Holistics connection

• DONE Document the process (only important highlights) and update them afterwards

• DONE Conceptual Modeling

Note

• Triangle of Talent

  • https://www.shaanpuri.com/essays/triangle-of-talent

• Connecting Redshift

  • Hi Simon and Anurag,
  • Now we have the Redshift (serverless) access, we need to connect it to Holistics.
  • There are two ways for Holistics to connect:
    • 1. Direct connection (public endpoint + IP allowlist)
    • 2. Reverse SSH Tunnel (no public exposure)
  • The best practice here is using the reverse SSH tunnel. We have set up Redshift for some customers using this way. Some benefit:
    • No Exposing of Private Network.
    • Data Encryption in Transit.
  • Document: https://docs.holistics.io/docs/connect/connect-tunnel
  • Meanwhile, we’re analyzing the shared dump file as well as the product pricing info.
  • Happy to jump on a quick call to finish the setup.

• Done

  • DONE Communicate the problem space of adding the Redshift Serverless data source to Holistics

• DONE Try to synthesize the conceptual business model of Add2Cart (data modeling)

• Note

  • Grounded Theory

    • Không biết có trùng hợp không, hôm nay mình có đọc được câu chuyện trong thần thoại Hy Lạp về cuộc chiến giữa Hercules và Antaeus. Mình nguồn gốc sức mạnh đến từ đất của Antaeus có liên quan đến lý thuyết này.
    • 
    • Đều dùng từ “ground”.
    • Build trust/power từ fact/ground.
    • Nếu bị nhấc bổng lên/chân không chạm đất/ground thì mất hết sức mạnh.
    • Thay vì bắt đầu từ 1 giả thuyết (hypothesis) sẵn có, nhà nghiên cứu sẽ:
      • Thu thập dữ liệu -> những dữ liệu này sau khi làm sạch sẽ trở thành [[Fact|fact]].
      • Phân tích dữ liệu song song với việc thu thập, để tìm ra mẫu (pattern), chủ đề (topic), khái niệm (concept) lặp lại.
      • Xây dựng dần 1 lý thuyết mới.
        • Hay đối với [[Product Management|PM]], là xây dựng một job story mới.
    • Terms:
      • [[Fact|Fact]] (sự kiện): là điều quan sát được, tồn tại trong thực tế.
      • [[Truth|Truth]] (chân lý): là hiểu biết được đồng thuận, được xây dựng từ nhiều fact.
      • Theory/Hypothesis (lý thuyết): là mô hình khái quát để giải thích tại sao các fact liên quan tới nhau theo cách đó.
    • Grounded Theory thuộc [[Constructivism|chủ nghĩa kiến tạo]] hơn là [[Positivism|chủ nghĩa thực chứng]]:
      • Tức là luận ra chân lý (truth) từ tổng hợp nhiều dữ liệu, hơn là 1 chân lý khách quan có thể tìm thấy.
      • Vai trò của fact: fact -> nền tảng sinh ra lý thuyết mới, hơn là fact -> để kiếm chứng truth.
      • Nhà nghiên cứu: đóng vai trò người đồng kiến tạo cùng với người tham gia, hơn là quan sát trung lập.
      • Khám phá hơn là kiểm chứng.
    • Điểm mù của grounded theory:

      • Truth is illusion ~ Friedrich Nietzsche

Done

• DONE Elaborate how to do dual-cohort comparison

• DONE Interview data team

• DONE Prepare the call with 99co

• DONE Call 99co

Done

• DONE Call with Add2Cart

Done

• DONE Làm lại bộ interview SQL & data modeling

• DONE Prepare the call with Add2Cart

Note

• Thanks Simon. Before the call, I do a quick rephrase to make sure we’re aligned.
• Current proposal: country/retailer/date with parquet.
  • You are considering new dims (platform, marketplace).
  • We think only worth adding if they are frequently filtered in dashboards and have low-cardinality; otherwise we can keep them as regular columns.
• Regardless of structure, what we should target is to avoid too many small files because it will degrade the performance and increase cost.
• What I need from you:
  • The top filters A2C team uses most (country, retailer, platform, marketplace, date).
    • Country and retailer are confirmed, however not sure the platform or marketplace are always required?
  • Estimate how many platforms and marketplaces are they?
    • For example, about 10 countries and 15 retailers are low-cardinality so they are valid to be partitioned.

• Done

  • DONE Support Oddle listing all entities in their tenant - version 2.7