Entropy dalam machine learning dan AI

 Entropy

Assume we have P predictors and K classes. Suppose we select the kth predictor and split a region along the threshold .

We can assess the quality of this split by measuring the entropy of the class distribution in each newly created region by calculating:

Note: We are actually computing the conditional entropy of the distribution of training points amongst the K classes given that the point is in region r.

The same plot as last time, with R1 containing only blue dots and R2 containing both blue dots and orange triangles.


The entropy calculation here yields a value of 1.38, compared to a misclassification rate of 0.38 and a Gini index of 0.47.

We can now try to find the predictor p and the threshold tp minimizes the weighted average entropy over the two regions:

Where Nr is the number of training points inside of region Rr.


Comments

Post a Comment

Popular posts from this blog

create image slider using phyton in web

 To create an image slider in Python for the web, you can use a web framework like Flask along with HTML, CSS, and JavaScript. Here's an example of how you can implement an image slider using Flask: 1. Install Flask:    ```    pip install flask    ``` 2. Create a new Python file, e.g., `app.py`, and add the following code:    ```python    from flask import Flask, render_template    app = Flask(__name__)    @app.route('/')    def home():        images = ['image1.jpg', 'image2.jpg', 'image3.jpg']  # Add your image file names here        return render_template('index.html', images=images)    if __name__ == '__main__':        app.run(debug=True)    ``` 3. Create a new folder named `templates` in the same directory as `app.py`. Inside the `templates` folder, create a new HTML file named `index.html` and add the following cod...
Read more

Tahukah kamu Algoritma Genetika dan Penerapannya dalam Industri

Apa itu Algoritma Genetika? Algoritma Genetika (Genetic Algorithm, GA) adalah metode pencarian dan optimasi yang terinspirasi oleh proses seleksi alam dalam evolusi biologis. Algoritma ini menggunakan mekanisme seperti seleksi, crossover, dan mutasi untuk menemukan solusi optimal dalam ruang solusi yang besar dan kompleks. Komponen Utama Algoritma Genetika Populasi : Kumpulan kandidat solusi yang disebut kromosom. Kromosom : Representasi dari solusi potensial, biasanya dalam bentuk string biner atau array. Fitness Function : Fungsi yang mengevaluasi seberapa baik sebuah kromosom sebagai solusi. Seleksi : Proses memilih kromosom yang akan digunakan untuk reproduksi berdasarkan fitness-nya. Crossover (Rekombinasi) : Proses menggabungkan dua kromosom untuk menghasilkan keturunan baru. Mutasi : Proses mengubah satu atau lebih gen dalam kromosom untuk menjaga keanekaragaman populasi. Rumus dan Fungsi Fitness Function (F) : [ F(x) = \text{Fitness Function yang tergantung pada masalah spesifi...
Read more

create animated futuristic profile card using html+css+js

 Certainly! Here's an example of an animated futuristic profile card using HTML, CSS, and JavaScript: HTML: ```html <!DOCTYPE html> <html> <head>     <title>Futuristic Profile Card</title>     <link rel="stylesheet" type="text/css" href="styles.css"> </head> <body>     <div class="card">         <div class="card-header">             <img src="profile-pic.jpg" alt="Profile Picture">             <h2>John Doe</h2>             <p>Software Engineer</p>         </div>         <div class="card-content">             <p>Lorem ipsum dolor sit amet, consectetur adipiscing elit. Donec dapibus, mi ac aliquam blandit, magna orci sollicitudin est, at gravida nisi est eget turpis.</...
Read more

CRUD SPRING REACTIVE WEBFLUX +Mongo DB

 database mongodb :  Langkah 1: Membuat database testdb MongoDB tidak memerlukan perintah eksplisit untuk membuat database. Database akan dibuat secara otomatis saat kamu pertama kali menyimpan data ke dalamnya. Namun, untuk memastikan bahwa kamu bekerja dengan database testdb , gunakan perintah: ---------------- use testdb ---------------- nama database : testdb nama tabel : movie entity :     int id ;     String plot ;     List < String > genres ;     String title ; example data : {   "_id": 1,   "plot": "A great movie plot",   "genres": [     "Action",     "Drama"   ],   "title": "My Movie",   "_class": "com.joko.springwebflux.model.Movie" } ------- {   "_id": 2,   "plot": "Junior Youth-hen Episode 8",   "genres": [     "Sport",     "Anime"   ],   "title": "Captain Tsubasa Season 2",   "_clas...
Read more

Top 7 Digital Transformation Companies

Image
              Digital Transformation Companies Comparison Table Digital Transformation Companies Pros Cons Pricing Accenture Holistic evaluations Processing oriented systems Limited data flexibility Limited dynamic frameworks Contact sales Manage myPrice Deloitte Excels at integrating technology Experts in DevOps and automation Limited technology capabilities Heavy research needed Contact sales Submit RFP form Boston Consulting Group Highly regarded consultants Wide range of capabilities Not for small companies A fast-paced approach Contact sales Cognizant Strong cloud technology Diverse technical services Limited location access Weak strategy capabilities Contact sales Capgemini Deep digital expertise Flexible approach to digital transformation Limited global expertise Limited strategy capabilities Contact sales Microsoft Corporation Wide range of services Strong documentation Limited navigation help Complicated networking Contact sales Pricing Calcul...
Read more

100 perusahaan perangkat lunak (software) populer dari Eropa dan Amerika yang memiliki kehadiran atau operasional di Indonesia.

 Berikut adalah daftar 100 perusahaan perangkat lunak (software) populer dari Eropa dan Amerika yang memiliki kehadiran atau operasional di Indonesia. Daftar ini mencakup perusahaan yang terlibat dalam berbagai bidang seperti pengembangan perangkat lunak, manajemen data, analitik, dan solusi TI.  Perusahaan Perangkat Lunak dari Amerika 1. Microsoft - Software sistem operasi dan aplikasi produktivitas. 2. Oracle - Basis data, aplikasi perusahaan, dan solusi cloud. 3. IBM - Software analitik, AI, dan cloud computing. 4. Salesforce - CRM dan solusi manajemen hubungan pelanggan berbasis cloud. 5. Adobe - Perangkat lunak kreatif dan digital marketing. 6. VMware- Virtualisasi dan solusi cloud. 7. Red Hat- Solusi open-source dan manajemen sistem. 8. ServiceNow - Platform manajemen layanan TI dan bisnis. 9. SAP - Software ERP dan solusi bisnis. 10. Intel - Perangkat lunak dan perangkat keras terkait teknologi chip. 11. Palantir Technologies - Analitik data besar. 12. Tableau - Visuali...
Read more

TOP 8 Framework Populer menggunakan bahasa .NET

       Framework .NET dikembangkan oleh Microsoft dan mencakup berbagai teknologi untuk pengembangan aplikasi web, desktop, mobile, dan cloud. Berikut adalah beberapa framework .NET yang populer beserta penjelasannya: 1. ASP.NET Core:    - Deskripsi: ASP.NET Core adalah framework open-source dan cross-platform untuk membangun aplikasi web modern, cloud-based, dan Internet of Things (IoT).    - Fitur:      - Kinerja tinggi dan modular.      - Dukungan untuk MVC (Model-View-Controller) dan Razor Pages.      - Dependency injection built-in.      - Middleware pipeline untuk pengelolaan request/response.    - Kelebihan: Cross-platform (Windows, macOS, Linux), performa tinggi, dan fleksibilitas tinggi untuk berbagai jenis aplikasi web. 2. Blazor:    - Deskripsi: Blazor adalah framework untuk membangun aplikasi web interaktif menggunakan C# dan .NET, dengan kemampuan untu...
Read more

Python Date and Time Manipulation

 berbagai fungsi dan metode dalam Python untuk memanipulasi data tanggal dan waktu, beserta contoh implementasi praktisnya. Mari kita bahas satu per satu: Mengekstrak dan memanipulasi komponen tanggal, bulan, tahun, jam, menit, detik dari objek datetime (Extracting and Manipulating Date and Time Components): Python menyediakan modul datetime yang sangat berguna untuk manipulasi tanggal dan waktu. python from datetime import datetime # Membuat objek datetime now = datetime . now ( ) # Mengekstrak komponen print ( f"Tahun: { now . year } " ) print ( f"Bulan: { now . month } " ) print ( f"Tanggal: { now . day } " ) print ( f"Jam: { now . hour } " ) print ( f"Menit: { now . minute } " ) print ( f"Detik: { now . second } " ) # Memanipulasi komponen from dateutil . relativedelta import relativedelta # Menambah 1 bulan satu_bulan_kemudian = now + relativedelta ( months = 1 ) print ( f"Satu bulan kemu...
Read more

TOP 5 Trends Programming 2024

Image
 Dunia pemrograman terus berkembang, dan tetap di depan kurva bisa menjadi tantangan. Tetapi jika Anda ingin maju di tahun 2024, berikut adalah beberapa tren teratas yang harus Anda ketahui: 1. Perkembangan Python dan JavaScript: Kedua bahasa ini telah mendominasi lanskap pemrograman untuk sementara waktu, dan popularitas mereka tidak menunjukkan tanda-tanda melambat. Python banyak digunakan dalam ilmu data, pengembangan web, dan pembelajaran mesin, sementara JavaScript adalah bahasa go-to untuk pengembangan Web dan semakin menemukan aplikasi dalam pengembangan mobile dan server-side. 2. Demokratisasi pengembangan dengan platform low-code dan no-code: Platform ini memungkinkan orang-orang dengan sedikit atau tidak ada pengalaman pengkodean untuk membangun aplikasi perangkat lunak. Ini membuatnya lebih mudah bagi bisnis untuk berinovasi dan melakukan hal-hal tanpa harus mempekerjakan pengembang mahal. Meskipun tidak menggantikan pemrograman tradisional, low-code dan no-code adalah...
Read more

Daftar Kata Kunci (Keyword) dalam Bahasa Pemrograman Python

  Daftar Kata Kunci (Keyword) dalam Bahasa Pemrograman Python Berikut adalah daftar lengkap kata kunci (keyword) yang tersedia dalam bahasa pemrograman Python: Kata Kunci Penjelasan Singkat False Mewakili nilai kebenaran palsu (boolean). Digunakan dalam operasi logika. None Mewakili nilai nol atau tidak ada. Sering digunakan untuk inisialisasi variabel atau sebagai nilai kembalian default dari sebuah fungsi. True Mewakili nilai kebenaran benar (boolean). Digunakan dalam operasi logika. and Operator logika "dan" yang mengembalikan nilai True jika kedua kondisi bernilai True. as Digunakan dalam pernyataan "import" untuk memberikan alias pada modul atau paket yang diimpor. assert Digunakan untuk memeriksa kebenaran suatu kondisi dan memunculkan error jika kondisi tidak terpenuhi. async Mendefinisikan sebuah fungsi sebaga...
Read more