bismillah.

bagaimana setup step by step chatGPT mengontrol paint dan blender di komputer lokal ?

Bisa. Kalau tujuan Anda adalah ChatGPT benar-benar bisa mengontrol Paint dan Blender yang berjalan di Windows lokal, saya sarankan membangun setup dalam 2 lapisan:

                 CHATGPT
                    │
             ┌──────┴──────┐
             │             │
       Computer Use       MCP
             │             │
             ▼             ▼
        Windows GUI     Local tools
          │                 │
     ┌────┴────┐       ┌────┴─────┐
     │         │       │          │
   Paint    Blender  Blender    File system

Computer Use cocok untuk melihat layar, klik, mengetik, dan mengontrol aplikasi Windows. OpenAI saat ini mendukung Computer Use di Windows melalui Codex untuk pengguna/konfigurasi yang memenuhi syarat. (OpenAI Help Center)

Untuk Blender, saya justru menyarankan menambahkan Python API/MCP, karena Blender memiliki Python API yang bisa mengontrol scene, object, material, rendering, dan banyak fungsi lainnya secara jauh lebih presisi daripada klik mouse. (Blender Documentation)

1. Arsitektur yang saya rekomendasikan

Untuk Windows Anda:

Windows 10/11
│
├── ChatGPT Desktop / Codex
│
├── Computer Use
│      └── kontrol mouse + keyboard + screenshot
│
├── MCP Server lokal
│      │
│      ├── paint.open()
│      ├── paint.click()
│      ├── paint.draw()
│      ├── paint.save()
│      │
│      ├── blender.open()
│      ├── blender.execute_python()
│      ├── blender.add_object()
│      ├── blender.render()
│      └── blender.save()
│
├── Microsoft Paint
│
└── Blender
       └── bpy Python API

Dengan desain ini, Anda bisa memberikan instruksi seperti:

"Buatkan rumah sederhana di Blender, beri atap merah, lalu render."

ChatGPT dapat menggunakan Python/Blender untuk pekerjaan presisi.

Kemudian:

"Buka hasil render di Paint dan beri tulisan PROMO."

Computer Use dapat menangani pekerjaan GUI di Paint.

2. Install aplikasi dasar

Saya sarankan mulai dengan:

A. Blender

Install Blender versi terbaru.

Setelah terinstall, biasanya executable berada di:

C:\Program Files\Blender Foundation\Blender\blender.exe

Blender memang mendukung menjalankan Python script melalui command line di Windows. (Blender Documentation)

B. ChatGPT Desktop / Codex

Gunakan aplikasi desktop ChatGPT/Codex untuk workflow lokal.

OpenAI menjelaskan bahwa Work/Codex pada desktop dapat bekerja dengan file lokal dan aplikasi desktop dengan izin pengguna. (OpenAI Help Center)

3. Buat folder khusus AI

Misalnya:

C:\AI-Control\

Kemudian:

C:\AI-Control\
│
├── mcp\
├── blender\
├── paint\
├── scripts\
└── output\

Ini penting supaya AI tidak memiliki akses acak ke seluruh komputer.

4. Buat Blender bridge

Ini bagian yang paling penting.

Kita buat program lokal yang menerima perintah dari MCP kemudian meneruskannya ke Blender.

Contohnya:

ChatGPT
   ↓
MCP
   ↓
blender_bridge.py
   ↓
Blender
   ↓
bpy

Blender Python API menyediakan akses ke data dan operasi Blender, sehingga kita dapat melakukan automation langsung daripada mensimulasikan klik. (Blender Documentation)

Misalnya AI mengirim:

import bpy

bpy.ops.mesh.primitive_cube_add(
    location=(0, 0, 1)
)

cube = bpy.context.object
cube.scale = (2, 2, 1)

bpy.ops.wm.save_as_mainfile(
    filepath="C:/AI-Control/output/house.blend"
)

Blender kemudian membuat object dan menyimpan file.

5. Untuk Blender, jangan hanya mengandalkan Computer Use

Ini perbedaan penting.

Cara 1 — Computer Use

AI melakukan:

klik Blender
↓
Shift+A
↓
Mesh
↓
Cube
↓
klik panel
↓
ubah parameter

Ini terlihat seperti manusia menggunakan Blender.

Tetapi kurang ideal untuk pekerjaan kompleks.

Cara 2 — Blender Python

AI langsung mengatakan:

bpy.ops.mesh.primitive_cube_add()

atau membuat script lengkap.

Ini jauh lebih cepat dan deterministik.

Jadi saya sarankan:

Computer Use = mata + tangan

MCP + Python = otak teknis Blender

6. Buat MCP Server

Kemudian kita buat MCP server lokal.

Misalnya tool yang tersedia:

blender_create_cube
blender_create_sphere
blender_execute_python
blender_render
blender_save
blender_open_file

dan untuk Paint:

paint_open
paint_click
paint_type
paint_draw
paint_save
paint_screenshot

Kemudian ChatGPT dapat memilih tool yang sesuai.

Contohnya:

User:
"Buatkan bola warna biru di Blender."

ChatGPT
    ↓
blender_execute_python
    ↓
bpy
    ↓
Blender

Sedangkan:

User:
"Buka hasilnya di Paint dan tambahkan tulisan SALE."

ChatGPT
    ↓
Computer Use
    ↓
Paint
    ↓
klik + mengetik

7. Paint sedikit berbeda

Paint tidak mempunyai Python API seperti Blender.

Karena itu ada dua pilihan.

Pilihan A — Computer Use

Ini paling mudah.

AI melihat layar:

Paint
┌───────────────────────┐
│                       │
│       gambar          │
│                       │
│                       │
└───────────────────────┘

Kemudian:

mouse move
click
drag
type
keyboard shortcut

Computer Use memang dirancang untuk interaksi semacam melihat, mengeklik, dan mengetik pada aplikasi Windows. (OpenAI Help Center)

Pilihan B — Windows automation

Kita bisa membuat local automation server menggunakan Python/PowerShell/Windows UI Automation.

Misalnya:

MCP
 ↓
Python
 ↓
Windows UI Automation
 ↓
Paint

Ini berguna apabila Anda ingin membuat tool khusus:

paint.open()
paint.select_brush()
paint.set_size(10)
paint.draw_line(...)
paint.save(...)

8. Computer Use + MCP menjadi kombinasi yang sangat kuat

Contohnya Anda mengatakan:

"Buat gambar rumah 3D di Blender, render, buka render di Paint, kemudian tambahkan teks 'RUMAH IMPIAN'."

Workflow:

               CHATGPT
                  │
       ┌──────────┴──────────┐
       │                     │
       ▼                     ▼
      MCP               Computer Use
       │                     │
       ▼                     ▼
    BLENDER                PAINT
       │                     │
       ▼                     ▼
  create model           open image
       │                     │
       ▼                     ▼
     render                add text
       │                     │
       └──────────┬──────────┘
                  ▼
             final image

Itu jauh lebih bagus daripada hanya mengandalkan mouse automation.

9. Contoh workflow Blender

Misalnya Anda berkata:

"Buat meja sederhana."

ChatGPT dapat menghasilkan script:

import bpy

# Clear scene
bpy.ops.object.select_all(action='SELECT')
bpy.ops.object.delete(use_global=False)

# Table top
bpy.ops.mesh.primitive_cube_add(
    location=(0, 0, 2)
)

table_top = bpy.context.object
table_top.name = "Table_Top"
table_top.scale = (3, 2, 0.2)

# Legs
for x in (-2.5, 2.5):
    for y in (-1.5, 1.5):
        bpy.ops.mesh.primitive_cube_add(
            location=(x, y, 1)
        )

        leg = bpy.context.object
        leg.scale = (0.2, 0.2, 1)

Kemudian:

MCP
 ↓
Blender
 ↓
execute Python
 ↓
model muncul

10. Kemudian render

Tool MCP bisa mempunyai:

blender_render()

yang menjalankan:

bpy.context.scene.render.filepath = \
"C:/AI-Control/output/render.png"

bpy.ops.render.render(write_still=True)

Hasil:

C:\AI-Control\output\render.png

11. Kirim ke Paint

Kemudian Computer Use:

Open Paint
     ↓
Ctrl + O
     ↓
render.png
     ↓
Open

Kemudian AI bisa mengontrol GUI.

Misalnya:

select text tool
↓
click image
↓
type "RUMAH IMPIAN"
↓
save

12. Security sangat penting

Jangan membuat server seperti:

POST /execute
{
   "command": "..."
}

yang menerima sembarang command tanpa autentikasi.

Karena jika MCP tersebut dapat menjalankan:

cmd.exe
powershell.exe
python.exe

maka secara praktis AI bisa memiliki kemampuan sangat besar terhadap komputer.

Lebih aman membuat whitelist:

ALLOW

blender.execute_python
blender.render
blender.save

paint.open
paint.draw
paint.save

dan membatasi filesystem:

C:\AI-Control\

OpenAI sendiri menjelaskan bahwa Computer Use di Windows memiliki mekanisme pembatasan aplikasi/approval, termasuk aturan aplikasi yang dapat diizinkan atau diblokir. (OpenAI Help Center)

13. Setup yang saya sarankan untuk Anda

Karena Anda sebelumnya juga ingin Astra + Blender + MCP, saya akan membuatnya sedikit lebih advanced:

                    CHATGPT
                       │
                       ▼
                 Computer Use
                       │
             ┌─────────┴─────────┐
             │                   │
             ▼                   ▼
          Windows              MCP
          control               │
             │                  │
       ┌─────┴─────┐      ┌─────┴──────┐
       │           │      │            │
      Paint      Blender  Blender      Files
                   │       Python
                   ▼
                  bpy

Dengan demikian:

Paint

Computer Use

Blender GUI

Computer Use

Blender object/modeling

MCP → Python → bpy

Rendering

MCP → Blender Python

File management

MCP → restricted filesystem

14. Urutan instalasi yang paling aman

Saya sarankan kita jangan langsung membuat semuanya sekaligus.

Kita lakukan dalam 5 tahap:

Tahap 1

Windows
 ↓
Blender
 ↓
Python
 ↓
test Blender Python

Tahap 2

Python
 ↓
Blender Bridge
 ↓
Blender

Tahap 3

MCP Server
 ↓
Blender Bridge
 ↓
Blender

Tahap 4

Computer Use
 ↓
Windows
 ↓
Paint

Tahap 5

ChatGPT
 ↓
MCP + Computer Use
 ↓
Paint + Blender

Dengan pendekatan ini kita bisa mengetes setiap lapisan satu per satu sehingga kalau gagal, kita tahu persis bagian mana yang bermasalah.

Catatan penting: kemampuan Computer Use di Windows dan ketersediaannya bergantung pada akun/workspace dan rollout fitur; dokumentasi OpenAI saat ini menyebut dukungan Windows melalui Codex, sementara beberapa fitur memiliki batasan paket/region. (OpenAI Help Center)

Kalau Anda mau, saya bisa lanjutkan dengan tutorial praktis Tahap 1 → Tahap 5 khusus Windows, termasuk perintah PowerShell, struktur folder, kode blender_bridge.py, MCP server, konfigurasi MCP, dan tool Paint, sehingga Anda tinggal copy-paste dan menjalankan satu per satu.

IT | curiosity-q

Senin, 14 September 2026

chatGPT to paint and blender

1. Arsitektur yang saya rekomendasikan

2. Install aplikasi dasar

A. Blender

B. ChatGPT Desktop / Codex

3. Buat folder khusus AI

4. Buat Blender bridge

5. Untuk Blender, jangan hanya mengandalkan Computer Use

Cara 1 — Computer Use

Cara 2 — Blender Python

6. Buat MCP Server

7. Paint sedikit berbeda

Pilihan A — Computer Use

Pilihan B — Windows automation

8. Computer Use + MCP menjadi kombinasi yang sangat kuat

9. Contoh workflow Blender

10. Kemudian render

11. Kirim ke Paint

12. Security sangat penting

13. Setup yang saya sarankan untuk Anda

Paint

Blender GUI

Blender object/modeling

Rendering

File management

14. Urutan instalasi yang paling aman

Tidak ada komentar:

Posting Komentar

chatGPT to paint and blender

Laporkan Penyalahgunaan