[Java lista] postgres gyorsítás

CoL col at gear.hu
2009. Jan. 17., Szo, 12:29:50 CET


Szia,

chico at tisztanet.hu wrote:
> Sziasztok!
> 
> Köszönöm a gyors reagálásokat,
> 
> - szerencsére nem produkciós a környezet (konverziós), így az fsync
> kikapcsolása működhet

akkor az sokat fog segiteni.

> - Az importálandó adat "insert into values (...)" formában van.
> Ezt át lehet pgsql-es COPY-ra átalakítani (pl. shell scripttel), ha
> igen akkor tudna valaki segíteni?
> Érdemes ezzel foglalkozni 2 Gbyte-os fileméret esetén?
erdemes, sot, ekkora meret eseten a leginkabb erdemesebb. Csak nem 
atalakitani kellene, mert az viszonylag macerasabb, de persze lehet, 
hanem eleve olyan dumpot kell csinalni.

> - Tranzakció: nincs rá szükség
mar hogy ne lenne! epp arrol van szo, hogy nalad most minde egyes insert 
nyit 1 tranzakciot, zar egy tranzakciot. Minden egyes insert sorod mivel 
commitol meghivodik az fsync is, index is updatelodik, magyarul most 
minden egyes sorod egy full tranzakciot csinal. Ezert, ha maskepp nem, 
tedd az egeszet 1 tranzakcioba, de legjobb ha 10000 vagy 100000 
soronkent lenne benne egy commit; begin; Copy-nal nem volna erre szukseg.

Erdemes lehet meg a synchronous_commit -ot is off-ra allitani.

> - Hol látom ezt az említett I/O terhelést? Azt tudom, hogy a gépben 40
> GByte-os HDD van RAID1-ben (nincs hatalmam a gép felett). Esetleg a
> PostgreSQL-ben hol tudom ezt állítani? (a rekordok száma növekszik, de
> csak nagyon lassan: select count(*) from tbl_001)
szerintem ezt azutan erdemes majd, ha a fenti alap dolgokat 
megcsinaltad. mivel ezen valtoztatni mint irod nem ugyse tudsz.

C.


További információk a(z) Javalist levelezőlistáról