[Java lista] postgres gyorsítás
CoL
col at gear.hu
2009. Jan. 17., Szo, 12:29:50 CET
Szia,
chico at tisztanet.hu wrote:
> Sziasztok!
>
> Köszönöm a gyors reagálásokat,
>
> - szerencsére nem produkciós a környezet (konverziós), így az fsync
> kikapcsolása működhet
akkor az sokat fog segiteni.
> - Az importálandó adat "insert into values (...)" formában van.
> Ezt át lehet pgsql-es COPY-ra átalakítani (pl. shell scripttel), ha
> igen akkor tudna valaki segíteni?
> Érdemes ezzel foglalkozni 2 Gbyte-os fileméret esetén?
erdemes, sot, ekkora meret eseten a leginkabb erdemesebb. Csak nem
atalakitani kellene, mert az viszonylag macerasabb, de persze lehet,
hanem eleve olyan dumpot kell csinalni.
> - Tranzakció: nincs rá szükség
mar hogy ne lenne! epp arrol van szo, hogy nalad most minde egyes insert
nyit 1 tranzakciot, zar egy tranzakciot. Minden egyes insert sorod mivel
commitol meghivodik az fsync is, index is updatelodik, magyarul most
minden egyes sorod egy full tranzakciot csinal. Ezert, ha maskepp nem,
tedd az egeszet 1 tranzakcioba, de legjobb ha 10000 vagy 100000
soronkent lenne benne egy commit; begin; Copy-nal nem volna erre szukseg.
Erdemes lehet meg a synchronous_commit -ot is off-ra allitani.
> - Hol látom ezt az említett I/O terhelést? Azt tudom, hogy a gépben 40
> GByte-os HDD van RAID1-ben (nincs hatalmam a gép felett). Esetleg a
> PostgreSQL-ben hol tudom ezt állítani? (a rekordok száma növekszik, de
> csak nagyon lassan: select count(*) from tbl_001)
szerintem ezt azutan erdemes majd, ha a fenti alap dolgokat
megcsinaltad. mivel ezen valtoztatni mint irod nem ugyse tudsz.
C.
További információk a(z) Javalist levelezőlistáról