Informaation luotettavuus on usein kehityksen este – Tunnista mittaussysteemin vaihtelu

Me uskomme sokeasti mittauksen oikeellisuuteen. Six Sigmassa, joka on kvantitatiivinen menetelmä, kiinnitetään erityistä huomiota mittaukseen ja tulosten oikeellisuuteen ja haetaan tähän myös kvantitatiivinen eli numeerinen lukema. Miksi?

Mittaus toimii prosessin palautelenkin (feedback) erittäin kriittisenä osana, joka väärin toimiessaan huonontaa itse prosessia merkittävästi. Karkeasti ottaen voidaan tilanne mallintaa seuraavalla kuvalla, jossa G on prosessi ja H takaisinkytkentä. Siirtofunktio on Y/x = G / (1 – GH). Oletuksella, että, prosessin vahvistus G on suuri eli GH >>1, seuraa tästä merkittävä päätelmä Y/x ≈ -1/H eli mittauksen virhe määrittelee lopullisen tuloksen. Ei yllättävää, mutta niin yleinen virhe on, että oletetaan mittarin tai mittauksen näyttävän oikein ja ongelma tulee prosessista!

Prosessin ja mittauksen vaihtelu

Havaittu prosessin vaihtelu koostuu todellisesta prosessin vaihtelusta sekä mittaussysteemin aiheuttamasta vaihtelusta. Jos mittaussysteemi ei toimi kunnolla, se voi olla vaihtelun suurin syy, joka aiheuttaa negatiivisen vaikutuksen kyvykkyyteen. Useissa järjestelmissä näemme vain takaisinkytkennän aiheuttaman vaihtelun.

Jos vaihtelun lähde on mittaus, organisaatio saattaa tietämättään hylätä hyvät yksiköt ja hyväksyä huonot yksiköt ja vielä pahempaa säätää prosessin tuottamaan virheellisiä tuotteita tai palveluja. Vielä vakavampaa on, että kuvitellaan vaihtelun tulevan prosessista, vaikka se tuleekin mittauksesta. Korjaustoimenpiteet menevät täysin väärään kohteeseen. On tärkeää määrittää, onko mittaussysteemi luotettava vai ei, ennen kuin prosessin kyvykkyyden perustaso voidaan määrittää.

Kuinka mittauksen virhe voidaan havaita?

Mittausvirhe voidaan havaita, kun mitataan samaa kohdetta yhä uudelleen ja uudelleen. Kuvitellaan, että sinun on ”mitattava” edellä olevan kuvan s-kirjainten määrä. Mittarina ovat silmäsi ja lasket, kuinka monta s-kirjainta löydät kuvasta. Älä käytä kynää tai muuta apuvälinettä. Katso vain kuvaa ja laske s-kirjainten määrä. Sovitaan vaikka aluksi, että teet laskennan 10 kertaa. Yritä tehdä laskeminen niin, että et ”muista” edellistä lukua. Juo vaikka kahvikupponen välissä ja laske uudestaan. Olosuhdekin voi muuttua kirkkaasta valosta hämärään valoon, jne. Ympäristö vaihtelee!

Saat esimerkiksi lukemia 25, 31, 24, 28, 29, 24, 28, 25, 32, 26. Koska luvut vaihtelevat ja voit kuvitella, että kuvan s-kirjaimien määrä ei vaihtele, on vaihtelu mittausvirhettä. Miten suuri virhe on?

Mittausvirheen voi helposti määrittää Minitabin antaman I-mR-kortin avulla eli SPC-rajojen avulla (6 sigma).

Mittausvirhe on noin ±12. Ei niin hyvä. Mittausvirhe saisi olla korkeintaan 10 – 20 % toleranssivälistä. Nythän emme määritelleet toleranssiväliä. Jos se olisi ollut ± 5, olisi sallittu virhe ollut 1 – 2. Kuinka voisit parantaa kirjaimien laskemista ja saavuttaa tämän mittaustason? Kynä käteen ja yliviivaa laskemasi kirjain ja jo paranee!

Mittaussysteemin analysoiminen, MSA

Mittaussysteemin analysointi (Measure System Analysis, MSA) on sarja suunniteltuja testejä, jotka mahdollistavat organisaatiolle mittaussysteemin luotettavuuden määrittämisen. Mittaussysteemin tutkimus tarjoaa informaatiota, kuinka paljon prosenteissa mitattuna vaihtelusta tulee mittauksen virheestä. MSA on myös erinomainen työkalu, jolla voidaan verrata kahta tai useampaa mittauslaitetta tai kahta tai useampaa operaattoria toisiinsa. MSA:ta tulisi käyttää osana kriteeriä, jolla hyväksytään ja poistetaan mittauslaitteiston osia tuotannosta. Hyväksyminen tai hylkäys mittalaitteelle pitäisi perustua mittaussysteemin evaluointiin, jos epäillään sen olevan puutteellinen. Ensimmäinen askel parannettaessa niin palvelu- kuin tuotantoprosessia on tarkistaa, riittääkö mittauksen suorituskyky eli onko mittauksen virhe riittävän pieni mitattavaan muutokseen nähden.

Usein uskotaan, että mittaus, siis mittaustapahtuma ja mittari, eivät aiheuta ongelmia ja että mittarit/mittaus eivät vaihtele. Tosiasia kuitenkin on, että mittaus on eräs haasteellisimpia kehittämiskohteita. Usein mittauksen luotettavuuden varmentaminen laiminlyödään tavanomaisessa parantamisessa. Mittauksen virhettä ei osata määrittää. Puhutaan 100 % mittauksesta aivan kuin tulokset olisivat 100 %:sti oikeita, vaikka todellisuudessa oikeellisuus voi olla 10 – 20 %:n luokkaa tai jopa huonompi. Yleensä 100 % tarkoittaa vain, että kaikkia osia tai vaiheita on mittailtu. Mittauksen oikeellisuus on parannettava 90 – 95 % tasoon.

Yksi keskeisistä mittaussysteemin tutkimustavoitteista on hankkia informaatiota erityyppisistä mittausvaihteluista, jotka liittyvät mittaussysteemiin, kun se toimii vuorovaikutuksessa ympäristön kanssa. On huomattava, että mittalaitteiden kalibrointi ei anna tietoa mittauksen virheestä, koska sitä ei suoriteta vuorovaikutuksessa ympäristön kanssa eikä siinä käytetä yleensä oikeita mitattavia kappaleita.

Mittauksen suorituskyky on arvioitava ja määritettävä. Yksinkertaistaen kysymys on esimerkiksi Tyypin 1 Gage -tutkimuksesta tai laajemmasta Gage R&R -analyysistä eli uusittavuus- ja toistettavuustestistä. Mittauksella on päästävä toistettavasti alle 1/10 – 1/20 osa toleranssista ja prosessista.

Tyypin 1 Gage -tutkimus

Tyypin 1 Gage -tutkimus arvioi ainoastaan vaihtelua, joka tulee mittalaitteesta ja yleensä mittauksesta. Erityisesti Tyypin 1 Gage arvioi biasta (poikkeamaa) sekä mittauksen toistettavuutta yhden operaattorin ja yhden osan avulla.

Tyypin 1 Gage -tutkimusta käytetään tyypillisesti mittaussysteemin analysoinnin lähtökohtana. Se suoritetaan nopeasti yhtä kappaletta tai mittauskohdetta tutkinen kuten edellä oleva s-kirjainten laskenta. Se keskittyy ainoastaan mittalaitteeseen ja itse mittaukseen, ei muihin vaihtelun lähteisiin. Itse asiassa monet organisaatiot vaativat tyypin 1 gagen suoritettavaksi ensimmäisenä askeleena kokonaisvaltaista mittaussysteemin analysointia. Kun tämän avulla mittalaite ja mittaus itsessään on varmennettu tai todettu puutteelliseksi, laajennetaan tutkimukset mm. Gage R&R -tutkimuksiin, jotka käsittävät laajempia mittaussysteemin analysointitutkimuksia, joilla voidaan virheen alkuperää tutkia.

Tyypin 1 Gage -tutkimus voidaan suorittaa perinteisesti ohjauskorteilla, kuten I-mR. Minitab tarjoaa kuitenkin oman analyysityökalun Tyypin 1 Gage -tutkimuksen tekemiseen ja samalla lisäanalyysejä ja tunnuslukuja, joilla mittauksen hyvyyttä voidaan luonnehtia.

Minitabin Tyypin 1 Gage -tutkimus mittaa toistettavuutta (repeatability) C_g-indeksillä. Toistettavuus on mittalaitteen ja mittauksen kyky tehdä yhdenmukaisia mittauksia samasta osasta. Osalla voidaan tarkoittaa myös ei-konkreettista osaa kuten vaikka makuaistimusta, josta annetaan arvosanoja.

Kaikissa mittauksissa esiintyy vaihtelua, mutta jos vaihtelu on liian suurta suhteessa osan toleranssiin tai poikkeamaan, joka on merkittävä, mittaus on silloin liian vaihteleva (epävakaa) sen käyttötarkoitukseen. Esimerkiksi, jos toleranssi sylintereiden halkaisijalle on 5 mm, mutta toistetut mittaukset referenssisylinteristä eroavat 0,5-1 mm, ei mittaukseen voi luottaa määritettäessä ovatko sylinterit toleranssivälissä. Mittalaitteen mittausten vaihtelun pitäisi olla pienempi verrattuna toleranssiin (10 – 20%).

Arvioidakseen mittauksen toistettavuutta Minitab laskee C_g-indeksin, joka vertaa tutkittua vaihtelua (mittaustulosten jakaumaa) prosenttiosuuteen toleranssista. C_g-arvot, jotka ovat suurempia kuin 1,33 indikoivat, että mittaustulosten jakauma on riittävän kapea suhteessa toleranssiväliin.

Esimerkiksi K:n ja L:n oletusarvoilla C_g-indeksi 2 tarkoittaa, että 20 % toleranssivälistä täyttää koko mittausten jakauman kahteen kertaan. Tämä C_g-arvo indikoi mittalaitteen tehokkuutta tässä toleranssivälissä.

Minitab mittaa biasta (poikkeamaa) C_gk-indeksillä

Lisäyksenä toistettavuuteen, Minitab arvioi myös mittauksen poikkeamaa, joka on ero mittauksen saamien mittausten keskiarvon ja virallisen referenssiarvon välillä – eli tosiarvon, jota mittalaite mittaa.

Minitab analysoi biaksen t-testillä. Nollahypoteesi bias -testissä tarkoittaa, että bias on nolla eli poikkeamaa ei ole. Periaatteessa käytetty testi on 1-sample t-testi, jolla määritellään eroaako mittaustulosten keskiarvo merkittävästi referenssiarvosta. Jos tilastollisesti merkittävä bias on olemassa (p-arvo < 0,05), voit vetää johtopäätöksen, että mittalaitteesi yhdenmukaisesti mittaa joko alhaisempia tai korkeampia arvoja ja mittalaite olisi kalibroitava.

Minitab laskee myös kyvykkyysindeksin C_gk, jolla arvioidaan toistettavuutta ja biasta yhdessä. C_gk vertaa tutkittua vaihtelua toleranssiin, mutta se myös huomioi ovatko mittaustulokset tavoitteessa. C_gk-indeksi laskee, jos ero mitattujen tulosten keskiarvon ja tavoitearvon välillä nousee. C_gk-arvo 1,33 on yleinen benchmark-arvo, joka tarkoittaa kyvykästä mittalaitetta. Mittalaitetta, joka on sekä täsmällinen (hyvä toistettavuus) ja tarkka (alhainen bias, poikkeama)

Tutustutaanpa seuraavaksi Minitabin antamaan ulostuloon Tyypin 1 Gagesta

Valmistaja haluaa arvioida mittaussysteemiään. Elektrodin ulkomitta täytyy määrittää 0,05 mm (toleranssiväli) tarkkuudella ja valmistaja haluaa arvioida kuinka tarkasti ja täsmällisesti tämän toteaminen onnistuu. He päättävät tehdä tyyppi 1 tutkimuksen. Tutkimuksessa operaattori mittaa 50 kertaa referenssiä, jonka ”tosi-arvo” on 12,305 mm. Mittaustulokset on tallennettu sarakkeeseen Diameter. Valitse Minitabin Stat -valikosta löytyvä Type 1 Gage Study.

Täytä dialogi alla esitetyn mukaisesti. Options -asetuksissa on jo valmiina oletuksena kaavassa aiemmin esitetty K ja L -arvo.

Tulokseksi saat Tyypin 1 Gage -tutkimuksen tuloksen.

Kuvasta näet, että suurin osa sinisellä piirretyistä 50 mittaustuloksesta on alle vihreällä piirretyn referenssiviivan. Tämä viittaa siihen, että mittauksessa on poikkeamaa. Poikkeaman suuruus on -0,00231. Biaksen testaus 1-sample t-testillä osoittaa, että poikkeama on tilastollisesti merkittävä (p-arvo = 0,000). Mittalaite näyttäisi aliarvioivan tuloksia. Mittalaite olisi kalibroitava oikeaan arvoon – keskiarvo olisi siirrettävä referenssiarvoon eli 0,00231 ylöspäin.

C_g-indeksi vertaa tutkittua vaihtelua (mittalaitteen mittaustulosten jakaumaa) prosenttiosuuteen toleranssista. Mittalaitteen mittaustulosten jakauma on liian leveä suhteessa toleransseihin. C_g-indeksi 0,46 on huono. Mittalaitteen vaihtelu on liian suurta suhteessa toleransseihin. Toistettavuus on siis huono. C_g-indeksin tulisi olla vähintään 1,33.

C_gk-indeksillä arvioidaan toistettavuutta ja biasta yhdessä. C_gk vertaa tutkittua vaihtelua toleranssiin, mutta se myös huomioi ovatko mittaustulokset tavoitteessa. C_gk-arvo 1,33 on yleinen benchmark-arvo, joka tarkoittaa kyvykästä mittalaitetta eli sellaista, jossa on hyvä toistettavuus ja alhainen poikkeama referenssiarvosta.

Mittavirhe on esitetty Minitabin ulostulossa myös prosentteina. %Var (repeatability) on määritetty C_g:stä ja %Var (repeatability and bias) on määritetty C_gk:sta. Pieni %Var arvo indikoi hyvää mittalaitteen suorituskykyä suhteessa vaatimuksiin. C_g ja C_gk -indeksin arvo 1,33 tarkoittaa % Var -lukuna esitettynä 15%:ia.

Johtopäätöksenä voisi sanoa, että tässä esimerkissä mittalaitteen vaihtelu on liian suurta ja mittaus antaa virheellisen kuvan vaihtelusta. Huomaa, että tilanne ei paljon muutu, vaikka mittalaite kalibroidaankin. Vaihtelu on edelleen suurta. Kaikkien mittauspisteiden pitäisi olla punaisten viivojen välissä. Jos tällaisella mittalaitetuloksella säädetään prosessia, on tuloksena vain lisääntyvää vaihtelua toisin kuin säätäjä uskoo.

Artikkelissa käytetyn esimerkkitiedoston löydät Minitabin -datakansiosta, kun valitset Open Worksheet ja painat valikossa näkyvästä Look in Minitab Sample Data folder -nappulasta. Tiedoston nimi on Shaft.mtw.