• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      算法決策場(chǎng)景中就業(yè)性別歧視判定的挑戰(zhàn)及應(yīng)對(duì)

      2023-10-25 12:05:23胡蕭力
      現(xiàn)代法學(xué) 2023年4期

      胡蕭力

      摘要:就業(yè)性別歧視對(duì)女性求職者受憲法所保護(hù)的平等權(quán)、勞動(dòng)權(quán)造成現(xiàn)實(shí)的侵害風(fēng)險(xiǎn)。對(duì)就業(yè)性別歧視判定標(biāo)準(zhǔn)問題,學(xué)界已有較為豐富的研究,但傳統(tǒng)判定標(biāo)準(zhǔn)在算法時(shí)代遭遇適用困境。算法掩蓋下的就業(yè)性別歧視具有自主性、隱蔽性、延續(xù)性和結(jié)構(gòu)性等特征,這不僅可能對(duì)求職者的權(quán)利主張?jiān)斐蛇^重的舉證負(fù)擔(dān),亦無法解決算法供應(yīng)商等第三方主體的歸責(zé)問題。因此,應(yīng)當(dāng)從事前與事后兩個(gè)維度,探討對(duì)算法就業(yè)性別歧視進(jìn)行有效規(guī)制的路徑。在概念界定上,應(yīng)通過擴(kuò)充就業(yè)性別歧視概念的外延,將算法就業(yè)性別歧視納入到反歧視法的規(guī)制范圍內(nèi),使新加入的算法供應(yīng)商等第三方主體參與到責(zé)任分擔(dān)過程。通過在算法決策過程中引入技術(shù)性正當(dāng)程序理論及其機(jī)制框架,搭建起權(quán)力主體配合下的“理解—參與”模式,借助合規(guī)審計(jì)追蹤、算法解釋等方式,有效控制算法就業(yè)性別歧視的風(fēng)險(xiǎn),保障女性求職者平等權(quán)和人格尊嚴(yán)等權(quán)益。

      關(guān)鍵詞:算法歧視;算法雇傭決策;就業(yè)性別歧視;技術(shù)性正當(dāng)程序

      中圖分類號(hào):DF931.1 文獻(xiàn)標(biāo)志碼:A DOI:10.3969/ j. issn.1001-2397.2023.04.05

      一、問題的提出和界定

      反就業(yè)性別歧視,尤其是反針對(duì)女性的就業(yè)歧視,是反歧視法領(lǐng)域經(jīng)久不衰的議題。其關(guān)涉女性憲法上平等權(quán)與勞動(dòng)權(quán),以及由此派生出的平等就業(yè)權(quán)的實(shí)現(xiàn),亦關(guān)乎女性社會(huì)地位與自我價(jià)值的實(shí)現(xiàn)。而就業(yè)性別歧視的判定標(biāo)準(zhǔn),即“什么樣的行為會(huì)被判定為法律上的就業(yè)性別歧視”則是反就業(yè)性別歧視基礎(chǔ)性也是關(guān)鍵性的問題。該問題一方面取決于立法所制定的判定標(biāo)準(zhǔn),另一方面也受司法上判定規(guī)則、舉證規(guī)則的影響。在女性求職就業(yè)的過程中,招錄環(huán)節(jié)是整個(gè)就業(yè)過程的起始,在此階段發(fā)生的性別歧視被稱為狹義上的就業(yè)性別歧視。由于該類歧視直接影響女性就業(yè)機(jī)會(huì)的取得,因此,本文將討論對(duì)象限定于狹義就業(yè)性別歧視的判定標(biāo)準(zhǔn)問題,下文所稱就業(yè)性別歧視即指狹義上的就業(yè)性別歧視。

      2023 年1 月,新修訂的《中華人民共和國婦女權(quán)益保障法》(以下簡(jiǎn)稱《婦女權(quán)益保障法》)正式施行,該法進(jìn)一步強(qiáng)調(diào)了保障女性勞動(dòng)權(quán)的重要性,其中,第43 條就招錄環(huán)節(jié)用人單位不得實(shí)施的行為進(jìn)行了規(guī)定。從某種角度來看,該條可以被視為以列舉加歸納的方式在立法上確立了我國的就業(yè)性別歧視判定標(biāo)準(zhǔn)。然而稍作比較就會(huì)發(fā)現(xiàn):該條雖然對(duì)《中華人民共和國勞動(dòng)法》(以下簡(jiǎn)稱《勞動(dòng)法》)第13 條、《中華人民共和國就業(yè)促進(jìn)法》(以下簡(jiǎn)稱《就業(yè)促進(jìn)法》)第27 條第2 款,以及部分位階較低的規(guī)范性文件所規(guī)定的以直接歧視為規(guī)制對(duì)象的判定標(biāo)準(zhǔn)有所細(xì)化,但對(duì)于如何判定因表面中立的行為所導(dǎo)致的結(jié)果上的間接歧視,卻并未作規(guī)定。即便僅從直接歧視的角度進(jìn)行審視,上述立法所規(guī)定的判定標(biāo)準(zhǔn)亦存在過于抽象、寬泛的問題。從司法實(shí)踐來看,人民法院對(duì)就業(yè)性別歧視判定規(guī)則同樣缺乏共識(shí)性的統(tǒng)一標(biāo)準(zhǔn),只是在勞動(dòng)爭(zhēng)議、侵權(quán)責(zé)任和締約過失等不同案由下形成了不同的審查基準(zhǔn),這削弱了司法在反就業(yè)性別歧視中應(yīng)有的作用。隨著時(shí)代的發(fā)展,老問題尚未得到解決,新問題又悄然涌現(xiàn)。特別是隨著算法技術(shù)逐漸應(yīng)用到用人單位雇傭決策的過程中,算法歧視這一新形態(tài)的歧視出現(xiàn)在了就業(yè)領(lǐng)域,其無論是對(duì)已有的判定標(biāo)準(zhǔn)還是相關(guān)研究都構(gòu)成了極大的挑戰(zhàn)。在上述背景下,如何利用我國反歧視法律制度的后發(fā)優(yōu)勢(shì),更好地應(yīng)對(duì)算法對(duì)就業(yè)性別歧視現(xiàn)有判定標(biāo)準(zhǔn)所帶來的挑戰(zhàn),是一個(gè)值得關(guān)注的重大理論和實(shí)踐問題。

      二、就業(yè)性別歧視在算法雇傭決策中的生成

      根據(jù)《1958 年消除就業(yè)和職業(yè)歧視公約》第1 條第1 款,就業(yè)性別歧視是指:基于性別的原因,具有取消或損害就業(yè)或職業(yè)機(jī)會(huì)均等或待遇平等影響的任何區(qū)別、排斥或優(yōu)惠。在此基礎(chǔ)上,間接歧視概念的出現(xiàn)又使表面中立,但實(shí)際上可能或已經(jīng)導(dǎo)致某一性別的群體在就業(yè)上處于不利地位的行為被歸入就業(yè)性別歧視的外延中。算法歧視的誕生使歧視的形態(tài)更加隱蔽、多元,其形成過程所涉及的主體、行為也更加復(fù)雜,增加了判定就業(yè)性別歧視的難度。應(yīng)對(duì)算法歧視對(duì)傳統(tǒng)就業(yè)性別歧視判定標(biāo)準(zhǔn)所帶來的挑戰(zhàn),首先需要理解算法就業(yè)性別歧視與傳統(tǒng)的直接、間接歧視在生成原理上存在何種區(qū)別,進(jìn)而有針對(duì)性地探究解決方案。

      算法歧視誕生于算法決策的過程中。算法決策運(yùn)作的基本原理是利用算法對(duì)大數(shù)據(jù)中的特征、關(guān)系、類別進(jìn)行挖掘識(shí)別,而后借助算法模型來預(yù)測(cè)對(duì)象的行為,并以此為基礎(chǔ)作出響應(yīng)的決策。具體到算法雇傭決策的語境下,首先需要由用人單位等算法使用者制定決策目標(biāo),同時(shí),收集合適的訓(xùn)練數(shù)據(jù)集;隨后,算法程序員根據(jù)問題的類型選擇并優(yōu)化算法,并將用人單位的招聘需求轉(zhuǎn)譯為具有相關(guān)性的可測(cè)量特征或稱“結(jié)果變量”,與現(xiàn)有員工情況等訓(xùn)練數(shù)據(jù)集一起輸入到算法中。隨著算法的迭代更新,新模態(tài)的“機(jī)器學(xué)習(xí)算法”甚至無需借助程序員所輸入的知識(shí)與程序,而是利用“深度學(xué)習(xí)”等方式自主地篩選數(shù)據(jù)中有意義的特性并學(xué)習(xí)其中的決策模式,并通過反復(fù)的訓(xùn)練和調(diào)適,獲得無限逼近需求目標(biāo)的數(shù)據(jù)模型。這套數(shù)據(jù)模型最終被用以預(yù)測(cè)哪些求職者可能在公司內(nèi)創(chuàng)造更大的價(jià)值,從而實(shí)現(xiàn)對(duì)求職者數(shù)據(jù)的分析并做出篩選。

      算法具有中立的外表,而歧視則來源于人的主觀認(rèn)知,是對(duì)不同人群的偏見在具體行為上的反映。觀察算法雇傭決策中主觀偏見的來源及其融入決策過程的方式,可以將算法就業(yè)歧視進(jìn)一步區(qū)分為因抽樣偏見導(dǎo)致的算法就業(yè)歧視和因設(shè)計(jì)偏見導(dǎo)致的算法就業(yè)歧視。前者源于訓(xùn)練數(shù)據(jù)集中樣本的“質(zhì)”和“量”,或者說樣本在中立性與代表性上的偏差。如果訓(xùn)練數(shù)據(jù)集中原本就存在對(duì)某一群體的偏見,或其中某些群體的代表名額不足或過多時(shí),算法就業(yè)歧視就可能發(fā)生。例如,如果用人單位過去長(zhǎng)期對(duì)男性勞動(dòng)者作出了較女性勞動(dòng)者更高的評(píng)價(jià),或是雇傭了遠(yuǎn)多于女性職員的男性職員時(shí),算法就可能會(huì)識(shí)別出歷史數(shù)據(jù)中的偏好與選擇模式,并在無意中復(fù)制這種偏見,形成對(duì)男性勞動(dòng)者的偏好。而因設(shè)計(jì)偏見所導(dǎo)致的算法就業(yè)歧視同樣可以被分為兩類:其一,硬件、軟件、設(shè)備等技術(shù)所存在的客觀限制,可能導(dǎo)致模型和決策不準(zhǔn)確,進(jìn)而產(chǎn)生算法歧視;其二,算法程序員將用人單位對(duì)崗位及求職者的需求進(jìn)行“轉(zhuǎn)譯”并輸入算法時(shí),對(duì)目標(biāo)、需求等因素的轉(zhuǎn)譯可能出現(xiàn)偏差,從而導(dǎo)致算法就業(yè)歧視的出現(xiàn)。在很多情況下,用人單位決策目標(biāo)中的某些詞匯往往缺少具體、客觀的定義,例如,“優(yōu)秀”“忠誠”等,此時(shí)算法程序員在進(jìn)行轉(zhuǎn)譯過程中,難免摻雜個(gè)人的偏見或是陷入“偽中立的陷阱”。又如,以“出勤率”作為挑選“忠誠的”員工這一目標(biāo)需求的結(jié)果變量,表面上看是合理且中立的,但《婦女權(quán)益保障法》規(guī)定,孕期女職工享有休產(chǎn)假的權(quán)利,因此,相較于男性職工,女性職工請(qǐng)假的需求及時(shí)間就會(huì)更多。此時(shí),如果算法通過數(shù)據(jù)挖掘識(shí)別到結(jié)果變量與性別這一受保護(hù)特征之間的關(guān)聯(lián)性,就可能使與“懷孕”“母嬰”等詞語相關(guān)的數(shù)據(jù)成為“出勤率”的表征數(shù)據(jù),導(dǎo)致就業(yè)性別歧視的結(jié)果。

      至此,我們可以歸納出算法就業(yè)歧視的三個(gè)特征。第一,在使用機(jī)器學(xué)習(xí)算法的情況下,算法雇傭決策的核心步驟幾乎完全由算法自動(dòng)完成,由此產(chǎn)生的算法就業(yè)歧視具有明顯的自動(dòng)化決策的特征。第二,機(jī)器學(xué)習(xí)算法可以自主地完成數(shù)據(jù)挖掘、選擇與模型建構(gòu),這使得人們難以判斷算法在學(xué)習(xí)過程中識(shí)別到了哪些數(shù)據(jù),又提煉出哪些特征,因此,很難對(duì)算法決策的過程及原理進(jìn)行完全準(zhǔn)確的解釋,導(dǎo)致算法“黑箱”,形成了算法就業(yè)歧視隱蔽性的特征。第三,算法就業(yè)歧視具有延續(xù)性、結(jié)構(gòu)性,這種特征在性別的語境下又更加突出。無論是因抽樣偏見還是因設(shè)計(jì)偏見產(chǎn)生的算法就業(yè)歧視,本質(zhì)上都是既存的結(jié)構(gòu)性偏見在算法決策過程和結(jié)果層面的投射。就本文所討論的性別平等問題而言,長(zhǎng)期以來,女性的不平等地位深深地扎根于傳統(tǒng)觀念和刻板印象之中,這種內(nèi)在的偏見通過人與人之間的互動(dòng)交往,影響到資源在不同性別群體間的分配,最終構(gòu)建出一個(gè)對(duì)男性群體整體有利的社會(huì)權(quán)力結(jié)構(gòu)。這種結(jié)構(gòu)性不平等具有延續(xù)性,可能伴隨代際更迭延續(xù)存在,并對(duì)相關(guān)的信息和數(shù)據(jù)產(chǎn)生影響。這意味著,結(jié)構(gòu)不平等和觀念上的刻板印象,本身就可能對(duì)數(shù)據(jù)源造成“污染”。由于算法決策需要通過分析數(shù)據(jù)而進(jìn)行預(yù)測(cè)和決策,因此,一旦在就業(yè)領(lǐng)域的數(shù)據(jù)受到不平等權(quán)力結(jié)構(gòu)的影響,算法對(duì)這些數(shù)據(jù)的學(xué)習(xí),將可能“復(fù)制”隱藏于數(shù)據(jù)中的不平等因素,延續(xù)甚至強(qiáng)化就業(yè)場(chǎng)景中的性別不平等,陷入算法的“自我強(qiáng)化困境”。目前,技術(shù)尚無法完全消除算法訓(xùn)練數(shù)據(jù)集中的偏見,亦難以有效排除結(jié)構(gòu)性不平等對(duì)新數(shù)據(jù)的影響。正如學(xué)者梅森(Mayson)所指出的,算法歧視實(shí)際上成為一個(gè)“偏見進(jìn),偏見出”的過程。在這個(gè)意義上,算法如同一面用以觀測(cè)未來的“預(yù)測(cè)之鏡”,但對(duì)未來的預(yù)測(cè)需要依據(jù)過去的數(shù)據(jù)和結(jié)構(gòu)化框架,因此,在邏輯上和實(shí)踐中,這種預(yù)測(cè)很可能將過去的不平等投射到未來。

      三、算法就業(yè)性別歧視對(duì)傳統(tǒng)就業(yè)性別歧視判定標(biāo)準(zhǔn)的挑戰(zhàn)

      面對(duì)包括算法就業(yè)性別歧視在內(nèi)的就業(yè)歧視問題,有學(xué)者提出可通過借鑒域外法中就業(yè)歧視判定標(biāo)準(zhǔn)的方式加以應(yīng)對(duì)。的確,域外尤其是歐美國家由于平權(quán)運(yùn)動(dòng)的發(fā)展和技術(shù)先發(fā)效應(yīng),已形成了一套較完整的就業(yè)歧視判定體系,而就業(yè)性別歧視的判定便是其中一個(gè)方面。就業(yè)性別歧視的判定以直接歧視與間接歧視為基礎(chǔ),設(shè)置了較為完整的判定標(biāo)準(zhǔn)及舉證規(guī)則,總結(jié)出了一套包含主體要件、行為要件、因果關(guān)系、行為后果要件、主觀要件以及合理抗辯事由在內(nèi)的就業(yè)歧視構(gòu)成要件體系。雖然不同國家的判定標(biāo)準(zhǔn)存在或大或小的區(qū)別,但從整體上看,可依據(jù)歧視的成立是否要求原告證明被告具有歧視的故意這一要素,可以將就業(yè)歧視的判定標(biāo)準(zhǔn)大致分為兩類:其一是以美國為代表的“主觀主義”模式;其二是以英國、歐盟為代表的“客觀主義”模式。然而,進(jìn)一步的分析將發(fā)現(xiàn),面對(duì)新形態(tài)的算法歧視,歐美傳統(tǒng)的就業(yè)性別歧視判定標(biāo)準(zhǔn)力有所不逮,不僅可能給求職者或用人單位施加過重的舉證負(fù)擔(dān),亦無法解決新加入的算法供應(yīng)商等第三方主體的歸責(zé)問題。

      (一)直接歧視判定標(biāo)準(zhǔn)及其面臨的挑戰(zhàn)

      直接歧視又被稱為“差別對(duì)待歧視”。針對(duì)女性的直接歧視表現(xiàn)為基于性別,剝奪、限制女性的就業(yè)權(quán)利。例如,以對(duì)女性的刻板印象拒絕雇傭某人,或缺乏合理理由對(duì)男性和女性進(jìn)行差別化招聘等。由于直接歧視是一種較為明顯、直觀的歧視,因而無論在英國還是美國,其判定的核心都在于是否存在非基于合理事由的差別對(duì)待或歧視行為,且對(duì)該法律事實(shí)的證明責(zé)任通常由原告承擔(dān)。

      不同的是,采取“客觀主義”模式的英國對(duì)用人單位是否存在歧視動(dòng)機(jī)并不考慮,而采取“主觀主義”模式的美國則恰好相反。在此基礎(chǔ)上,美國還進(jìn)一步根據(jù)是否可以直接表明被告具有歧視的故意,將就業(yè)歧視案件分為“直接證據(jù)”案件、“間接證據(jù)”案件以及“混合動(dòng)機(jī)”案件三類,并匹配不同的舉證規(guī)則,但原告依然要承擔(dān)證明被告存在歧視動(dòng)機(jī)的最終責(zé)任。與直接歧視不同的是,算法歧視往往形成于外觀上中立的數(shù)據(jù),在技術(shù)理性的外衣之下,這種歧視具有隱蔽性特征。因此,在討論算法歧視對(duì)直接歧視判定標(biāo)準(zhǔn)構(gòu)成的挑戰(zhàn)之前,我們首先需要追問:在算法歧視的語境下,直接歧視的概念及其相關(guān)判定規(guī)則是否仍然適用?回答好這一問題,需要回溯至判定直接歧視的根本要點(diǎn),即被告是否基于性別等受保護(hù)特征而對(duì)不同主體加以區(qū)別對(duì)待。上文提到,在算法雇傭決策的過程中,存在一個(gè)將目標(biāo)需求轉(zhuǎn)譯為關(guān)聯(lián)特征,并進(jìn)行特征選擇的過程。此時(shí),如果被告方公然在特征集合中納入性別等受保護(hù)特征,就可能“教唆”算法輸出歧視性結(jié)果?;蛘?,即便被告方嘗試剝離數(shù)據(jù)中的性別等受保護(hù)特征,算法也可能識(shí)別到數(shù)據(jù)與性別等受保護(hù)特征之間的潛在關(guān)聯(lián),進(jìn)而做出具有歧視性的決策,此時(shí)亦可以認(rèn)定差別對(duì)待行為是基于性別等受保護(hù)特征而作出的。因此,在判定算法歧視場(chǎng)景中,直接歧視判定標(biāo)準(zhǔn)依然存在適用空間。

      不過,算法歧視對(duì)直接歧視判定標(biāo)準(zhǔn)所帶來的挑戰(zhàn)也顯而易見,因?yàn)槎咴谄缫曅袨榈谋憩F(xiàn)上存在根本差異。直接歧視是明顯的、易于感知的,而算法歧視是隱蔽的、不易察覺的。在直接歧視的舉證規(guī)則中,原告方證明的核心任務(wù)是“歧視行為存在”和“歧視行為非基于合理理由”;在“主觀主義”模式下還需要證明被告“具有歧視的意圖或動(dòng)機(jī)”。但在算法雇傭決策的情境下,求職者作為被動(dòng)方難以了解用人單位對(duì)自己的哪些信息進(jìn)行了收集,算法程序員又利用了什么樣的算法技術(shù)進(jìn)行雇傭決策。算法歧視的隱蔽性又進(jìn)一步使求職者難以證明算法在作出決策時(shí)依據(jù)的是什么標(biāo)準(zhǔn),該標(biāo)準(zhǔn)又是否與性別等不合理理由相關(guān)。同時(shí),隨著機(jī)器學(xué)習(xí)技術(shù)被普遍應(yīng)用于算法模型,算法決策的自主性不斷提升,很多時(shí)候算法歧視的生成并非源于用人單位或者算法程序員的歧視故意。此時(shí),如果要求求職者證明這種主觀惡意的存在便成為一種苛求。可以說,在算法權(quán)力日益擴(kuò)張的當(dāng)下,求職者等個(gè)體必然處于“信息差”的弱勢(shì)一方,這種弱勢(shì)地位在就業(yè)這一特殊語境下又被進(jìn)一步放大。求職者為獲取就業(yè)機(jī)會(huì),只能被動(dòng)地默許算法對(duì)個(gè)人信息的分析、選擇和決策,但卻無法獲知雇傭決策過程中的關(guān)鍵步驟與信息。因此,面對(duì)算法歧視,傳統(tǒng)的直接歧視判定規(guī)則施加于原告方的證明責(zé)任顯然過重,甚至是不可能完成的任務(wù)。

      (二)間接歧視判定標(biāo)準(zhǔn)及其面臨的挑戰(zhàn)

      相比較而言,間接歧視或稱“差別影響歧視”,與算法歧視更為類似。依據(jù)反歧視法的一般發(fā)展規(guī)律,隨著反歧視法的適用與普及,明顯且?guī)в袗阂獾闹苯悠缫曋饾u減少,而以更隱蔽的方式存在的間接歧視日益增多。受歷史沿革與傳統(tǒng)觀念的影響,人的認(rèn)知可能在不存在明確動(dòng)機(jī)的情況下,潛移默化和不知不覺地將人群歸類,并在此過程中形成偏見和無意識(shí)的歧視。這種無意識(shí)的歧視被表面中立的制度、社會(huì)規(guī)范確認(rèn)后,就可能形成結(jié)構(gòu)性不平等,進(jìn)一步加大間接歧視發(fā)生的可能性。具體到就業(yè)問題上,盡管性別平等在我國已經(jīng)成為不言自明的規(guī)范準(zhǔn)則,但受歷史慣性、社會(huì)習(xí)俗、文化多元等因素的影響,我國的女性就業(yè)平等權(quán)保護(hù)制度仍然呈現(xiàn)出“輕機(jī)會(huì)平等保護(hù)、重特別權(quán)益保護(hù)”的特征。女性在就業(yè)領(lǐng)域所處的不平等地位更多地受到機(jī)制上的路徑依賴、有關(guān)兩性社會(huì)角色的刻板印象等因素的影響,就業(yè)性別歧視也逐漸呈現(xiàn)出隱蔽性、延續(xù)性、結(jié)構(gòu)性等特征。類似地,算法歧視同樣是一種無意識(shí)的、隱蔽性的歧視,且往往是長(zhǎng)期存在的結(jié)構(gòu)性歧視在算法中的投射與轉(zhuǎn)譯。由此可見,間接歧視與算法歧視之間存在明顯的相似性。也正因?yàn)榇?,間接歧視判定規(guī)則在反算法就業(yè)歧視中的適用已引起一些學(xué)者的關(guān)注。

      具體來說,在間接歧視案件中,對(duì)歧視的判定有兩個(gè)關(guān)鍵步驟。首先,一般應(yīng)由原告提出表面證據(jù)證明不利狀態(tài)或差別影響的存在,而這一證明步驟主要借助有關(guān)雇傭結(jié)果的統(tǒng)計(jì)數(shù)據(jù)來完成。就國外情況而言,目前廣泛適用的是美國法院的“五分之四規(guī)則”,即如果用人單位所采取的招聘條件將導(dǎo)致女性雇員比例與男性雇員比例之間的最高比率低于五分之四時(shí),即視為存在差別影響。其次,間接歧視判定規(guī)則的特殊性在于,當(dāng)原告完成初步證明后,將發(fā)生一次舉證責(zé)任的轉(zhuǎn)移或稱“倒置”,被告必須提出合理的抗辯事由,如證明其采取的雇傭行為存在業(yè)務(wù)上的必要性等,否則,將由被告承擔(dān)舉證不能的后果。另外,在美國法上,即使被告可以證明自己的某項(xiàng)行為存在業(yè)務(wù)上的必要性,原告仍然可以繼續(xù)證明存在被告可以采取的、具有較小歧視性影響的其他選項(xiàng),但被告并未采取這樣的行為??傮w上看,在間接歧視的判定過程中,存在一個(gè)由歧視結(jié)果推定歧視故意的過程。由于間接歧視通常是無意識(shí)且不顯著的,因此,其判定標(biāo)準(zhǔn)只關(guān)注雇主的行為造成的歧視性結(jié)果,而不關(guān)注雇主的主觀故意,由此降低了原告舉證的難度。

      在應(yīng)對(duì)隱蔽性的就業(yè)性別歧視時(shí),這種將主觀故意要件的重要性下調(diào),并將舉證責(zé)任倒置的方法,無疑具有重要意義。然而,相較于傳統(tǒng)的間接歧視,算法歧視在形成過程中新增了算法供應(yīng)商等第三方主體,這一關(guān)鍵性的差異使得傳統(tǒng)間接歧視判定標(biāo)準(zhǔn)遭遇新的難題。在傳統(tǒng)舉證規(guī)則下,舉證責(zé)任僅在求職者和用人單位之間進(jìn)行分配,此時(shí),正如有學(xué)者指出的“降低舉證責(zé)任往往是一個(gè)零和博弈”,原告的舉證責(zé)任降低了,被告的舉證責(zé)任自然就提高了。但由于算法歧視的隱蔽性,用人單位也無法完全參與到雇傭決策的過程,因此,難以完全控制并理解算法決策的方式和理據(jù)。此時(shí),如果僅由用人單位來承擔(dān)舉證責(zé)任,將抑制用人單位開發(fā)、使用算法進(jìn)行雇傭決策的積極性。事實(shí)上,由于相關(guān)主體數(shù)量的增加,算法歧視場(chǎng)合下的歸責(zé)問題愈加復(fù)雜。算法程序員,以及作為算法提供者的第三方機(jī)構(gòu)是否需要承擔(dān)責(zé)任? 用人單位之外的數(shù)據(jù)提供者是否應(yīng)承擔(dān)責(zé)任? 傳統(tǒng)的間接歧視判定規(guī)則下這些問題均無法得到有效解決,這可能導(dǎo)致間接歧視相關(guān)判定標(biāo)準(zhǔn)和責(zé)任規(guī)則的失靈。

      四、算法就業(yè)性別歧視危機(jī)的應(yīng)對(duì)

      通過上述分析可見,算法就業(yè)性別歧視實(shí)際上是社會(huì)結(jié)構(gòu)中性別不平等在算法決策過程中的投射,皆源于傳統(tǒng)的性別刻板印象、社會(huì)結(jié)構(gòu)及性別角色定位。但由于算法歧視的特殊性,傳統(tǒng)的判定標(biāo)準(zhǔn)與舉證規(guī)則難以有效應(yīng)對(duì)。而且,算法技術(shù)本身所蘊(yùn)含的經(jīng)濟(jì)、社會(huì)效用及第三方機(jī)構(gòu)等主體的利益,與傳統(tǒng)就業(yè)歧視語境中所存在的平等就業(yè)權(quán)與企業(yè)用工自主權(quán)等法益相疊加,使算法就業(yè)歧視中的價(jià)值權(quán)衡更加復(fù)雜。從根本上講,算法就業(yè)性別歧視的“治本之道”仍需回到社會(huì)性、結(jié)構(gòu)性的層面,例如,通過合理分配生育成本等制度,實(shí)現(xiàn)就業(yè)性別平等,但這顯然不是短期內(nèi)可實(shí)現(xiàn)的目標(biāo)。因此,應(yīng)對(duì)算法就業(yè)性別歧視所帶來的現(xiàn)實(shí)挑戰(zhàn),需要根據(jù)算法就業(yè)性別歧視的特征,有針對(duì)性地進(jìn)行法律規(guī)制的優(yōu)化,以克服和緩和算法就業(yè)性別歧視所帶來的問題。

      (一)賦能必要性與歸責(zé)正當(dāng)性

      基于上文梳理,筆者認(rèn)為,面對(duì)算法就業(yè)性別歧視對(duì)傳統(tǒng)判定標(biāo)準(zhǔn)所帶來的挑戰(zhàn),需要從原告方和被告方兩個(gè)角度思考可能的應(yīng)對(duì)方案:一是如何降低原告方,即女性求職者的證明負(fù)擔(dān),同時(shí)提升其對(duì)抗算法權(quán)力的能力;二是如何在用人單位、算法供應(yīng)商等被告方之間合理分配法律責(zé)任與合規(guī)成本,實(shí)現(xiàn)激勵(lì)與監(jiān)管的平衡。

      首先,應(yīng)對(duì)算法就業(yè)性別歧視問題,需要對(duì)數(shù)字化時(shí)代的求職者進(jìn)行數(shù)字賦能。在算法雇傭決策的過程中,求職者被化約為一組數(shù)據(jù),他(她)們以數(shù)據(jù)的形式存在并被客體化。用人單位與算法供應(yīng)商在自身利益最大化目標(biāo)的驅(qū)動(dòng)下,運(yùn)用算法實(shí)現(xiàn)對(duì)求職者的分析、評(píng)級(jí)、選擇與控制,而求職者則被動(dòng)地成為算法決策所支配的對(duì)象,失去了對(duì)個(gè)人數(shù)據(jù)的主動(dòng)性與對(duì)決策過程的知情權(quán)。由此產(chǎn)生的算法就業(yè)性別歧視,一方面,侵犯了求職者受憲法所保障的平等權(quán)與勞動(dòng)權(quán);另一方面,則可能進(jìn)一步固化結(jié)構(gòu)性的性別歧視,最終使女性求職者不得不面對(duì)基本權(quán)利與人格尊嚴(yán)等法益受損的危險(xiǎn)。此時(shí),要使女性求職者獲得針對(duì)算法歧視的防御能力,關(guān)鍵在于凸顯其主體性,而這正是數(shù)據(jù)賦能的核心要旨。數(shù)據(jù)賦能的規(guī)范要求,旨在通過對(duì)用人單位等數(shù)據(jù)處理者、控制者施加法定義務(wù),例如,保證數(shù)據(jù)的準(zhǔn)確、客觀、平等等要求,進(jìn)而充分保障求職者的個(gè)人信息權(quán)益等合法的數(shù)字權(quán)利,從而增強(qiáng)個(gè)人信息主體的權(quán)利。例如,個(gè)人的知情權(quán)、決定權(quán)、查詢權(quán)、請(qǐng)求修正權(quán)、刪除權(quán)等權(quán)利,有助于抑制求職者個(gè)人數(shù)據(jù)的偏差和被濫用所導(dǎo)致的風(fēng)險(xiǎn),提升個(gè)人的信息自主性。在反算法就業(yè)性別歧視的語境中,這種數(shù)據(jù)賦能可以抑制用人單位和算法提供者對(duì)數(shù)據(jù)的壟斷,在一定程度上緩解“數(shù)字鴻溝”的負(fù)外部性效應(yīng)。數(shù)字賦能還可要求用人單位提升算法決策的透明度和可理解性??傊?,通過充分保障求職者個(gè)人信息權(quán)益以及提升算法透明度和可解釋性要求,可以對(duì)求職者進(jìn)行相應(yīng)的數(shù)字賦能(digital empowerment),從而緩解個(gè)人權(quán)利與資本、技術(shù)所疊加的雇傭者權(quán)力之間的不平衡態(tài)勢(shì)。

      其次,應(yīng)對(duì)算法就業(yè)性別歧視,需要考慮歸責(zé)邏輯的正當(dāng)性,以合理分配法律責(zé)任與合規(guī)成本。在算法雇傭決策的場(chǎng)景中,一方面,算法就業(yè)歧視的自動(dòng)性、隱蔽性特征往往成為相關(guān)主體拒絕擔(dān)責(zé)的借口;另一方面,過重的舉證負(fù)擔(dān)與對(duì)算法效益的偏好也可能成為相關(guān)主體避責(zé)的考量因素。因此,我們需要認(rèn)識(shí)到,算法雇傭決策不可能完全脫離人為干預(yù)因素而存在,算法就業(yè)性別歧視產(chǎn)生的根源仍然是人的利益動(dòng)機(jī)和主觀偏好等因素。例如,目標(biāo)設(shè)定、特征選擇等明顯存在人為主觀因素介入,顯然會(huì)受到人為影響;即便是學(xué)習(xí)型算法,也會(huì)因?yàn)橛?xùn)練數(shù)據(jù)集內(nèi)含的立場(chǎng)與偏見,將人為影響傳遞到算法決策結(jié)果中。有學(xué)者指出,近年來普遍存在一種過度強(qiáng)調(diào)算法技術(shù)理性的傾向,但其問題是:忽視了數(shù)據(jù)對(duì)人工智能系統(tǒng)決策質(zhì)量的重要影響。算法作為一套計(jì)算機(jī)制,無法離開數(shù)據(jù),算法需要通過對(duì)歷史數(shù)據(jù)的挖掘和處理進(jìn)行學(xué)習(xí)。如果數(shù)據(jù)出現(xiàn)偏見,算法可能“習(xí)得”或復(fù)制偏見。而不管是數(shù)據(jù)最初的采集,還是隨后對(duì)數(shù)據(jù)所進(jìn)行的清洗、篩選、標(biāo)注,都離不開人的參與。因此,無論是依據(jù)對(duì)算法就業(yè)性別歧視根源的考察,還是出于保護(hù)女性求職者合法權(quán)益的目的,對(duì)用人單位等可能影響算法雇傭決策過程的主體進(jìn)行歸責(zé)都具有正當(dāng)性。

      依據(jù)上述邏輯,下文將以對(duì)數(shù)據(jù)主體的數(shù)字賦能和對(duì)用人單位等相關(guān)主體的合理歸責(zé)為基本方向,從就業(yè)性別歧視判定標(biāo)準(zhǔn)自身的完善以及標(biāo)準(zhǔn)之外的規(guī)制措施入手,探討如何應(yīng)對(duì)算法對(duì)就業(yè)性別歧視所帶來的挑戰(zhàn)。

      (二)就業(yè)性別歧視概念外延的擴(kuò)展

      就業(yè)性別歧視的概念界定不僅是就業(yè)性別歧視判定過程中的基礎(chǔ)性問題,亦構(gòu)成探討數(shù)據(jù)主體賦能和成本責(zé)任分配的重要前提。當(dāng)前,我國不僅在立法上沒有對(duì)“就業(yè)性別歧視”進(jìn)行明確界定,相關(guān)司法實(shí)踐中亦沒有形成一套統(tǒng)一的救濟(jì)審查標(biāo)準(zhǔn),且?guī)缀鹾鲆暳擞嘘P(guān)間接歧視等隱蔽性歧視的問題。在算法時(shí)代,這些缺失將進(jìn)一步導(dǎo)致具有隱蔽性的算法就業(yè)性別歧視逃逸出反歧視法的規(guī)制框架。因此,有必要通過重新解釋或更新基礎(chǔ)概念及判定標(biāo)準(zhǔn),對(duì)就業(yè)性別歧視概念外延進(jìn)行擴(kuò)展,將算法就業(yè)性別歧視納入其控制范圍內(nèi),從而在合法的范圍內(nèi)降低女性求職者的證明難度。

      首先,從現(xiàn)有的規(guī)則表達(dá)來看,我國法律中對(duì)就業(yè)性別歧視的判定仍囿于“以性別為由”的范圍內(nèi)??紤]到算法所處理的數(shù)據(jù)的內(nèi)在關(guān)聯(lián)性,筆者認(rèn)為,宜將此處的“性別”這一受保護(hù)特征解釋為既包含“生理性別”,又包含“社會(huì)性別”,同時(shí)適當(dāng)擴(kuò)張解釋至“與性別有關(guān)的因素”。這是因?yàn)椋阂环矫?,消除社?huì)性別不平等是當(dāng)前保障女性就業(yè)權(quán)的關(guān)鍵。社會(huì)性別是以生理性別為基礎(chǔ),在社會(huì)文化、人際交往的影響下產(chǎn)生的。它使得勞動(dòng)性別分工“正當(dāng)化”,形成了例如“男主外,女主內(nèi)”的性別刻板印象,這是結(jié)構(gòu)性性別歧視的根源。因此,將基于社會(huì)性別的就業(yè)歧視納入就業(yè)性別歧視的范圍內(nèi),對(duì)于消除就業(yè)性別歧視以及算法就業(yè)性別歧視都至關(guān)重要。另一方面,有必要將“性別”適當(dāng)擴(kuò)張至“與性別有關(guān)的因素”,此時(shí)因代理變量替代性別參數(shù)使用而產(chǎn)生的差別對(duì)待就會(huì)被納入歧視的范圍內(nèi),例如,上文所提及的將與“懷孕”“母嬰”相關(guān)的數(shù)據(jù)作為代理變量就屬于這種情況。事實(shí)上,《婦女權(quán)益保障法》第43 條也并未將“以性別為由”僅限于依據(jù)“男”或“女”的生理性別,該法條明確禁止調(diào)查婚育情況、進(jìn)行妊娠測(cè)試等行為,呈現(xiàn)出將“性別”擴(kuò)張至“與性別有關(guān)的因素”的傾向。但值得注意的是,該條文中所禁止的行為都與婚育相關(guān),進(jìn)而與性別產(chǎn)生了極為緊密的聯(lián)系;但在算法就業(yè)性別歧視的場(chǎng)合下,歧視性決策所依據(jù)的代理變量并不一定與性別存在足夠明顯的關(guān)聯(lián),這就需要在司法實(shí)踐中進(jìn)行個(gè)案式的判定。盡管在這一判定過程中可能需要面對(duì)算法決策的隱蔽性等問題,但并不能因此而否認(rèn)對(duì)就業(yè)性別歧視概念外延進(jìn)行擴(kuò)展解釋的積極意義。

      其次,具體到就業(yè)性別歧視的判定標(biāo)準(zhǔn)及其構(gòu)成要件上,由于算法歧視具有隱蔽性特征,且女性求職者與用人單位之間的關(guān)系往往處于不對(duì)等地位,故應(yīng)當(dāng)繼續(xù)沿用間接歧視判定標(biāo)準(zhǔn)下的舉證責(zé)任倒置規(guī)則,即由被告方承擔(dān)舉證責(zé)任。但前文提到,傳統(tǒng)的就業(yè)性別歧視判定規(guī)則與責(zé)任機(jī)制之所以無法有效應(yīng)對(duì)算法歧視問題,關(guān)鍵變量即在于算法供應(yīng)商等第三方主體的介入。依據(jù)《婦女權(quán)益保障法》的規(guī)定,當(dāng)前就業(yè)性別歧視公認(rèn)的歧視主體是“用人單位”。即便不討論算法歧視的情形,這一歧視主體要件所涵蓋的主體范圍也是不全面的。例如,有學(xué)者指出,由于現(xiàn)實(shí)生活中存在不同的用工形式和招錄方式,就業(yè)服務(wù)機(jī)構(gòu)、勞務(wù)派遣中的用工單位等也可能對(duì)求職者的就業(yè)機(jī)會(huì)公平產(chǎn)生影響。因此,宜將實(shí)施就業(yè)性別歧視的主體拓展至對(duì)就業(yè)機(jī)會(huì)有決定性影響的其他用人單位和個(gè)人。在算法歧視的場(chǎng)景下,這種觀點(diǎn)同樣具有價(jià)值。在利用算法進(jìn)行雇傭決策時(shí),用人單位往往將雇傭決策算法的優(yōu)化與設(shè)計(jì)工作委托給算法供應(yīng)商等第三方機(jī)構(gòu),用人單位通常僅負(fù)責(zé)制定抽象目標(biāo)與收集、提供訓(xùn)練數(shù)據(jù)集;第三方機(jī)構(gòu)的算法程序員除了設(shè)計(jì)算法并進(jìn)行調(diào)整、優(yōu)化外,還負(fù)責(zé)特征選擇、設(shè)備維護(hù)等關(guān)鍵工作,從而對(duì)算法雇傭決策過程和結(jié)果具有關(guān)鍵性影響??梢?,盡管用人單位提供了作為決策基礎(chǔ)的訓(xùn)練數(shù)據(jù)集,但相較于算法程序員,用人單位依然缺少對(duì)算法雇傭決策過程的充分參與,其對(duì)算法內(nèi)容的理解也可能不如算法程序員般深入。此時(shí),若仍然由用人單位作為就業(yè)性別歧視的單一主體,有違公平原則與權(quán)利義務(wù)對(duì)等性的一般法理。因此,在判定算法就業(yè)性別歧視的過程中,應(yīng)當(dāng)將對(duì)求職者就業(yè)機(jī)會(huì)可能產(chǎn)生重要影響的算法供應(yīng)商等第三方機(jī)構(gòu)納入歧視主體的范圍內(nèi),使其參與到算法解釋、舉證質(zhì)證、責(zé)任分配的過程中。這樣不僅能使法律責(zé)任的分配更加合理,也有助于女性求職者與人民法院等審查主體對(duì)算法內(nèi)容形成更為準(zhǔn)確的理解,有助于爭(zhēng)議和問題的解決。

      (三)算法權(quán)力規(guī)制與技術(shù)性正當(dāng)程序的引入

      判定是否存在就業(yè)性別歧視,是對(duì)女性平等就業(yè)權(quán)進(jìn)行事后保障和救濟(jì)的步驟,但在算法雇傭決策場(chǎng)景中,由于算法就業(yè)歧視的隱蔽性、結(jié)構(gòu)性、延續(xù)性等特征,事后救濟(jì)并不能充分落實(shí)對(duì)女性求職者平等就業(yè)權(quán)的保障。這是因?yàn)椋核惴ü蛡驔Q策涉及對(duì)事實(shí)的轉(zhuǎn)譯和大數(shù)據(jù)的處理,一旦造成歧視結(jié)果,因果關(guān)系鏈條將非常復(fù)雜,當(dāng)事人舉證將變得非常困難。如果一味強(qiáng)化用人單位的責(zé)任,表面上看似乎可以保護(hù)女性求職者的平等就業(yè)權(quán),但企業(yè)等用人單位的合規(guī)成本將不斷增大,反過來抑制企業(yè)的發(fā)展,挫傷用人單位等主體合理開發(fā)利用數(shù)字技術(shù)的積極性。因此,反歧視法所施加的社會(huì)規(guī)制,需要保障女性求職者的平等就業(yè)權(quán),也需要避免形成對(duì)市場(chǎng)機(jī)制的抑制以及對(duì)算法等新技術(shù)的應(yīng)用。

      從這個(gè)邏輯來看,在算法時(shí)代,從法律責(zé)任維度對(duì)就業(yè)性別歧視判定標(biāo)準(zhǔn)及責(zé)任規(guī)則進(jìn)行優(yōu)化固然重要,但遵循技術(shù)邏輯,針對(duì)算法雇傭決策過程而設(shè)置新的事前、事中規(guī)制更為重要。通過對(duì)用人單位等主體在算法雇傭決策過程中的各項(xiàng)行為進(jìn)行事前、事中規(guī)制,可實(shí)現(xiàn)合規(guī)成本與法律責(zé)任在不同階段、不同主體之間的合理分配,盡可能防止算法就業(yè)性別歧視的“風(fēng)險(xiǎn)”(risk)轉(zhuǎn)化為“危險(xiǎn)”(danger)或“損害”(damage)。這一規(guī)制路徑既可以避免事后救濟(jì)環(huán)節(jié)相關(guān)主體承擔(dān)過度證明責(zé)任,控制損害結(jié)果,同時(shí)也有助于實(shí)現(xiàn)對(duì)女性求職者的全過程保護(hù)。沿著這一過程規(guī)制路徑,筆者嘗試引入“技術(shù)性正當(dāng)程序”概念及其相關(guān)機(jī)制,為應(yīng)對(duì)算法就業(yè)性別歧視的過程規(guī)制提供一種新思路。

      1. 引入技術(shù)性正當(dāng)程序的可行性論證

      二十一世紀(jì)以來,自動(dòng)化系統(tǒng)在行政決策中得到廣泛應(yīng)用,也引發(fā)學(xué)界關(guān)注。支持者認(rèn)為,自動(dòng)化行政可以節(jié)省行政成本,提高行政效率,促進(jìn)決策標(biāo)準(zhǔn)統(tǒng)一;反對(duì)者卻指出,自動(dòng)化行政可能造成個(gè)案裁決與規(guī)則制定的混同,剝奪個(gè)人在行政決策過程中享有的各項(xiàng)程序性權(quán)利,如獲得通知、參與評(píng)論等權(quán)利,侵蝕了傳統(tǒng)正當(dāng)程序原則的基礎(chǔ)。在這樣的背景下,美國學(xué)者西特倫(Danielle Keats Citron)提出了技術(shù)性正當(dāng)程序的概念及其機(jī)制框架,主張將自動(dòng)化系統(tǒng)的適用范圍限制在適用規(guī)則———而非適用標(biāo)準(zhǔn)———進(jìn)行行政決策的范圍之內(nèi),并通過提升自動(dòng)化決策系統(tǒng)嵌入規(guī)則透明度、可問責(zé)性與準(zhǔn)確性等要素,保障個(gè)體獲得有意義的通知,充分參與到聽證等程序環(huán)節(jié)中,從而擁有對(duì)抗自動(dòng)化偏見及其損害的能力。技術(shù)性正當(dāng)程序概念框架為解決算法就業(yè)性別歧視的判定與規(guī)制問題提供了一種思路。但在具體討論這一思路之前,我們首先需要簡(jiǎn)單分析將這一概念引入到本文所及論題范圍內(nèi)的可行性。這是因?yàn)?,技術(shù)性正當(dāng)程序的適用背景是為了解決自動(dòng)化行政領(lǐng)域所出現(xiàn)的程序正義問題,所涉及的法律關(guān)系是個(gè)體與公權(quán)力主體之間的關(guān)系;但在算法就業(yè)性別歧視場(chǎng)景中的法律關(guān)系,并非行政法律關(guān)系,而是用人單位、算法供應(yīng)商等主體與求職者之間的關(guān)系。盡管在某些情況下用人單位或第三方機(jī)構(gòu)也可能是公權(quán)力機(jī)關(guān),但私營企業(yè)等私主體作為用人單位居多,這就提出了是否可以將技術(shù)性正當(dāng)程序框架引入到就業(yè)歧視場(chǎng)景中的問題。

      行政決策是行政主體行使行政權(quán)力的一種方式,行政法律關(guān)系源于這一過程中所產(chǎn)生的各種權(quán)利義務(wù)關(guān)系。在行政權(quán)行使過程中,行政主體往往享有處罰、強(qiáng)制等職權(quán),而行政相對(duì)人在享有知情、申辯、參與等權(quán)利的同時(shí),也具有配合、服從等法律義務(wù)。相較于民事法律關(guān)系,行政法律關(guān)系中的當(dāng)事人在許多情形下無法自由處分權(quán)利,權(quán)利行使受到公共利益等因素的制約。因此,行政法律關(guān)系呈現(xiàn)出意思表示上的單方性,雙方的權(quán)利義務(wù)也處于不對(duì)等狀態(tài)之中,這就使得行政法律關(guān)系在本質(zhì)上區(qū)別于私主體之間的民事法律關(guān)系。但在算法應(yīng)用場(chǎng)景中,私主體之間的平等關(guān)系受到了沖擊。例如,通過掌握大數(shù)據(jù)與算法技術(shù)等“數(shù)字權(quán)力”,許多大型平臺(tái)和企業(yè)等私主體獲得了“準(zhǔn)公共權(quán)力”,得以單方面控制、處理個(gè)人信息,進(jìn)而影響到個(gè)人信息主體的其他合法權(quán)益。在算法雇傭決策語境下,用人單位可以通過各種途徑掌握大量有關(guān)求職者的數(shù)據(jù),并借由人工智能算法對(duì)求職者進(jìn)行畫像、篩選,決定其是否能夠獲得就業(yè)機(jī)會(huì)。而求職者雖然表面上擁有選擇是否提供個(gè)人信息的自主權(quán),但個(gè)人難以完全理解算法雇傭決策的全部技術(shù)細(xì)節(jié),無法充分考察算法雇傭決策可能導(dǎo)致的歧視風(fēng)險(xiǎn),并據(jù)此作出迅速且準(zhǔn)確的反應(yīng)。與此同時(shí),用人單位與求職者之間固有的不平等地位,使得求職者為獲取就業(yè)機(jī)會(huì)不得不面對(duì)數(shù)據(jù)和算法技術(shù)導(dǎo)致的“技術(shù)鴻溝”,失去對(duì)個(gè)人信息及相關(guān)權(quán)益的決定權(quán)。

      具體到性別歧視問題而言,女性長(zhǎng)期以來在就業(yè)領(lǐng)域所遭受的結(jié)構(gòu)性不平等,在上述技術(shù)鴻溝背景中被進(jìn)一步放大,女性求職者更加難以獲得自主選擇和防控歧視風(fēng)險(xiǎn)的能力。

      上述基于數(shù)字權(quán)力和“技術(shù)鴻溝”的觀察表明,雖然就業(yè)場(chǎng)景中的法律關(guān)系不同于個(gè)人與行政機(jī)關(guān)之間的法律關(guān)系,但從現(xiàn)實(shí)角度看,二者均呈現(xiàn)出權(quán)利義務(wù)不對(duì)等的特征。這種特征使技術(shù)性正當(dāng)程序與反算法就業(yè)性別歧視在價(jià)值目標(biāo)上產(chǎn)生了一個(gè)明顯的交匯點(diǎn),即對(duì)處于不對(duì)等關(guān)系中的弱勢(shì)一方給予傾斜保護(hù),以實(shí)現(xiàn)對(duì)就業(yè)平等權(quán)的保障。技術(shù)性正當(dāng)程序通過技術(shù)對(duì)技術(shù)進(jìn)行制約,從而實(shí)現(xiàn)對(duì)“人”的賦能②,這延續(xù)了傳統(tǒng)正當(dāng)程序的價(jià)值理念。美國學(xué)者杰里·馬肖(Jerry L. Mashaw)曾總結(jié)并提出了正當(dāng)程序“尊嚴(yán)理論”。該理論指出,政府制定決策的方式或程序,決定了人的內(nèi)在價(jià)值是否得到尊重。他認(rèn)為,主張正當(dāng)程序的當(dāng)事人所提出的實(shí)體法律請(qǐng)求是什么,與其程序權(quán)利無關(guān),關(guān)鍵看程序是維護(hù)了人格尊嚴(yán)還是相反。技術(shù)性正當(dāng)程序的理論建構(gòu)與機(jī)制設(shè)計(jì),是面對(duì)“工具理性”可能侵蝕“價(jià)值理性”的情形而對(duì)正當(dāng)程序的更新升級(jí)。自動(dòng)化決策技術(shù)不僅應(yīng)用于行政過程,也大量應(yīng)用于其他場(chǎng)景中,算法雇傭決策便是一個(gè)典型的場(chǎng)景。引入技術(shù)性正當(dāng)程序的概念框架,對(duì)算法雇傭決策的過程進(jìn)行控制,具有必要性和可行性。

      首先,反就業(yè)性別歧視法與人的尊嚴(yán)、平等權(quán)等核心價(jià)值相聯(lián)系,通過排除性別這一在多數(shù)情況下與勞動(dòng)能力無關(guān)的特質(zhì),賦予個(gè)人平等就業(yè)機(jī)會(huì),進(jìn)而保障人的生存權(quán)、發(fā)展權(quán)、人格尊嚴(yán)等基本權(quán)利。

      其次,通過技術(shù)性正當(dāng)程序?qū)λ惴ň蜆I(yè)歧視進(jìn)行規(guī)制,可進(jìn)一步強(qiáng)調(diào)求職者作為人的主體性,避免求職者淪落為被工具所支配的對(duì)象。因此,在所調(diào)整的法律關(guān)系與基本價(jià)值目標(biāo)上,技術(shù)性正當(dāng)程序與反算法就業(yè)性別歧視法存在高度耦合,這為二者的結(jié)合提供了較為充分的合理性依據(jù)。事實(shí)上,在提出技術(shù)性正當(dāng)程序概念后,西特倫(Danielle Keats Citron)與帕斯夸里(Frank Pasquale)就將這一理論的適用場(chǎng)域,從行政過程延伸至自動(dòng)評(píng)分系統(tǒng)及自動(dòng)預(yù)測(cè)算法下的個(gè)人決策,以將正當(dāng)程序透明、準(zhǔn)確、問責(zé)、參與和公平的基本價(jià)值引入到對(duì)評(píng)分系統(tǒng)的審查中,防止產(chǎn)生不公平的結(jié)果。這也佐證了借助技術(shù)性正當(dāng)程序原理對(duì)算法就業(yè)性別歧視進(jìn)行規(guī)制的可行性。

      2. 權(quán)力主體配合下的“理解—參與”模式

      在早期技術(shù)性正當(dāng)程序的框架中,其核心機(jī)制是要求行政機(jī)關(guān)在自動(dòng)化決策系統(tǒng)中嵌入透明度與可問責(zé)性的要求,從而使行政相對(duì)人獲得被告知的機(jī)會(huì),并且在能夠理解自動(dòng)化決策系統(tǒng)基本原理的前提下進(jìn)行陳述和申辯,以實(shí)現(xiàn)對(duì)自身權(quán)益的過程性保護(hù)。隨著自動(dòng)化決策技術(shù)的廣泛應(yīng)用,上述機(jī)制框架與技術(shù)性正當(dāng)程序相關(guān)理論不斷拓展,延伸出更為多樣的價(jià)值原則與程序機(jī)制。綜合相關(guān)研究,筆者認(rèn)為,可以將技術(shù)性正當(dāng)程序的核心機(jī)制歸納為一種“理解—參與”模式。該程序模式的第一步是“理解”,其具體要求是:以對(duì)算法的合規(guī)審計(jì)追蹤為基礎(chǔ),要求算法供應(yīng)商向公眾或其他適合主體公布算法的源代碼,并對(duì)算法系統(tǒng)進(jìn)行測(cè)試,以幫助當(dāng)事人和公眾能夠理解算法所使用的數(shù)據(jù)集與運(yùn)算邏輯。第二步是在理解自動(dòng)化決策原理和邏輯的基礎(chǔ)上,當(dāng)事人能夠有效“參與”到程序中,這包括當(dāng)事人獲得充分的、有意義的告知、陳述、表達(dá)意見,以及獲得救濟(jì)的程序設(shè)計(jì)。也就是說,當(dāng)事人不應(yīng)該僅僅成為自動(dòng)化決策的被動(dòng)接受者,而應(yīng)該具有必要的主動(dòng)參與決策過程的機(jī)會(huì)和程序保障。這實(shí)際上是要求:針對(duì)個(gè)人的自動(dòng)化決策,必須輔以行政官員的審核和干預(yù);為了防止行政官員對(duì)自動(dòng)化的過度依賴及偏好,應(yīng)要求行政官員對(duì)應(yīng)用自動(dòng)化系統(tǒng)決策的必要性和合理性進(jìn)行說明,并對(duì)由自動(dòng)化系統(tǒng)處理的事實(shí)或法律依據(jù)進(jìn)行解釋,盡可能克服自動(dòng)化偏見的影響?;氐奖疚乃懻摰膯栴},同樣可借鑒這一套機(jī)制框架,結(jié)合反就業(yè)性別歧視的特殊要求,引入權(quán)力主體配合下的“理解—參與模式”。此處的權(quán)力主體指的是用人單位等算法權(quán)力主體,該模式以對(duì)女性求職者的程序賦權(quán)為核心,兼顧對(duì)企業(yè)等主體所負(fù)成本與責(zé)任的合理分配,通過合規(guī)審計(jì)追蹤、算法解釋等方式,幫助女性求職者盡可能地理解算法雇傭決策的運(yùn)作過程,并在此基礎(chǔ)上充分獲知算法雇傭決策的結(jié)果及其理由依據(jù)。同時(shí),通過拓寬參與渠道,使女性求職者能夠有效表達(dá)其對(duì)決策結(jié)果的意見,甚至是參與到算法決策規(guī)則的調(diào)整中,獲得更充分的對(duì)話、交涉等能力。該模式的操作機(jī)制包括理解和參與兩部分。一是盡可能提升算法決策系統(tǒng)的原理、邏輯、數(shù)據(jù)集等要素的透明度和可解釋性,便于當(dāng)事人理解算法決策的過程和邏輯;二是在理解的基礎(chǔ)上,保障求職者獲得知情和參與的機(jī)會(huì),有效參與到算法審查、算法雇傭決策規(guī)則與系統(tǒng)的設(shè)計(jì)過程中。同時(shí),作為上述措施的制度保障,應(yīng)對(duì)用人單位進(jìn)行的雇傭決策活動(dòng)進(jìn)行合規(guī)審計(jì)追蹤,要求其保存合規(guī)審計(jì)軌跡。

      “理解—參與模式”是技術(shù)性正當(dāng)程序的核心機(jī)制,但以數(shù)據(jù)和算法為核心技術(shù)的自動(dòng)化決策具有很強(qiáng)的專業(yè)性和很高的技術(shù)門檻。對(duì)算法決策的過程中,一般公眾既難以“理解”,更難以“參與”。因此,將技術(shù)性正當(dāng)程序嵌入到自動(dòng)化決策的過程中,需要引入專業(yè)的、技術(shù)的手段,以技術(shù)制約技術(shù),從而間接地實(shí)現(xiàn)對(duì)個(gè)人的技術(shù)賦能。

      首先,合規(guī)審計(jì)追蹤(audit tracking)是技術(shù)性正當(dāng)程序機(jī)制的基礎(chǔ)。判斷用人單位所適用的算法系統(tǒng)是否可能或已經(jīng)輸出了就業(yè)性別歧視,需要審查該系統(tǒng)所使用的訓(xùn)練數(shù)據(jù)集及源代碼,必要時(shí)還需要算法程序員就目標(biāo)轉(zhuǎn)譯、特征選擇等步驟進(jìn)行說明,這構(gòu)成了合規(guī)審計(jì)追蹤的內(nèi)容。在美國,廣泛使用的申請(qǐng)人跟蹤系統(tǒng)(applicant tracking system, ATS)為算法雇傭決策下的合規(guī)審計(jì)追蹤提供了一定的可行性支持。ATS 最初的作用是保存記錄以及證明公司在招聘過程中的合規(guī),而后發(fā)展出過濾與篩選簡(jiǎn)歷的功能。公司借助ATS 可以記錄求職者的身份,進(jìn)行日程、面試等信息的管理,并密切關(guān)注求職者的性別、種族等信息,用以證明沒有發(fā)生歧視。ATS 甚至可以跟蹤求職者訪問招聘網(wǎng)站的次數(shù)、曾經(jīng)瀏覽過的帖子等信息作為招聘的依據(jù)。作為參考,當(dāng)用人單位使用與ATS 類似的人工智能系統(tǒng)進(jìn)行雇傭決策時(shí),也可以要求相關(guān)算法權(quán)力主體記錄所有求職者的個(gè)人身份,以及其借由大數(shù)據(jù)所收集到的求職者的相關(guān)信息,以明確數(shù)據(jù)的來源與內(nèi)容。還可以要求相關(guān)算法權(quán)力主體記錄算法在預(yù)測(cè)過程中所建構(gòu)的模型、進(jìn)行的推論與得出的結(jié)果,從而在最大程度上提升人工智能算法的可驗(yàn)證性。對(duì)算法權(quán)力主體提出合規(guī)審計(jì)追蹤的要求具有多重意義。一方面,在“理解—參與”模式的機(jī)制框架內(nèi),該措施可以幫助女性求職者形成對(duì)算法雇傭決策過程的理解,并為源代碼公開、算法審查等措施提供基礎(chǔ)。另一方面,就事后對(duì)歧視的判定與救濟(jì)而言,合規(guī)審計(jì)追蹤使算法合規(guī)證據(jù)最大限度地得到保存,為被告方后續(xù)的舉證提供了便利,降低了其重新搜集證據(jù)的負(fù)擔(dān)與無法舉證的風(fēng)險(xiǎn),也為法院等主體的審查提供了依據(jù),在一定程度上有助于消除自動(dòng)化偏見所帶來的影響,最終促進(jìn)對(duì)女性求職者個(gè)人權(quán)益的保障。

      其次,通過公開算法源代碼,抑制“算法黑箱”。在合規(guī)審計(jì)追蹤基礎(chǔ)上,要使求職者獲得有意義的通知和參與機(jī)會(huì),關(guān)鍵在于提升算法決策系統(tǒng)的透明度,這有賴于算法源代碼的公開以及充分的算法解釋。鑒于源代碼的公開與商業(yè)秘密保護(hù)之間可能存在沖突,且普通公眾往往難以理解源代碼的原理與邏輯。因此,算法源代碼將主要是對(duì)行政機(jī)關(guān)委托的第三方專業(yè)機(jī)構(gòu)公開,由第三方機(jī)構(gòu)在技術(shù)條件允許的范圍內(nèi)審查并判斷算法權(quán)力主體是否對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行了充分的處理,算法所生成的模型是否與性別這一受保護(hù)特征產(chǎn)生了聯(lián)系,以及是否可能輸出帶有歧視性的結(jié)果等內(nèi)容。在此基礎(chǔ)上,可委托審查機(jī)構(gòu)生成審查報(bào)告并予以公示,其中包括審查的內(nèi)容、算法決策系統(tǒng)可能對(duì)求職者產(chǎn)生的不良影響以及算法優(yōu)化建議等,以幫助求職者對(duì)算法決策系統(tǒng)形成更為全面的理解。

      再次,通過算法解釋的義務(wù)性實(shí)現(xiàn)對(duì)算法決策進(jìn)行監(jiān)督。算法解釋應(yīng)面向當(dāng)事人、公眾、第三方審查機(jī)構(gòu)以及人民法院等主體。區(qū)別于以模型為中心的算法解釋,實(shí)踐中的算法解釋應(yīng)當(dāng)以主體為中心,其內(nèi)容不僅涉及算法模型的性能指標(biāo)、算法架構(gòu)設(shè)置的全局邏輯等內(nèi)容,更應(yīng)聚焦算法與數(shù)據(jù)可能對(duì)主體帶來哪些影響②,從而將算法可解釋要求區(qū)別于算法源代碼公開。整體而言,算法解釋應(yīng)圍繞算法決策的過程展開,該過程既包括目標(biāo)的制定、訓(xùn)練數(shù)據(jù)的收集與選擇等算法開發(fā)前的預(yù)備工作,也應(yīng)包括算法本身的優(yōu)化設(shè)計(jì)與后期的應(yīng)用等步驟。在這一過程中,不同的利害相關(guān)方可能承擔(dān)著不同的任務(wù),為實(shí)現(xiàn)責(zé)任的合理分配,減輕相關(guān)主體的合規(guī)負(fù)擔(dān),可以根據(jù)不同利害相關(guān)方的角色,設(shè)定具有差異性的解釋義務(wù)。例如,用人單位作為算法的使用方,需要解釋使用算法決策系統(tǒng)的目的并證明其正當(dāng)性;同時(shí),應(yīng)解釋由決策目標(biāo)所轉(zhuǎn)譯出的可測(cè)量特征及結(jié)果變量與目標(biāo)之間的相關(guān)性,滿足“真實(shí)職業(yè)資格”等相關(guān)要求。根據(jù)個(gè)案具體情況,用人單位如果是政府等訓(xùn)練數(shù)據(jù)集的提供方,應(yīng)說明訓(xùn)練數(shù)據(jù)集的來源以及數(shù)據(jù)經(jīng)過了什么樣的處理,從而證明其已盡可能地排除了數(shù)據(jù)本身所內(nèi)含的、既存的結(jié)構(gòu)性偏見,使數(shù)據(jù)滿足性別中立性、代表性等要求。又如,算法供應(yīng)商或算法程序員作為算法優(yōu)化設(shè)計(jì)過程中的關(guān)鍵主體,應(yīng)對(duì)算法優(yōu)化設(shè)計(jì)的方案進(jìn)行解釋,并對(duì)使用算法決策系統(tǒng)可能產(chǎn)生的風(fēng)險(xiǎn)進(jìn)行評(píng)估,也可以要求其對(duì)不同方案的公平性進(jìn)行比較,并說明最終方案所具有的優(yōu)勢(shì)等。

      最后,通過對(duì)傳統(tǒng)雇傭決策過程的技術(shù)和流程改造,提升求職者在算法雇傭決策全過程的參與和利益競(jìng)爭(zhēng)能力。在傳統(tǒng)的雇傭決策實(shí)踐中,作為利益主體的用人單位在制定招聘標(biāo)準(zhǔn)、選擇招聘方式時(shí)不可避免地受經(jīng)濟(jì)效益驅(qū)使。但雇傭決策同時(shí)涉及求職者,特別是女性求職者這一弱勢(shì)群體的重要利益,影響女性求職者平等權(quán)與就業(yè)權(quán)的實(shí)現(xiàn)。傳統(tǒng)的雇傭決策過程已經(jīng)發(fā)展出一套多方利益權(quán)衡機(jī)制,在算法時(shí)代,我們不應(yīng)當(dāng)完全拋棄傳統(tǒng)和經(jīng)驗(yàn)理性而另起爐灶,而應(yīng)當(dāng)在考慮技術(shù)變遷基礎(chǔ)上對(duì)傳統(tǒng)機(jī)制的優(yōu)化。在算法雇傭決策場(chǎng)景中,法律制度的優(yōu)化,恰恰需要重申和堅(jiān)持價(jià)值理性立場(chǎng)。數(shù)字化和算法技術(shù)所代表的工具理性,應(yīng)當(dāng)有助于價(jià)值理性的落實(shí),而不是損害傳統(tǒng)的價(jià)值理性。這意味著算法雇傭決策的處理模式應(yīng)當(dāng)維護(hù)公平、平等等社會(huì)價(jià)值。結(jié)合價(jià)值目標(biāo)和算法技術(shù)的特征,可以對(duì)傳統(tǒng)的雇傭決策程序進(jìn)行優(yōu)化,除了委托第三方機(jī)構(gòu)進(jìn)行審查之外,應(yīng)充分保障利益相關(guān)主體的知情權(quán)、表達(dá)權(quán)、參與權(quán),例如,參與到招聘標(biāo)準(zhǔn)以及算法雇傭決策系統(tǒng)的設(shè)計(jì)和優(yōu)化過程。遵循這一思路,用人單位可聯(lián)合算法供應(yīng)商等主體,在充分解釋算法雇傭決策系統(tǒng)的基礎(chǔ)上,通過公開收集意見、舉辦見面會(huì)等方式,就招聘的方案及目標(biāo)、算法雇傭決策中應(yīng)予排除的信息類別等內(nèi)容進(jìn)行協(xié)商,充分收集求職者、專家和公眾的意見,借助廣泛的社會(huì)協(xié)商民主機(jī)制抑制歧視風(fēng)險(xiǎn)。在招聘過程中和招聘程序完成后,應(yīng)接受求職者的申訴與反饋意見。鑒于用人單位所面對(duì)的是十分龐大的求職者群體,在所參與的技術(shù)實(shí)現(xiàn)路線上,除接受上門詢問、電話咨詢外,在國外已經(jīng)有用人單位使用人工智能聊天機(jī)器人對(duì)求職者意見或問題進(jìn)行答復(fù)。借助類似技術(shù)對(duì)有關(guān)算法雇傭決策的基本原理、邏輯、錄用人群比例等問題進(jìn)行解釋,可有效保障求職者的知情權(quán)、表達(dá)權(quán)、參與權(quán)和監(jiān)督權(quán)。同時(shí),在對(duì)算法供應(yīng)商等第三方機(jī)構(gòu)進(jìn)行合規(guī)審計(jì)跟蹤或人民法院進(jìn)行審查的過程中,也可以要求審查主體充分說明其結(jié)論在多大程度上受到算法雇傭決策系統(tǒng)的影響,確保求職者的訴求得到了充分的、無偏見的考量。

      需要注意的是,在上述場(chǎng)景下,無論是委托第三方機(jī)構(gòu)等主體進(jìn)行審查和解釋,還是要求用人單位等算法權(quán)力主體進(jìn)行源代碼披露、算法解釋,這些反就業(yè)性別歧視的義務(wù)落實(shí)都可能需要付出高昂的成本,進(jìn)而影響到技術(shù)性正當(dāng)程序機(jī)制在實(shí)踐中的應(yīng)用。但正如西特倫(Citron)提到的,對(duì)自動(dòng)化決策相關(guān)案件中正當(dāng)程序的要求進(jìn)行成本—收益分析,需要重新考慮“固定成本”和“可變成本”的關(guān)系。

      在自動(dòng)化決策相關(guān)案件中,在少數(shù)個(gè)案中引入技術(shù)性的合規(guī)審計(jì)、專家證人,以及對(duì)系統(tǒng)中的軟件缺陷與無效規(guī)則進(jìn)行識(shí)別和處理,意味著更大的固定成本;但是,一旦數(shù)據(jù)特征得到合理化,算法模式得到改進(jìn),未來的算法決策中對(duì)上述改進(jìn)的復(fù)制和應(yīng)用幾乎不會(huì)增加可變成本。這意味著,考慮算法決策程序改進(jìn)的成本,不能局限于個(gè)案,而應(yīng)該從規(guī)模效應(yīng)上對(duì)程序改進(jìn)的成本進(jìn)行核算。如前文所指出的,技術(shù)性正當(dāng)程序的“理解—參與”模式,可以帶來更好的社會(huì)規(guī)模效應(yīng)。在該模式下,用人單位等算法權(quán)力主體承擔(dān)了與其角色相匹配的合規(guī)成本,但通過落實(shí)合規(guī)義務(wù),可以降低算法決策中性別歧視的發(fā)生風(fēng)險(xiǎn),從而降低訴訟成本以及承擔(dān)高額賠償?shù)娘L(fēng)險(xiǎn),并維護(hù)良好的社會(huì)聲譽(yù),增加企業(yè)競(jìng)爭(zhēng)力和影響力。而女性求職者也因此得以從性別歧視案件沉重的舉證責(zé)任中得到解放,在獲得知情權(quán)、表達(dá)權(quán)和參與權(quán)的基礎(chǔ)上最大限度地免受歧視行為的侵害。這一綜合成本收益分析框架可在一定程度上緩解“制度優(yōu)化阻礙算法技術(shù)發(fā)展”的擔(dān)憂。

      五、結(jié)論和討論

      可以預(yù)見,新一輪科技革命和算法技術(shù)的不斷發(fā)展及其在雇傭決策中廣泛、深入地應(yīng)用,將進(jìn)一步改變我國傳統(tǒng)的雇傭決策模式,提升企業(yè)雇傭決策質(zhì)量。在這一大趨勢(shì)下,技術(shù)的工具理性如何與社會(huì)的價(jià)值體系之間保持一致性,這不僅是一個(gè)理論問題,更是一個(gè)法治實(shí)踐問題,亟待獲取理論和制度的回應(yīng)。從根本上講,這是一個(gè)“數(shù)治”與“法治”如何深度融合的問題。在用人單位的雇傭決策場(chǎng)景中,算法技術(shù)已經(jīng)開始得到應(yīng)用,但算法雇傭決策的技術(shù)邏輯及性別偏見的刻板印象,決定了算法決策中就業(yè)性別歧視現(xiàn)象不僅難以避免,而且可能被放大。算法技術(shù)在雇傭決策過程中的應(yīng)用,對(duì)傳統(tǒng)的就業(yè)性別歧視法律制度,特別是性別歧視判定標(biāo)準(zhǔn)、責(zé)任分配等關(guān)鍵問題產(chǎn)生了嚴(yán)重沖擊。筆者從就業(yè)性別歧視的判定標(biāo)準(zhǔn)這一微觀角度切入,圍繞對(duì)性別歧視過程規(guī)制和事后救濟(jì),提出對(duì)就業(yè)性別歧視的概念進(jìn)行擴(kuò)容,引入“技術(shù)性正當(dāng)程序”對(duì)算法雇傭決策的歧視風(fēng)險(xiǎn)進(jìn)行控制等主張,并設(shè)想了相應(yīng)的操作性機(jī)制改進(jìn)路線圖。但毋庸置疑,無論是新型判定標(biāo)準(zhǔn)的適用,還是筆者所提出的權(quán)力主體配合下的“理解—參與”模式的建構(gòu),都有賴于相關(guān)制度的系統(tǒng)性協(xié)同,如算法監(jiān)督機(jī)構(gòu)、第三方審查機(jī)構(gòu)的設(shè)立,算法決策程序的運(yùn)行規(guī)則、技術(shù)倫理等規(guī)范的制定完善等,這些問題仍有待進(jìn)一步討論。

      與此同時(shí),也應(yīng)當(dāng)注意到,新技術(shù)帶來的新問題固然需要解決,但我們身處的生活世界中原有的結(jié)構(gòu)性問題所導(dǎo)致的困境,或許更具有根本性。例如,如何通過合理分配生育成本與社會(huì)資源以增強(qiáng)女性的職場(chǎng)競(jìng)爭(zhēng)力,仍是消除算法就業(yè)性別歧視無法回避的重要議題。

      本文責(zé)任編輯:林士平

      青年學(xué)術(shù)編輯:楊尚東

      犍为县| 信阳市| 云南省| 葵青区| 皋兰县| 托里县| 江西省| 新闻| 应城市| 原平市| 南江县| 平泉县| 旌德县| 奇台县| 樟树市| 龙山县| 台江县| 沙河市| 桐城市| 新安县| 禹州市| 宜兰县| 西乌| 高雄市| 页游| 芜湖市| 安吉县| 清镇市| 京山县| 柏乡县| 赤城县| 金寨县| 威信县| 天门市| 南京市| 甘泉县| 台前县| 墨江| 保定市| 西昌市| 肥西县|